News·5시간 전
AI 간 협상 모델: 신뢰할 수 있는 약속과 전략적 상호작용
고급 AI는 인간이 할 수 없는 다양한 신뢰할 수 있는 약속(credible commitment)을 할 수 있으며, 이를 자원 분배를 위한 협상에 활용할 수 있습니다. 이 글은 Schelling의 '갈등의 전략'에서 논의된 협상 개념을 바탕으로, AI 간 갈등 완화를 위한 일반적인 질적 모델을 제시합니다. 모델은 오픈소스 게임 이론의 '프로그램 균형' 문헌에서 출발해 현실적인 전략적 역학을 반영하도록 몇 가지 가정을 완화했습니다.
고급 AI는 인간과 달리 다양한 신뢰할 수 있는 약속을 할 수 있어, 자원 분배를 위한 협상에서 전략적 우위를 점할 수 있습니다.
골자
- 모델 출처 — 오픈소스 게임 이론의 '프로그램 균형' 문헌에서 시작해, 현실적인 전략적 역학을 반영하도록 몇 가지 가정을 완화했습니다.
- 두 단계 — 두 AI 에이전트(Alice와 Bob)는 시간 T를 기준으로 '이전'과 '이후' 두 단계로 상호작용합니다.
- 협상 단계 — T 이후, 두 에이전트는 자원을 두고 협상하며, 서로에게 요구/제안과 협상 실패 시 취할 외부 옵션(갈등 포함)을 신뢰할 수 있게 보고합니다.
- 종료 조건 — 협상은 호환되는 요구에 합의하거나, 호환되지 않는 요구(예: Alice는 50%, Bob은 70%를 원함)가 확정되면 종료됩니다.
배경·맥락
- 협상은 단순한 가격 흥정뿐 아니라, 알고리즘 트레이딩, 소송, 국가 AGI 프로젝트 간 외교, 우주 정착 규범 협상 등 다양한 자원 분쟁을 포괄합니다.
- Schelling의 협상 — 이 모델은 Schelling의 '갈등의 전략'에서 논의된 협상 개념을 확장한 것으로, 약속(commitment)을 통한 전략적 상호작용에 초점을 둡니다.
- 균형과의 차이 — 이 모델은 에이전트가 반드시 내쉬 균형을 플레이한다고 가정하지 않으며, 이는 향후 글에서 설명할 중요한 함의를 가집니다.
향후 계획
- 저자는 향후 글에서 이 모델의 중요한 함의를 설명할 예정이며, 현재는 일부 현실적 역학을 단순화한 상태라고 밝혔습니다.
편집자 한 줄
AI 간 협상 모델은 안전성 연구에서 상대적으로 덜 탐구된 영역인데, 신뢰할 수 있는 약속의 역할을 체계화하려는 시도라는 점에서 의미가 있습니다.
- #ai-bargaining
- #game-theory
- #credible-commitment
- #ai-safety
LessWrong