News·4시간 전
프론티어 모델, 인간 대비 신념 추적 성능 여전히 뒤처져 — FANToM 재측정
LessWrong 게시글에 따르면, 2023년 말 공개된 FANToM 벤치마크로 현재 프론티어 LLM의 신념 상태 추적(Theory of Mind) 능력을 재측정한 결과, 모델이 크게 개선됐음에도 인간 성능에 미치지 못했습니다. FANToM은 단일 대화 내 정보 비대칭 상황에서 누가 무엇을 알고 있는지 추적하는 과제로, 인간에게는 단순한 편입니다. 이는 AI가 협업 환경에 통합될 때 중요한 능력입니다.
프론티어 LLM의 신념 추적 능력이 1년 새 개선됐지만, 여전히 인간 기준에 못 미친다는 재측정 결과가 나왔습니다.
골자
- 벤치마크 — FANToM — 다자간 대화에서 정보 비대칭이 발생할 때 각 참가자의 신념 상태를 묻는 QA 쌍으로 구성.
- 결과 — 현행 프론티어 모델(2024년 말 기준)은 2023년 대비 크게 향상됐으나, 인간 성능에는 여전히 미달.
- 특이점 — FANToM은 인간에게 매우 쉬운 편 — 단일 주제, 사전 지식 불필요, 제한된 참가자 수.
배경·맥락
- Theory of Mind(ToM) 중 신념 상태 추적은 AI가 인간·에이전트와 협업할 때 핵심 능력으로 꼽힘.
- 2023년 — Kim et al.이 FANToM 발표 당시 LLM 성능이 인간 대비 현저히 낮았음.
- 재측정 — 동일 벤치마크를 현재 모델에 샘플링 적용 — 개선 폭은 확인됐으나 격차 해소에는 실패.
자금 용처·향후
- 이 결과는 AI 안전성 연구에 시사점 — 협업 환경에서 오정보 전파나 오해를 방지하려면 신념 추적 능력 향상이 필요.
- 향후 더 복잡한 ToM 벤치마크(다중 대화, 사전 지식 포함)에서의 평가가 예상됩니다.
편집자 한 줄
인간에게 쉬운 과제에서도 모델이 뒤처진다는 점은, AI가 진정한 협업 파트너가 되기까지 아직 갈 길이 멀다는 신호로 읽힙니다.
- #theory-of-mind
- #fantome
- #llm
- #benchmark
- #belief-tracking
LessWrong