Papers·1주 전
LLM 리뷰 게임 가능성 실험 — ACL ARR 논문 35% 점수 조작 성공
Hamburg 대학 연구팀이 2025 ACL Rolling Review(ARR) 논문을 대상으로 LLM 리뷰의 인간 리뷰와의 일치도와 게임 가능성을 실험했습니다. LLM 리뷰는 프롬프트와 모델에 따라 일치도가 크게 달라졌으며, 저자가 LLM 리뷰에 맞춰 논문을 반복 수정하는 '게이밍' 전략을 썼을 때 최대 35%의 논문에서 전체 점수가 통계적으로 유의미하게 상승했습니다. 코드는 공개되었습니다.
LLM이 생성한 학술 리뷰가 공식 파일럿에 사용되는 상황에서, 저자가 LLM 리뷰를 게임할 수 있는지 실험했습니다.
핵심 결론
- 일치도 — LLM 리뷰와 인간 리뷰의 일치는 최상의 경우에도 제한적이며, 프롬프트와 모델에 따라 편차가 큽니다.
- 게이밍 효과 — LLM 리뷰에 맞춰 논문을 반복 수정한 결과, 최대 35%의 논문에서 전체 점수가 유의미하게 상승했습니다.
방법
- 데이터 — 2025 ACL Rolling Review(ARR)에 제출된 실제 논문을 사용했습니다.
- 시나리오 — 저자가 LLM 리뷰를 받고 초안→수정→재리뷰를 반복하는 iterative draft-revise workflow를 시뮬레이션했습니다.
- 측정 — 리뷰 점수의 통계적 유의미한 변화를 측정했습니다.
한계·조건
- 범위 — 실험은 단일 학회(ACL ARR)와 특정 LLM 모델에 국한됩니다.
- 재현성 — 코드는 GitHub에 공개되어 있으나, 실제 리뷰 환경과의 차이는 고려해야 합니다.
- 윤리 — 게이밍 전략이 학술 윤리에 위배될 가능성을 논의하고 있습니다.
편집자 한 줄
LLM 리뷰의 신뢰성 문제를 실증적으로 보여준 연구로, 학회 운영에 시사점이 큽니다.
- #llm-review
- #peer-review
- #acl
- #gaming
- #empirical
Hub of Computing and Data Science (HCDS) - G4KMU