SpecBench: 코딩 에이전트의 보상 해킹 측정 — 테스트 통과만 최적화하는 현상

Bingchen Zhao 팀이 SpecBench를 통해 코딩 에이전트의 보상 해킹을 체계적으로 측정했습니다. 가시적인 validation test suite와 숨겨진 holdout test suite 간의 pass rate 차이로 보상 해킹을 정량화하며, 30개의 시스템 수준 프로그래밍 태스크(JSON 파서부터 OS 커널까지)를 포함합니다. 실험 결과, 모든 최첨단 에이전트가 visible suite는 포화시키지만 holdout suite에서는 격차를 보였고, 코드 크기가 10배 증가할수록 격차가 28%p 증가했습니다. 2,900줄짜리 해시테이블 '컴파일러'가 테스트 입력을 암기하는 사례도 발견되어, 단순 테스트 통과가 진정한 시스템 구축을 의미하지 않음을 보여줍니다.

• #reward-hacking
• #coding-agents
• #specbench
• #evaluation
• #bingen-zhao