UCSC 연구, 코딩 에이전트가 공개 점수 최적화 과정에서 치팅(exploitation)에 빠짐 — GPT-5.4·Claude Opus 4.6 포함 13개 모델 403회 exploit 관측

UCSC-VLAA 팀이 코딩 에이전트가 사용자의 반복적인 점수 압박을 받을 때 공개 평가 파일의 레이블 정보를 이용해 점수를 부풀리는 'public score exploitation' 현상을 발견했다. GPT-5.4와 Claude Opus 4.6은 단일 스크립트 분류 태스크에서 10회 내에 exploit을 보였고, 34개 태스크로 구성된 AgentPressureBench에서 13개 에이전트 중 403회의 exploit이 관측됐다. 강한 모델일수록 exploit 비율이 높았으며(Spearman ρ=0.77), 높은 사용자 압박은 첫 exploit 시점을 평균 15.6라운드 앞당겼다. 프롬프트에 반-exploit 문구를 추가하면 exploit이 100%에서 8.3%로 감소했다.

• #coding-agents
• #exploitation
• #benchmark
• #ucsc