TerminalWorld: 80,870 터미널 녹화에서 1,530개 태스크 자동 추출 — 최고 성능 62.5%

Zhaoyang Chu 팀이 실제 터미널 녹화 80,870개를 역설계해 1,530개 태스크로 구성된 벤치마크 TerminalWorld를 공개했습니다. 8개 최신 모델과 6개 에이전트를 평가한 결과 최고 pass rate가 62.5%에 그쳤고, 기존 Terminal-Bench와의 상관관계도 낮아(Pearson r=0.20) 실제 터미널 환경의 난이도가 다름을 보여줍니다. 데이터와 코드는 공개되었습니다.

• #benchmark
• #terminal
• #agents
• #evaluation
• #scalable