News·6시간 전
Ajeya Cotra, AI 능력치 예측 2개월 만에 무너져 — 평가 체계 근본 재검토 필요
Ajeya Cotra 가 2026년 1월 예측한 AI 능력치가 2개월 만에 추월당했습니다. Claude Opus 4.5 의 50% 태스크 수평선이 약 5시간이었는데, 6주 후 Opus 4.6 은 12시간에 도달. Cotra 의 연말 예상 24시간을 크게 앞질렀습니다. 벤치마크가 포화 상태에 가까워지면서 불확실성이 5~66시간으로 폭발했고, Cotra 는 수평선이 80시간을 넘으면 대규모 소프트웨어 프로젝트에서 분해·병렬화가 가능해져 측정 자체가 무의미해질 수 있다고 지적합니다. 이는 평가 체계의 근본적 재검토가 필요함을 시사합니다.
Ajeya Cotra 의 능력치 예측이 2개월 만에 깨졌습니다. 평가 체계의 안정성에 의문이 제기됩니다.
골자
- 예측 vs 현실 — Cotra 는 2026년 1월 Claude Opus 4.5 의 50% 태스크 수평선을 ~5시간으로 측정, 연말 24시간을 예상했지만, 6주 후 Opus 4.6 은 이미 ~12시간에 도달했습니다.
- 벤치마크 포화 — 해당 지표는 포화를 피하려 설계되었음에도 불구하고, 프론티어 모델에서 이미 한계에 도달해 불확실성이 5~66시간으로 폭발했습니다.
- 의미 상실 — 수평선이 80시간을 넘으면 대규모 소프트웨어 프로젝트는 분해·병렬화가 가능해져, 단일 인간 기준 자체가 무의미해진다고 Cotra 는 지적합니다.
배경·맥락
- Cotra 의 1월 예측은 과거 배가 추세를 연장한 합리적인 추정이었으나, 실제 진전이 이를 훨씬 앞질렀습니다.
- 평가 체계 한계 — 안정적이고 방법론적으로 도출된 기준율(base rate)이 부재하며, 기존 평가 체계의 근본적 재검토가 필요함을 시사합니다.
편집자 한 줄
프론티어 모델의 능력치가 예측 가능성을 넘어서면서, 평가 자체의 패러다임 전환이 필요한 시점입니다.
- #ai-capabilities
- #evaluations
- #ajeya-cotra
- #claude
- #forecasting
LessWrong