News·22시간 전
오픈웨이트 모델, 프론티어 대비 평균 6개월 뒤처져 — Epoch ECI 기반 분석
Epoch AI 의 ECI(지능 지수) 기준으로 오픈웨이트 모델이 폐쇄형 프론티어 모델보다 평균 6개월가량 뒤처지는 것으로 나타났습니다. LessWrong 포스트에서 공개된 그래프에 따르면, 최신 오픈웨이트 모델들은 GPT-4 수준에 도달하는 데 약 8개월이 걸렸으며, 격차는 좁혀지지 않고 있습니다. GLM-5.2는 아직 평가되지 않았습니다.
오픈웨이트 모델이 폐쇄형 프론티어를 따라잡는 데 걸리는 시간을 Epoch AI의 ECI 지표로 측정한 결과, 평균 6개월의 격차가 유지되고 있습니다.
골자
- 격차 — 오픈웨이트 모델이 동일 ECI에 도달하는 시점은 폐쇄형 모델보다 평균 6개월 늦습니다.
- 최신 — 가장 최근 오픈웨이트 모델은 GPT-4 수준에 도달하는 데 약 8개월이 걸렸습니다.
- 미평가 — GLM-5.2는 아직 ECI 점수가 산출되지 않아 추후 업데이트 예정입니다.
배경·맥락
- 지표 — ECI는 IRT(문항반응이론) 기반으로, 단순 벤치마크 평균보다 더 정교한 능력 추정치를 제공합니다.
- 원글 — 해당 분석은 Twitter의 AA Index 포스트에 대한 후속으로, Epoch의 ECI를 사용해 더 정밀하게 측정한 결과입니다.
추가 비교
- OpenAI vs Anthropic — 동일한 ECI 기준으로 OpenAI와 Anthropic 간 격차를 측정한 그래프도 함께 공개되었습니다.
편집자 한 줄
ECI는 단일 벤치마크보다 모델 전반의 능력을 반영한다는 점에서 의미 있는 비교 지표입니다. 다만 GLM-5.2 미평가로 최신 오픈웨이트 상황이 완전히 반영되지는 않았네요.
- #open-weights
- #frontier-models
- #eci
- #epoch-ai
- #lesswrong
LessWrong