News·2개월 전
오픈 모델, 폐쇄형 대비 8~10개월 뒤처져 — 격차 확대 중
오픈소스 AI 모델이 폐쇄형 모델 대비 프라이빗 벤치마크에서 8~10개월, 퍼블릭 벤치마크에서 4~6개월 뒤처진다는 분석이 나왔습니다. 17개 벤치마크(프라이빗 8개, 퍼블릭 9개) 데이터를 바탕으로 한 이 연구는 2025년 1월 DeepSeek R1 출시 시점에 격차가 가장 좁았으나 이후 다시 벌어지고 있음을 보여줍니다. 데이터는 부분적으로 자체 보고된 점수에 의존하며 한계가 있지만, 프라이빗과 퍼블릭에서 유사한 추세가 관찰됩니다.
오픈 모델과 폐쇄형 모델 간 성능 격차를 17개 벤치마크로 정량화한 연구 결과입니다.
골자
- 프라이빗 벤치마크 — 오픈 모델이 폐쇄형 대비 약 8~10개월 뒤처짐.
- 퍼블릭 벤치마크 — 격차는 4~6개월로 더 좁음.
- 추세 — 2025년 1월 DeepSeek R1 출시 시점에 격차가 최소였으나 이후 다시 확대 중.
배경·맥락
- 연구는 17개 벤치마크(프라이빗 8개, 퍼블릭 9개)에서 약 110개 데이터 포인트를 수집해 분석.
- 2023~2024년 데이터는 부분적으로 자체 보고된 점수에 의존하며, 일부 '프라이빗' 벤치마크가 완전히 비공개는 아닌 한계가 있음.
- 프라이빗과 퍼블릭 데이터에서 동일한 추세가 관찰되어 신뢰성을 높임.
자금 용처·향후
- 분석은 과거 지향적 — 현재 최고 오픈 모델은 8~10개월 전 폐쇄형 수준.
- 격차 확대 추세가 지속될지, 새로운 오픈 모델 출시로 반전될지 주목됨.
편집자 한 줄
데이터 한계를 인정하면서도 일관된 추세를 보여주는 점이 흥미롭습니다. DeepSeek R1 이후 격차가 다시 벌어진 건 오픈 모델의 추격 속도보다 폐쇄형의 발전 속도가 더 빠르다는 신호일 수 있습니다.
- #open-source
- #closed-source
- #benchmarks
- #ai-capabilities
- #deepseek
LessWrong