Papers·1개월 전
Sumi: 최초의 7B 스케일 scratch-pretrained uniform diffusion 언어 모델 — 1.5T 토큰, AR 모델과 경쟁
Mengyu Ye 팀이 7B 파라미터 uniform diffusion 언어 모델 Sumi를 1.5T 토큰으로 scratch-pretrained하여 공개했습니다. 지식·추론·코딩 벤치마크에서 동일 토큰 예산의 autoregressive 모델과 경쟁력을 보였으나, commonsense에서는 데이터 구성 영향으로 다소 부진합니다. 모델 가중치·체크포인트·전체 학습 레시피를 공개하여 uniform diffusion의 스케일링 연구를 촉진합니다.
Sumi는 7B 규모에서 처음으로 scratch-pretrained된 uniform diffusion 언어 모델로, autoregressive 모델과 경쟁력 있는 성능을 보이며 공개되었습니다.
핵심 결론
- 규모 — 7B 파라미터, 1.5T 토큰으로 scratch-pretrained — 기존 UDLM 중 최대 규모입니다.
- 성능 — 지식·추론·코딩 벤치마크에서 동일 토큰 예산의 AR 모델과 경쟁, commonsense에서는 다소 부진.
- 공개 — 모델 가중치, 체크포인트, 전체 학습 레시피 및 데이터 구성까지 완전 공개.
방법
- 아키텍처 — Uniform diffusion — 모든 토큰이 모든 스텝에서 업데이트 가능, 기존 masked diffusion보다 유연한 생성.
- 데이터 — 교육 중심 데이터 혼합(education-heavy)으로 commonsense 성능에 영향을 준 것으로 분석.
- 학습 — 1.5T 토큰, scratch-pretrained — 기존 UDLM은 대부분 fine-tuning 또는 소규모.
한계·조건
- 벤치 — Commonsense 벤치마크에서 AR 모델 대비 성능 격차 — 데이터 구성이 주요 원인으로 지목.
- 비교 — 동일 토큰 예산의 AR 모델과 비교했지만, AR 모델의 추가 학습이나 더 큰 데이터로는 비교되지 않음.
- 코드 — 모델 가중치·체크포인트·레시피 공개 — 재현 가능.
편집자 한 줄
Uniform diffusion의 스케일링 연구를 위한 기준점이 될 만한 공개입니다. commonsense 격차가 데이터 때문인지 diffusion 특성인지는 후속 연구가 필요해 보입니다.
- #uniform-diffusion
- #language-model
- #open-source
- #7b
- #mengyu-ye
Mengyu Ye