UniSD: 자기 증류로 LLM 성능 +5.4점 향상 — 통합 프레임워크로 구성 요소 간 상호작용 규명

Georgia Tech 팀이 자기 증류(Self-distillation)를 체계적으로 연구하는 통합 프레임워크 UniSD를 제안했습니다. 다중 교사 동의, EMA 교사 안정화, 토큰 수준 대조 학습, 특징 매칭, 발산 클리핑 등 보완적 메커니즘을 통합해 6개 벤치마크와 3개 모델군에서 실험한 결과, 기본 모델 대비 평균 +5.4점, 최강 베이스라인 대비 +2.8점 향상했습니다. 다만 실험은 최대 7B 모델까지로, 더 큰 모델에서의 효과는 추가 검증이 필요합니다.

• #self-distillation
• #llm
• #georgia-tech