TIDE: 첫 교차-아키텍처 dLLM 증류 프레임워크 — 0.6B 학생이 1.53점 평균 향상

Peking University 팀이 diffusion LLM(dLLM)의 교차-아키텍처 증류를 가능하게 하는 TIDE 프레임워크를 제안했습니다. TIDE는 세 가지 모듈(TIDAL, CompDemo, Reverse CALM)로 구성되며, 8B dense 및 16B MoE 교사 모델을 0.6B 학생으로 증류해 8개 벤치마크 평균 1.53점 향상을 달성했습니다. 특히 HumanEval에서 48.78로 AR baseline(32.3) 대비 큰 폭 개선되었습니다. 단, 실험은 두 개의 이기종 파이프라인에 국한되었고, 코드 공개 여부는 명시되지 않았습니다.

• #diffusion-llm
• #knowledge-distillation
• #cross-architecture
• #peking-university