MixSD: 분포 정렬 지식 주입으로 SFT 대비 보유 성능 100% 유지 — CMU

CMU 팀이 SFT에서 발생하는 사전학습 능력 손실을 해결하는 MixSD를 제안했습니다. 기존 SFT가 사람/외부 시스템의 타겟 분포가 모델의 자기회귀 분포와 달라 망각을 유발한다는 점에 착안, 주입할 사실을 문맥으로 제공한 expert 조건부와 모델 원래 prior를 반영한 naive 조건부의 토큰을 혼합해 동적으로 감독 신호를 구성합니다. 합성 코퍼스와 오픈도메인 QA·지식 편집 벤치마크 실험에서 MixSD는 SFT 대비 망각을 크게 줄여 사전학습 능력을 최대 100% 보존하면서도 사실 암기 정확도를 유지했으며, 표준 SFT는 1%만 보유한 경우도 있었습니다. 단, 합성 데이터로 통제된 실험 위주라 실제 분포 변화가 큰 시나리오에서의 일반화는 추가 검증이 필요합니다.

• #knowledge-injection
• #catastrophic-forgetting
• #supervised-fine-tuning
• #cmu