PolyU, LLM 지속적 후학습에서 망각 원인 규명 — 기하학 충돌 기반 GCWM 으로 데이터 없이 성능 개선

홍콩폴리텍대 연구팀이 LLM 지속적 후학습(continual post-training)에서 망각(forgetting)이 발생하는 원인을 파라미터 업데이트의 공분산 기하학(covariance geometry) 불일치로 설명하고, 이를 해결하는 데이터 프리 방법 GCWM(Geometry-Conflict Wasserstein Merging)을 제안했습니다. GCWM은 가우시안 Wasserstein barycenter로 공유 메트릭을 구성하고 기하학 충돌(geometry conflict)을 게이트로 삼아 보정을 적용합니다. Qwen3 0.6B~14B 모델에서 도메인·능력 지속 설정 모두 데이터 프리 baseline을 일관되게 상회했으며, 재현 데이터 없이도 망각을 줄이고 최종 성능을 높였습니다. 다만 실험 규모가 14B까지로 제한되고, replay 기반 방법과의 비교는 포함되지 않았습니다.

• #continual-learning
• #catastrophic-forgetting
• #llm
• #geometry
• #polyu