UC Berkeley, LLM 학습에 '느린 가중치+빠른 가중치' 도입 — 샘플 효율 3배, KL 발산 70% 감소

UC Berkeley 연구진이 LLM의 파라미터를 '느린 가중치'로, 최적화된 컨텍스트를 '빠른 가중치'로 분리하는 Fast-Slow Training (FST) 프레임워크를 제안했습니다. 추론 과제에서 RL 대비 최대 3배 샘플 효율을 보였고, 최종 성능도 더 높았습니다. 특히 파라미터 업데이트를 최소화해 KL 발산이 70% 줄어들어 catastrophic forgetting과 plasticity 손실을 크게 완화했으며, 연속 학습 환경에서도 RL이 정체될 때 FST는 계속 새로운 과제를 습득했습니다. 다만 이 방식은 텍스트 피드백을 활용한 컨텍스트 최적화가 추가로 필요해, 단순 파라미터 업데이트보다 구현 복잡도가 높아진다는 점이 한계입니다.

• #fast-slow-learning
• #continual-learning
• #llm
• #uc-berkeley