ORBIT: 생성 검색 미세조정에서 범주 망각 억제 — 가중치 평균화로 일반 추론 유지

생성 검색(GenRetrieval) 미세조정 시 LLM의 일반적 언어 추론 능력이 급속히 망각되는 현상을 관찰하고, 이를 완화하는 ORBIT 기법을 제안했습니다. ORBIT은 미세조정된 가중치와 초기 가중치 간의 거리를 추적하며, 임계치를 초과하면 가중치 평균화로 모델 드리프트를 제한합니다. 그 결과, 일반 텍스트 및 검색 성능을 유지하면서도 기존 continual learning 및 정규화 방법보다 우수한 성능을 보였습니다. 단, 제안된 방법은 GenRetrieval 태스크에 특화되어 있으며, 다른 도메인으로의 일반화는 추가 검증이 필요합니다.

• #llm
• #catastrophic-forgetting
• #generative-retrieval
• #weight-averaging
• #fine-tuning