추론 모델의 pass@k 수축 현상 — SFT 데이터 내 결정 분기점이 핵심 원인

SFT 기반 post-training에서 추론 모델의 pass@k가 base 모델 대비 떨어지는 '추론 수축(shrinkage)' 현상을 분석한 연구입니다. 연구팀은 이 현상이 학습 데이터에 포함된 '결정 분기점(decision point)'—모델이 여러 유효 추론 경로 중 하나를 선택해야 하는 지점—의 비율과 강하게 상관됨을 발견했습니다. 제어된 실험을 통해 분기점 시나리오가 많을수록 수축이 심해지며, 데이터 합성 시 분기점을 의도적으로 설계하거나 다양성을 장려하는 디코딩 메커니즘을 적용하면 부분적으로 완화할 수 있음을 보였습니다. 데이터 중심 요인이 추론 수축의 주요 원인임을 지적한 점이 핵심입니다.

• #reasoning
• #sft
• #shrinkage
• #decision-points
• #llm