Papers·6일 전
Harmful Continuation Cut — 긴 CoT 추론 꼬리 제거가 SFT 성능 개선
답이 맞는 긴 chain-of-thought 데이터에도 훈련에 해로운 구간이 존재합니다. 연구팀은 결론 이후 불필요하게 이어지는 추론(post-conclusion continuation)을 제거한 뒤 SFT를 수행했더니 성능이 개선됨을 발견했습니다. 이 현상을 harmful continuation이라 명명하고, uncertainty와 hidden-state progress의 불일치로 특징지었습니다. HCC(Harmful Continuation Cut)라는 경량 경계 탐지기를 제안해, 별도 편집 없이도 해로운 구간을 자동으로 잘라낼 수 있음을 보였습니다.
답이 맞는 긴 CoT 데이터에도 훈련에 해로운 꼬리 구간이 존재한다는 분석과, 이를 자동으로 잘라내는 경량 기법을 제안한 논문입니다.
핵심 결론
- 태스크 — 긴 CoT SFT 데이터에서 post-conclusion continuation을 제거하면 SFT 성능이 개선됩니다.
- 측정 — 답은 유지한 채 편집기로 꼬리만 제거한 데이터로 SFT를 수행한 결과, 원본 대비 정확도가 향상되었습니다.
방법
- 편집기 — 답을 보존하면서 post-conclusion continuation을 삭제하는 delete-only 편집기를 사용해 데이터를 가공합니다.
- 특징 분석 — 제거된 구간은 높은 local uncertainty와 약한 terminal-directional progress를 보이며, uncertainty–geometry mismatch를 형성합니다.
- HCC — 이 mismatch를 기반으로 경량 경계 탐지기 HCC를 설계, 편집기 없이도 해로운 구간 경계를 근사합니다.
한계·조건
- 범위 — 실험은 특정 SFT 설정(모델, 데이터셋)에서 수행되었으며, 모든 CoT 데이터에 일반화된다는 보장은 없습니다.
- 재현성 — 코드 공개 여부는 명시되지 않았으며, HCC의 경계 탐지 정확도는 편집기 대비 완벽하지 않을 수 있습니다.
편집자 한 줄
긴 CoT 데이터의 품질을 미세하게 제어할 수 있는 실용적인 접근입니다. 다만 HCC의 일반화 성능과 다른 모델·데이터에서의 효과는 추가 검증이 필요해 보입니다.
- #long-cot
- #sft
- #reasoning
- #harmful-continuation
Chen He