Papers·어제
NF-CoT: 정규화 플로우로 연속적 사고를 모델링 — 코드 생성 pass rate 개선 및 추론 비용 절감
NF-CoT는 LLM 내부에 정규화 플로우를 삽입해 명시적 CoT 대신 연속적 잠재 사고(latent thought)를 생성하는 프레임워크입니다. 텍스트 CoT의 장점(자기회귀 생성, 확률적 샘플링, KV cache 호환, 우도 계산 가능)을 유지하면서도 중간 추론 비용을 크게 줄였습니다. 코드 생성 벤치마크에서 명시적 CoT 및 기저 잠재 추론 방법 대비 pass rate를 높였고, 중간 추론 토큰 수를 줄였습니다.
텍스트 CoT의 직렬·이산적 토큰 스트림 대신, 연속 상태에서 중간 계산을 수행하는 잠재 추론 프레임워크 NF-CoT가 제안되었습니다.
핵심 결론
- 벤치 — 코드 생성 벤치마크(MBPP, HumanEval 등)에서 명시적 CoT 및 기존 잠재 추론 방법 대비 pass rate 향상.
- 효율 — 중간 추론 토큰 수를 크게 줄여 추론 비용 절감.
방법
- NF-CoT — LLM 백본 내부에 TARFlow 스타일의 정규화 플로우를 삽입, 명시적 CoT로부터 증류한 연속적 잠재 사고에 대한 확률 모델 정의.
- 이중 헤드 — 잠재 사고 위치는 NF 헤드, 텍스트 위치는 표준 LM 헤드가 생성하며 동일한 인과 스트림 내에서 동작.
- 장점 유지 — 자기회귀 생성, 확률적 샘플링, KV cache 디코딩 호환, 정확한 우도 계산 가능.
한계·조건
- 도메인 — 현재 코드 생성 태스크에 초점; 다른 추론 도메인으로의 일반화는 추가 검증 필요.
- 학습 — 명시적 CoT 데이터로 증류하는 과정이 필요하며, 이는 추가 학습 비용을 발생시킴.
- 코드 — 논문에서 코드 공개 여부는 명시되지 않음.
편집자 한 줄
잠재 추론이 텍스트 CoT의 실용적 장점을 대부분 유지하면서 효율을 높인 점이 인상적입니다. 다만 증류 과정의 오버헤드와 다른 도메인에서의 효과는 좀 더 지켜봐야 할 듯합니다.
- #chain-of-thought
- #latent-reasoning
- #normalizing-flows
- #code-generation
- #llm
Guancheng Tu