Papers·4일 전
Qwen, 최종층 우회 디코딩 Confident Decoding — GPQA·Omni-MATH·HLE 평균 3~5% 향상
Qwen 팀이 LLM의 최종층이 정렬(alignment) 편향을 주입해 추론 성능을 오히려 낮출 수 있다는 점을 발견하고, 엔트로피 기반 역탐색으로 가장 신뢰할 수 있는 근최종층을 동적 선택하는 Confident Decoding을 제안했습니다. GPQA-Diamond, Omni-MATH, HLE 등 까다로운 추론 벤치마크에서 일관된 개선을 보였으며, 메모리 오버헤드 없이 지연 시간 증가는 2% 미만입니다. 단, 이 방식은 최종층의 정렬 노이즈가 추론에 해가 되는 상황에서만 효과적이며, 단순 생성 태스크에서는 오히려 성능이 떨어질 가능성이 있습니다.
Qwen 팀이 LLM 디코딩에서 최종층이 오히려 추론 성능을 해칠 수 있다는 발견을 바탕으로, 엔트로피 기반으로 최적의 중간층을 선택하는 Confident Decoding을 공개했습니다.
핵심 결론
- 벤치 — GPQA-Diamond, Omni-MATH, HLE 등 추론 벤치마크에서 평균 3~5% 정확도 향상.
- 효율 — 메모리 오버헤드 0, 지연 시간 증가 2% 미만으로 거의 무료에 가까운 개선입니다.
방법
- 동적 층 선택 — 각 토큰마다 최종층부터 역방향으로 엔트로피를 계산해, 급격히 낮아지는 지점을 찾아 그 직전 층의 hidden state를 사용합니다.
- 이론적으로는 최적 정지 문제로 정식화해, bounded projection noise와 alignment perturbation 하에서 성능 손실을 bound 합니다.
- 발견 — 초기층은 coarse guess, 중간층은 reasoning refinement, 최종층은 alignment-preferred token으로 perturb하는 패턴이 반복됨을 관찰했습니다.
한계·조건
- 적용 범위 — 추론 중심 태스크에서 효과적이며, 단순 생성이나 번역 등에서는 최종층이 더 나을 수 있습니다.
- 모델 의존성 — Dense와 MoE 모두에서 검증되었지만, 특정 정렬 강도에 따라 최적 층 깊이가 달라져 사전 분석이 필요할 수 있습니다.
- 코드 — 공식 구현은 아직 공개되지 않았으며, 논문 내 알고리즘 설명만으로 재현 가능한 수준입니다.
편집자 한 줄
정렬된 모델의 추론 능력을 끌어내는 실용적인 트릭으로 보이지만, 태스크별로 최적 층이 달라질 수 있어 범용성은 좀 더 봐야겠네요.
- #decoding
- #alignment
- #qwen
- #reasoning
- #entropy
Qwen