Papers·2주 전
Nokia, LLM 생성에서 추론과 구조화를 분리하는 In-Writing 제안 — 분류·추론 태스크에서 최대 27% 정확도 향상
Nokia Bell Labs 팀이 LLM의 자유형 추론과 구조화된 출력을 하나의 호출 안에서 분리하는 In-Writing 기법을 제안했습니다. 모델이 trigger token 이후에만 제약 디코딩을 적용해, 추론 중간에 제약이 끼어드는 premature triggering 문제를 사실상 제거했습니다. 분류 및 추론 벤치마크 전반에서 자연 생성 대비 최대 27% 정확도 향상을 보였으며, 코드도 공개되었습니다.
Nokia Bell Labs가 LLM의 자유형 추론과 구조화 출력을 하나의 호출 안에서 자연스럽게 결합하는 In-Writing을 공개했습니다.
핵심 결론
- 성능 — 분류·추론 태스크에서 자연 생성 대비 최대 27% 정확도 향상, 기존 구조화 방법보다도 일관되게 우위.
- 핵심 — 추론과 포맷팅을 명시적으로 분리해, 제약 디코딩이 추론을 방해하는 premature triggering 문제를 거의 제거했습니다.
방법
- 아이디어 — 모델이 먼저 자유형 추론을 수행하고, trigger token이 생성된 이후에만 구조화된 디코딩을 적용합니다.
- trigger 전략 — 여러 trigger token 전략을 실험해 premature triggering을 사실상 0%로 줄인 점이 흥미롭네요.
- 단일 호출로 동작해 기존 파이프라인(추론→포맷팅)보다 간단합니다.
한계·조건
- 벤치 — 분류(감성, 주제)와 추론(수학, 상식) 태스크에 국한 — 복잡한 생성 태스크에서의 효과는 추가 검증 필요.
- 코드 — GitHub에 MIT 라이선스로 공개되어 재현 가능합니다.
편집자 한 줄
trigger token 위치를 학습으로 찾는 부분이 꽤 섬세한데, 다른 모델 아키텍처에서도 같은 전략이 통할지 궁금하네요.
- #llm
- #constrained-decoding
- #nokia
- #reasoning
Nokia