LenVM: 토큰 단위 생성 길이 예측 모델 — 7B 모델 길이 정확도 30.9→64.8

UC Santa Barbara 팀이 토큰 단위로 남은 생성 길이를 예측하는 Length Value Model(LenVM)을 제안했습니다. 각 토큰에 일정한 음의 보상을 할당해 할인된 누적 보상이 남은 생성 길이의 단조 프록시가 되도록 학습하며, 별도의 주석 없이 밀집된 신호를 제공합니다. LIFEBench exact length matching에서 7B 모델의 점수를 30.9에서 64.8로 끌어올려 폐쇄형 모델을 크게 앞질렀고, GSM8K에서 200토큰 예산 제약 하에 63% 정확도를 유지(기준선 6%)했습니다. 다만 이 방식은 추론 시 추가 모델 호출이 필요해 지연 시간이 늘어날 수 있습니다.

• #length-modeling
• #token-level
• #ucsb
• #llm
• #vlm