ShanghaiTech, LLM 디코딩에 탐색적 샘플링 도입 — Pass@k 30% 향상, 창작 일관성 유지

ShanghaiTech 팀이 LLM 디코딩 단계에서 semantic diversity 를 직접 유도하는 Exploratory Sampling (ESamp) 을 제안했습니다. Distiller 라는 경량 네트워크가 LLM 의 shallow-layer 표현으로부터 deep-layer 표현을 예측하며, 예측 오차가 큰 토큰을 novelty 신호로 삼아 덜 탐색된 의미 패턴으로 샘플링을 편향시킵니다. 수학·과학·코드 벤치마크에서 Pass@k 효율이 크게 올랐고, 창작 글쓰기에서도 다양성과 일관성 사이의 트레이드오프를 깼습니다. 오버헤드는 최적화 버전 기준 1.2% 로 실용적이며, 코드도 공개되었습니다.

• #decoding
• #diversity
• #llm
• #shanghaitech