Hugging Face, DTS(Decoding Tree Sketching) 공개 — 병렬 추론 효율성 개선

Hugging Face 커뮤니티에서 DTS(Decoding Tree Sketching)라는 새로운 병렬 추론 알고리즘을 공개했습니다. 기존 DeepConf/Self-Consistency나 beam search가 모든 토큰을 무작위로 샘플링하거나 지수적으로 확장하는 반면, DTS는 모델의 불확실성 신호(토큰 엔트로피, varentropy)를 기반으로 의미적으로 갈라지는 지점에서만 분기합니다. 이로 인해 중복 계산을 줄이고 추론 트리를 압축적으로 유지할 수 있다고 하네요. 아직 커뮤니티 아티클 단계라 실제 적용까지는 지켜봐야 하지만, 병렬 추론의 방향성을 바꿀 접근법이라 한 번 봐둘 만합니다.

• #huggingface
• #dts
• #parallel-reasoning
• #llm
• #decoding