Papers·6일 전
Prefix Consistency: CoT 중간 재생성으로 신뢰도 측정 — MV 대비 최대 21x 효율
MBZUAI 연구진이 CoT 추론에서 정답과 오답의 재생성 일관성 차이를 이용해 신뢰도를 측정하는 'prefix consistency' 기법을 제안했습니다. 중간까지 생성한 후 나머지를 재생성했을 때 정답이 더 자주 유지되는 점을 활용해 각 답변에 가중치를 부여, majority voting 대비 최대 21x(중앙값 4.6x) 적은 토큰으로 동등한 정확도를 달성했습니다. 토큰 로그 확률이나 자기 평가 프롬프트가 필요 없으며, 다섯 가지 추론 모델과 네 가지 수학/과학 벤치마크에서 검증되었습니다.
- #chain-of-thought
- #self-consistency
- #reasoning
- #mbzuai
- #efficiency
Mohamed Bin Zayed University of Artificial Intelligence