많은 예시를 넣은 CoT-ICL, 추론에서는 다른 스케일링 법칙 — CDS로 최대 5.42%p 향상

많은 예시를 프롬프트에 넣는 many-shot ICL이 추론 과제에서는 기존 비추론 태스크와 다른 스케일링 행동을 보인다는 연구입니다. 비추론 LLM에서는 CoT 예시 수 증가가 불안정한 반면, 추론 중심 LLM에서는 성능 향상이 뚜렷했습니다. 유사도 기반 검색은 추론에 오히려 해가 되며, 예시 순서가 중요하다는 점을 발견하고 곡선형 데모 선택(CDS)을 제안, 기하 문제에서 64개 예시 기준 5.42%p 개선을 보였습니다. 단, 이 연구는 특정 벤치마크와 모델군에 국한되어 일반화에는 추가 검증이 필요합니다.

• #in-context-learning
• #chain-of-thought
• #reasoning
• #scaling
• #llm