깊이-제한 Transformer, Horn 절 귀납 추론에서 CoT 접근 — Tallinn Tech

Tallinn 공대 연구팀이 Horn 절 기반 암시적 연역 추론에서 Transformer의 스케일링 특성을 분석했습니다. 충분히 깊은 모델에 양방향 프리픽스 마스크와 알고리즘 정렬을 적용하면, 그래프 위상과 문제 폭에 걸쳐 암시적 추론이 명시적 Chain-of-Thought 성능에 근접합니다. 단 깊이 외삽에는 여전히 CoT가 필요하다는 조건이 붙습니다.

• #transformer
• #reasoning
• #chain-of-thought
• #tallinn