LLM 추론 패턴의 분리 가능성 — 논리 스키마와 데이터 분리, 명령 준수율 29% 향상

LLM의 추론 패턴(귀납, 연역, 가추)이 구체적인 문제 인스턴스로부터 분리 가능한지 체계적으로 조사한 첫 연구입니다. 추론 충돌(parametric 정보와 맥락 정보 간의 불일치)을 유발해 모델의 행동을 분석한 결과, LLM은 충돌하는 명령에도 불구하고 과제에 적합한 패턴을 우선시하며, 모델 크기가 클수록 내재화된 파라메트릭 메모리에 의존하는 경향을 보였습니다. 추론 충돌 시 confidence score가 유의미하게 감소해 내부적으로 감지 가능하며, 중간~후반 레이어에서 추론 유형이 선형적으로 인코딩되어 활성화 수준에서의 제어 가능성을 확인했습니다. 이 통찰을 바탕으로 명령 준수율을 최대 29% 향상시켰습니다.

• #reasoning
• #controllability
• #llm
• #chain-of-thought