LLM 도구 사용의 knowing-doing 갭 — 모델 적응형 필요성 정의로 26~54% 불일치 발견

Maryland 대학 연구진은 LLM이 도구를 사용해야 할지 판단하는 능력과 실제로 사용하는 행동 사이에 상당한 괴리가 있음을 밝혔습니다. 네 가지 모델을 대상으로 산술·사실 QA 데이터셋에서 모델의 실제 성능에 기반한 '도구 필요성'을 정의한 결과, 필요성 인식과 실제 도구 호출 간 불일치가 26.5~54.0%에 달했습니다. 내부 표현을 분석한 결과, 모델의 은닉 상태에서 인지 신호와 행동 신호가 선형 분리 가능하지만, 마지막 층에서 두 신호가 거의 직교 방향이 되어 인지가 행동으로 전환되지 못하는 knowing-doing 갭이 주요 원인으로 지목됐습니다.

• #tool-use
• #llm-agents
• #knowing-doing-gap
• #university-of-maryland