Papers·1주 전
NJU, 덧셈 오류를 기하학적 미끄러짐으로 설명 — IRST 구조와 Noisy Quantization Model
Nanjing University 연구팀이 대규모 언어 모델의 덧셈 오류를 내부 신경 잡음이 연속적인 자리올림 전위를 양자화 임계값을 넘어 밀어내는 '기하학적 미끄러짐'으로 설명하는 이론을 제시했습니다. 잔차 스트림에서 동일-원-합 궤적(IRST)이라는 기하학적 구조를 발견하고, 이를 바탕으로 가벼운 프로브가 하나의 활성화 벡터에서 여러 잠재 신호를 분리할 수 있는 현상(Probe Versatility)도 설명했습니다. 추론 중 양자화 실패를 감지하고 교정하는 기하학적 일관성 검사 방법도 함께 공개했으며, 코드도 GitHub에 공개되어 있습니다.
NJU 연구팀이 LLM의 덧셈 오류를 기하학적 관점에서 분석한 논문입니다.
핵심 결론
- 기하학적 모델 — 덧셈 오류는 내부 신경 잡음이 연속적인 자리올림 전위를 양자화 임계값을 넘어 밀어내는 '기하학적 미끄러짐'으로 설명됩니다.
- 검증 방법 — 제안된 기하학적 일관성 검사는 추론 중 이러한 오류를 감지하고 교정할 수 있습니다.
방법
- IRST 구조 — 다중 피연산자 덧셈에서 잔차 스트림이 동일한 원시 합을 공유하는 입력들에 대해 유사한 궤적을 그리는 기하학적 구조를 발견했습니다.
- Noisy Quantization Model — 연속적인 자리올림 전위에 신경 잡음이 더해져 양자화 경계를 넘을 때 오류가 발생한다는 모델입니다.
- Probe Versatility — 하나의 활성화 벡터에 여러 잠재 신호가 공존할 수 있음을 기하학적으로 설명합니다.
한계·조건
- 벤치마크 — 주로 다중 피연산자 덧셈에 초점을 맞추었으며, 다른 연산으로의 일반화는 추가 검증이 필요합니다.
- 코드 공개 — GitHub에 코드가 공개되어 재현 가능합니다.
편집자 한 줄
기하학적 해석이 직관적이고, 오류 교정 방법이 실용적으로 보입니다.
- #arithmetic
- #llm
- #interpretability
- #nanjing-university
Nanjing University