Periodic number features in LLMs: Fourier sparsity vs. geometric separability

USC 연구진은 언어 모델이 숫자를 표현할 때 주기 2, 5, 10의 푸리에 피크를 공통적으로 학습하지만, mod-T 선형 분류가 가능한 기하학적 분리성은 데이터·아키텍처·옵티마이저·토크나이저에 따라 달라짐을 증명했다. 푸리에 영역 희소성은 필요조건일 뿐 충분조건이 아니며, 기하학적 분리성은 텍스트-숫자 동시발생 신호나 다중 토큰 덧셈 문제를 통해 획득된다. 다양한 모델이 서로 다른 학습 신호로 유사한 특징을 수렴 진화하는 현상을 보여준다.

• #number representation
• #periodic features
• #convergent evolution
• #usc