News·5일 전
RoPE 기반 언어 모델, 토큰 간 거리를 학습할 수 있다
LessWrong 게시글에 따르면, RoPE 기반 언어 모델의 위치 증가분을 고정(+1) 대신 학습 가능하게 바꾸면 성능 저하 없이 모델이 각 층에서 토큰 간 거리를 어떻게 인식하는지 관찰할 수 있습니다. 이는 어텐션 패턴 외에 모델의 '주목 지점'을 살펴보는 또 다른 도구가 될 수 있습니다. 단, 아직 유용성 검증이 필요한 단계입니다.
RoPE의 위치 증가분을 학습 가능하게 바꿔 모델이 토큰 간 거리를 어떻게 인식하는지 들여다보는 기법이 제안되었습니다.
골자
- 방법 — 표준 RoPE의 고정 위치 증가분(+1) 대신, 토큰별·층별 학습 가능한 증가분을 사용합니다.
- 효과 — 성능 저하 없이 각 층에서 모델이 인식하는 위치 간 거리를 시각화할 수 있습니다.
- 예시 — 0층은 구두점 경계, 3층은 개념 기반 군집을 보여주는 패턴이 관찰되었습니다.
배경·맥락
- 표준 LLM은 RoPE로 위치 정보를 인코딩하며, 두 토큰 간 거리에 비례해 key/query 벡터를 회전시킵니다.
- 한계 — 이 기법은 아직 '문제를 찾는 해결책'에 가깝고, 추가 검증이 필요합니다.
실험 설정
- 모델 — 256차원, 8헤드, 6층, 640만 파라미터의 소형 디코더 전용 트랜스포머를 사용했습니다.
- 토큰화 — BPE 대신 raw UTF-8 바이트를 직접 입력으로 사용했습니다.
편집자 한 줄
어텐션 패턴 외에 모델 내부를 들여다볼 수 있는 또 다른 창구가 생긴 셈인데, 실제 유용성은 앞으로 더 실험해봐야 알겠네요.
- #rope
- #position-embeddings
- #interpretability
- #lesswrong
LessWrong