KVM: 블록 순환 attention으로 O(N) 추론·sublinear 상태 성장 — 트랜스포머와 선형 RNN 통합

Recursal 팀이 Key-Value Means (KVM)라는 블록 순환 attention 메커니즘을 제안했습니다. 고정 크기 또는 확장 가능한 상태를 지원하며, 기존 트랜스포머에 고정 크기 KVM을 적용하면 O(N) 청크 RNN으로 동작하고, 확장 가능한 KVM 캐시로는 subquadratic prefill 시간과 sublinear 상태 성장으로 긴 컨텍스트에서 경쟁력 있는 성능을 냅니다. 커스텀 커널 없이 표준 연산만으로 구현 가능하고, 청크 단위 병렬 학습과 prefill이 가능해 트랜스포머의 장점(확장 가능한 컨텍스트, 병렬 학습)과 선형 RNN의 효율성을 통합한 점이 특징입니다. 코드와 모델은 Apache 2.0 라이선스로 공개되었습니다.

• #attention
• #long-context
• #recurrent
• #efficiency
• #recursal