Papers·2일 전
FadeMem: 거리 기반 KV 캐시 압축으로 긴 비디오 생성에서 일관성 유지
자기회귀 비디오 생성기에서 KV 캐시가 길어지는 문제를 해결하기 위해 FadeMem을 제안했습니다. 기존 고정 캐시 방식은 로컬 윈도우나 싱크 토큰 등으로 역할을 고정하는 반면, FadeMem은 거리 기반의 시간적 계층 구조를 도입해 최근 맥락은 세밀하게, 먼 맥락은 압축해 하나의 캐시에 저장합니다. 실험 결과, 피사체 일관성과 배경 안정성에서 기존 방법보다 우수한 성능을 보였습니다.
자기회귀 비디오 생성기의 KV 캐시 폭발 문제를 거리 기반 메모리 병합으로 해결한 FadeMem이 공개됐습니다.
핵심 결론
- 태스크 — 자기회귀 비디오 생성에서 긴 시퀀스의 KV 캐시를 고정 예산으로 압축.
- 성능 — 피사체 일관성, 배경 안정성, 시간적 일관성에서 기존 bounded-cache 전략 대비 개선.
방법
- 아이디어 — KV 블록을 시간적 계층 구조로 조직해, 최근은 세밀하게, 먼 과거는 점진적으로 병합하는 FadeMem 제안.
- 동기 — 주파수 의존적 시간 감쇠: 세부 디테일은 빠르게 상관도가 떨어지지만, 거친 장면 구조와 정체성은 오래 유용.
- 구현 — 새로운 히스토리는 세밀한 엔트리로 삽입되고, 오래된 인접 엔트리는 power-law 시간 할당 스케줄에 따라 병합되어 dense-near, sparse-far 메모리 구성.
한계·조건
- 아키텍처 — 모델 구조 변경 없이 기존 자기회귀 비디오 생성기에 적용 가능.
- 벤치마크 — 구체적인 벤치마크 이름과 수치는 논문에서 확인 필요.
편집자 한 줄
KV 캐시 압축에 temporal hierarchy를 도입한 점이 깔끔합니다. 다만 power-law 스케줄의 하이퍼파라미터 민감도가 궁금하네요.
- #video-generation
- #kv-cache
- #long-context
- #memory
Yu Lu