In-context Sparse Attention: 비디오 편집에서 attention latency 60% 감소, 세 벤치마크 SOTA

LIVEditor는 ISA(In-context Sparse Attention)를 도입해 ICL 기반 비디오 편집의 attention latency를 약 60% 줄이면서도 EditVerseBench, IVE-Bench, VIE-Bench에서 SOTA를 달성했습니다. ISA는 컨텍스트 토큰의 saliency가 낮다는 점과 Query sharpness가 근사 오차와 상관관계가 있다는 이론적 증명을 바탕으로, 프루닝과 동적 쿼리 그룹화를 통해 sparse attention을 구현합니다. 1.7M 고품질 데이터셋으로 학습되었으며, near-lossless 가속을 실현했습니다.

• #video-editing
• #attention
• #sparse-attention
• #in-context-learning
• #liveditor