Toronto 대학, visual geometry transformer 에서 global attention 의 KV token 을 선택적으로 줄여 85% 가속

Toronto 대학 팀이 multi-view 3D reconstruction 에 쓰이는 visual geometry transformer 의 global attention 연산을 token selection 으로 가속했습니다. inter-frame (다양성 기반) 과 intra-frame (entropy 기반 layer-aware sparsification) 두 단계로 key/value token 을 선별해, 500장 이미지 기준 속도를 85% 이상 높이면서도 baseline 성능을 유지하거나 개선했습니다. 코드는 공개되어 있습니다.

• #visual-geometry-transformers
• #3d-reconstruction
• #attention
• #token-selection
• #university-of-toronto