SMART: 단일-벡터 검색기를 멀티-벡터로 업그레이드 — MMEB-V2에서 SOTA 추가 개선

SMART는 기존 단일-벡터 검색 모델에 late-interaction을 적용해 멀티-벡터 성능을 끌어내는 플러그인 방식입니다. 대조 학습이 암묵적으로 hidden state의 검색 기하를 조정한다는 점을 활용해, frozen 상태에서도 성능 향상이 가능합니다. MMEB-V2에서 SOTA를 추가 개선했으며, Visual Document Retrieval에서는 경량 post-training만으로 멀티-벡터 모델을 능가합니다. 코드와 가중치는 공개되었습니다.

• #multimodal-retrieval
• #late-interaction
• #single-vector
• #smart
• #huggingface