OmniPro: 스트리밍 비디오 이해 벤치마크 — 오디오 포함 84%, 9개 서브태스크

OmniPro는 omni-modal 스트리밍 비디오 이해 모델의 능력을 평가하는 최초의 벤치마크로, 2,700개 샘플, 9개 서브태스크, 3개 인지 수준을 포함합니다. 84%의 샘플이 오디오 신호를 필요로 하며, Probe와 Online 두 가지 평가 모드를 도입해 모델의 자발적 반응 능력을 측정합니다. 11개 모델 평가 결과, 오디오 활용도는 모델별 편차가 크고, 시간 경과에 따른 성능 저하가 뚜렷하며, 비음성 오디오 인식이 가장 취약한 영역으로 드러났습니다.

• #video-understanding
• #benchmark
• #omni-modal
• #streaming