CogOmniControl: 추론 기반 비디오 생성 제어 — 희소 조건에서도 창작 의도 정합

ZJU 팀이 희소·추상적 조건(스토리보드, 클레이 렌더)에서도 창작 의도에 맞는 비디오를 생성하는 CogOmniControl을 공개했습니다. 애니메이션 제작 데이터로 특화시킨 CogVLM이 사용자 의도를 추론해 밀집 조건으로 변환하고, CogOmniDiT가 이를 in-context로 통합하며 강화학습으로 정렬합니다. CogReasonBench·CogControlBench 두 벤치마크에서 기존 오픈소스 모델을 능가했지만, 추론 과정이 추가되어 실시간성은 떨어질 수 있습니다.

• #video-generation
• #diffusion
• #control
• #cogvlm
• #zju