Papers·6일 전
Adobe MotiMotion — 추론-기반 모션 제어로 더 자연스러운 이미지-투-비디오 생성
Adobe Research 팀이 MotiMotion을 공개했습니다. 기존 모션 제어 방식은 사용자 궤적을 그대로 따라가면서 부자연스러운 결과를 내는 문제가 있었는데, MotiMotion은 이를 추론-후-생성(reasoning-then-generation) 프레임워크로 풀었습니다. 훈련 없는 VLM 리즈너로 궤적을 정제하고, 신뢰도 기반 제어로 저신뢰 구간에서는 생성 모델의 내부 사전을 활용해 아티팩트를 교정합니다. 새로 구축한 MotiBench 벤치마크에서 VLM 평가와 인간 평가 모두 기존 방법보다 더 그럴듯한 객체 상호작용을 보여줬습니다.
Adobe Research가 이미지-투-비디오 생성에서 모션 제어를 추론 기반으로 개선한 MotiMotion을 공개했습니다.
핵심 결론
- 태스크 — 이미지-투-비디오 생성에서 사용자 제공 궤적을 더 자연스럽게 따르는 모션 제어.
- 개선 — MotiBench 벤치마크에서 VLM 평가와 인간 평가 모두 기존 대비 더 그럴듯한 객체 행동과 상호작용을 보여줌.
방법
- 추론-후-생성 — 모션 제어를 추론-후-생성 문제로 재정의. 훈련 없는 VLM 리즈너가 주 궤적의 좌표를 정제하고, 인과적으로 타당한 2차 모션을 추론해 추가.
- 신뢰도 기반 제어 — Confidence-aware control scheme으로, 고신뢰 계획은 꼼꼼히 따르고 저신뢰 입력에서는 내부 생성 사전으로 아티팩트를 교정.
한계·조건
- 벤치마크 — MotiBench는 상호작용 중심의 장면(움직임으로 새 이벤트가 트리거되는)으로 구성, 일반 동영상 생성 벤치와는 초점이 다름.
- 코드 — 논문 발표 시점에는 코드 공개 여부 미확인.
편집자 한 줄
VLM 리즈너를 훈련 없이 사용한다는 점이 실용적이고, 신뢰도 기반 제어는 기존 guidance 기법과의 결합 가능성도 열어둔 접근이라 흥미롭습니다.
- #image-to-video
- #motion-control
- #adobe-research
- #video-generation
Adobe Research