ReImagine: Pose- and viewpoint-controllable human video generation via image-first prior and SMPL-X guidance

GAP-LAB 제안 ReImagine은 이미지 생성 모델을 선행 학습해 인간 외형을 분리하고, SMPL-X 기반 모션 가이드와 사전 학습된 비디오 확산 모델의 학습 없는 시간적 정제를 결합해 다양한 포즈와 시점에서 고품질·시간적 일관성을 가진 인간 비디오를 생성한다. 기존 대비 외형·모션·카메라를 분리 제어하며, 캐노니컬 데이터셋과 합성 이미지 보조 모델도 공개. 단, 비디오 확산 모델의 사전 학습 의존성과 제한된 멀티뷰 데이터 환경에서의 일반화는 추가 검증 필요.

• #human video generation
• #pose control
• #viewpoint control
• #smpl-x
• #diffusion model