Warp-as-History: 카메라 제어 비디오 생성을 위한 훈련 없는 방법

카메라 궤적을 따르는 비디오 생성을 위해, 훈련이나 테스트 시 최적화 없이 사전 학습된 모델을 활용하는 Warp-as-History 인터페이스를 제안합니다. 과거 프레임을 카메라 워핑하여 목표 프레임의 위치 인코딩과 정렬하고 유효한 토큰만 선택함으로써, frozen 모델이 제로샷으로 카메라 궤적을 따르도록 합니다. 추가로 단일 비디오에 대한 경량 LoRA 미세 조정으로 성능을 향상시킬 수 있으며, 다양한 데이터셋에서 효과를 입증했습니다.

• #video-generation
• #camera-control
• #zero-shot
• #lora
• #warp-as-history