Geo-Align: 강화학습으로 카메라 제어 정밀도를 높인 비디오 재렌더링 — 회전·이동 오차 30% 이상 감소

Zizun Li 팀이 제안한 Geo-Align은 카메라 제어 비디오 재렌더링을 위한 최초의 강화학습 프레임워크입니다. 기존 합성 데이터 기반 SFT 방식의 일반화 한계를 극복하기 위해, 생성된 비디오에서 3D 추정기로 카메라 궤적을 추출하여 회전·이동 오차를 직접 보상하는 scale-aware perceptual reward를 도입했습니다. 실제 영상 조건과 합성 데이터의 타겟 카메라 궤적만으로 학습 가능해 paired 데이터 의존성을 없앴으며, 기존 방법 대비 카메라 제어 정확도와 시각적 품질 모두에서 일관된 우위를 보였습니다. 다만 synthetic-to-real 괴리가 큰 극단적 장면에서는 보정이 필요할 수 있습니다.

• #video-generation
• #camera-control
• #reinforcement-learning
• #3d-estimation
• #geo-align