Papers·어제
Holo-World: 단일 이미지로 카메라·객체·날씨를 동시 제어하는 비디오 월드 모델
Holo-World는 단일 이미지에서 카메라·객체 움직임과 날씨 전환을 동시에 제어하는 통합 비디오 월드 모델입니다. Unified Scene Adapter가 세계 보존과 날씨 전이를 별도 파라미터 공간으로 분리하고, Scene-Weather Decomposed CFG로 날씨 효과를 강화합니다. 기존 비디오-투-비디오 날씨 편집 기준선보다 우수한 성능을 보였으나, 데이터셋 규모와 제어 정밀도에 한계가 있습니다.
Holo-World는 단일 이미지를 기반으로 카메라·객체·날씨를 통합 제어하는 비디오 월드 모델로, 세계 보존과 날씨 전이를 분리해 처리합니다.
핵심 결론
- 태스크 — 단일 이미지에서 카메라·객체 제어와 날씨 전환(예: 맑음→눈)을 동시에 수행하는 비디오 생성.
- 성능 — 날씨 상태 생성에서 비디오-투-비디오 편집 기준선보다 정량·정성적으로 우수.
- 데이터 — HoloStateData: 기존 비디오를 제어 샘플로 변환한 통합 데이터셋 구축.
방법
- Unified Scene Adapter — 세계 보존과 날씨 전이를 별도 파라미터 서브스페이스로 분해, 렌더링된 배경·지오메트리 버퍼·객체 제어로 구조 유지.
- Scene-Weather Decomposed CFG — 장면과 날씨 잔차를 별도로 안내하여 조건 과증폭 없이 날씨 효과 강화.
- 제어 — 카메라·객체 움직임을 명시적으로 제어하면서 날씨 지시(예: "rainy")를 따름.
한계·조건
- 데이터 — HoloStateData의 규모와 다양성이 제한적일 가능성.
- 제어 정밀도 — 복잡한 객체 움직임이나 극단적 날씨 전환에서 정밀도 저하 가능.
- 공개 — 코드와 데이터셋은 아직 공개되지 않음 (프로젝트 페이지에서 추후 업데이트 예정).
편집자 한 줄
단일 이미지에서 여러 제어를 통합한 점은 실용적이나, 실제 배포를 위해서는 더 큰 데이터셋과 제어 정밀도 개선이 필요해 보입니다.
- #video-generation
- #world-model
- #weather-transfer
- #control
- #holo-world
Xiangchen Yin