PhyCo: 물리 제어 가능한 비디오 생성 — ControlNet + VLM 보상으로 물리 일관성 확보

PhyCo는 비디오 확산 모델에 물리적 제어를 도입한 프레임워크입니다. 마찰, 반발계수, 변형, 힘을 체계적으로 변화시킨 10만 개 이상의 포토리얼리스틱 시뮬레이션 데이터셋을 구축하고, 픽셀 정렬 물리 속성 맵으로 조건화된 ControlNet을 통해 사전 학습된 확산 모델을 파인튜닝합니다. 또한 VLM으로 생성된 비디오의 물리적 일관성을 평가하고 미분 가능한 피드백을 제공하는 보상 최적화를 결합했습니다. Physics-IQ 벤치마크에서 물리적 사실성이 크게 개선되었으며, 추론 시 시뮬레이터나 기하 재구성이 필요 없다는 장점이 있습니다. 다만 학습에 고품질 시뮬레이션 데이터가 대량 필요하고, 복잡한 물리 상호작용(유체, 연체)으로의 일반화는 추가 검증이 필요합니다.

• #video-generation
• #physics
• #controllability
• #controlnet
• #vlm