WorldAct: 정적 3D 생성 월드를 편집·상호작용 가능한 장면으로 변환

Jichen Hu 팀이 Marble 같은 생성적 3D 월드 모델의 출력을 편집 가능하고 물리적 상호작용이 가능한 장면으로 바꾸는 WorldAct 프레임워크를 제안했습니다. 멀티모달 에이전트가 장면 분해, 작동 가능한 객체 식별, 기하학적으로 정렬된 객체 메시 재구성, 3D 인페인팅으로 배경 복원을 수행합니다. 결과 장면은 객체 수준 편집, 충돌 인식 조작, 구현 에이전트 태스크 실행을 지원하면서 전역적 일관성을 유지합니다. 다만 현재는 특정 생성 시스템(Marble)에 의존적이며, 실시간성보다는 오프라인 변환에 초점이 맞춰져 있습니다.

• #3d-world-generation
• #scene-editing
• #multimodal-agent
• #huggingface