Papers·2주 전
PhyGenHOI: 생성 모션과 물리 시뮬레이션 결합한 4D 인간-객체 상호작용
히브리 대학교 연구팀이 정적 3D 인간과 객체를 입력으로 받아 텍스트에 따라 동적 상호작용을 생성하는 PhyGenHOI를 제안했습니다. Motion Diffusion Model로 인간 모션을 생성하고 Material Point Method로 객체 물리를 시뮬레이션하며, 3D Gaussian Splat을 통합 표현으로 사용합니다. Windowed Attraction Loss, Contact-Driven Re-simulation, Masked Video-SDS 세 가지 메커니즘으로 물리적 일관성을 확보해 기존 방법보다 우수한 성능을 보였습니다.
정적 3D 인간과 객체, 텍스트 액션을 입력받아 물리적으로 일관된 4D 상호작용을 생성하는 프레임워크입니다.
핵심 결론
- 태스크 — 정적 3DGS 인간·객체 + 텍스트 액션 → 동적 4D HOI 생성.
- 성능 — 다양한 액션·인간·객체에서 물리적 일관성과 시각적 충실도 모두 기존 방법 대비 개선.
방법
- 이중 에이전트 — 인간은 MDM(Motion Diffusion Model)으로 생성, 객체는 MPM(Material Point Method)으로 물리 시뮬레이션.
- 통합 표현 — 3D Gaussian Splat을 두 에이전트의 공유 표현으로 사용해 미분 가능한 상호작용 학습.
- 세 가지 손실 — Windowed Attraction Loss(시간 동기화), Contact-Driven Re-simulation(충돌 시 운동량 전달), Masked Video-SDS(비디오 사전 기반 접촉 충실도 향상).
한계·조건
- 데이터 — 단일 객체·단일 인간 상호작용에 초점, 복수 객체나 군중은 미지원.
- 계산량 — MPM 시뮬레이션과 SDS 최적화로 인해 추론 시간이 수 분 소요.
- 코드 — 프로젝트 페이지와 비디오는 공개되었으나 코드는 아직 미공개.
편집자 한 줄
생성 모션과 물리 시뮬레이션을 3DGS로 연결한 점이 깔끔합니다. 다만 추론 속도가 실시간에는 한참 못 미쳐서, 게임·로보틱스 적용은 좀 더 기다려야 할 듯.
- #4d-generation
- #human-object-interaction
- #physics-simulation
- #motion-diffusion
- #hebrew-university
The Hebrew University of Jerusalem