Papers·어제
Google, 단일 이미지에서 3D 삼각형 스플랫을 직접 디코딩하는 FLAT 공개 — 기하 정확도 향상
Google 팀이 단일 이미지에서 비디오 확산 모델의 잠재 표현을 직접 삼각형 스플랫으로 디코딩하는 FLAT을 제안했습니다. 기존 3D 가우시안 대비 표면 정합도가 높아 게임 엔진 등에 바로 활용 가능한 장점이 있습니다. 핵심은 광선 중심 회전 파라미터화와 곱 윈도우 함수로 미분 가능한 삼각형 렌더링의 그래디언트 흐름을 개선한 점입니다. 단, 테스트 타임 미세 조정이 필요하며, 시각적 품질은 최신 피드포워드 방식과 비슷한 수준입니다.
단일 이미지로부터 3D 장면을 생성할 때, 비디오 확산 모델의 잠재 표현을 직접 삼각형 스플랫으로 디코딩하는 FLAT이 제안되었습니다.
핵심 결론
- 태스크 — 단일 이미지 → 3D 장면 생성, 피드포워드 방식.
- 성능 — 기존 3D 가우시안 기반 방식 대비 기하 정확도(Chamfer distance 등)에서 유의미한 개선, 시각적 품질은 유사.
- 출력 — 삼각형 스플랫(triangle soup)을 직접 디코딩, 테스트 타임 미세 조정으로 게임 엔진 호환 가능.
방법
- 잠재 디코딩 — 비디오 확산 모델의 압축된 잠재 벡터를 한 번에 삼각형 스플랫으로 매핑.
- 회전 파라미터화 — 광선 중심(ray-centered) 회전 표현으로 삼각형 방향 예측의 그래디언트 흐름 안정화.
- 곱 윈도우 함수 — 미분 가능 삼각형 렌더링에서 새로운 product window function 도입, 그래디언트 전파 개선.
한계·조건
- 테스트 타임 튜닝 — 완전 불투명한 게임 엔진 표현을 위해 경량의 테스트 타임 미세 조정이 필요.
- 비교 설정 — 3DGS, 2DGS, triangle splatting을 동일 학습 조건에서 비교한 첫 체계적 분석을 제공.
- 코드 — 프로젝트 페이지(https://flat-splat.github.io)에서 추가 정보 제공, 코드 공개 여부는 미정.
편집자 한 줄
삼각형 스플랫은 기하 정확도가 중요한 시뮬레이션·게임 파이프라인에 유리하지만, 테스트 타임 튜닝 없이도 실시간 렌더링이 가능한지는 추가 확인이 필요합니다.
- #3d-scene-generation
- #video-diffusion
- #triangle-splatting
Google