Papers·2일 전
BRDFusion: 물리 기반 역렌더링과 생성 모델 결합 — 도시 장면 재조명·야간 시뮬레이션 지원
BRDFusion은 물리 기반 역렌더링의 정확성과 생성 모델의 사실성을 결합해 도시 영상의 재구성 품질을 높인 프레임워크입니다. 물리 모델로 장면 속성을 복원하고 생성 모델로 노이즈와 아티팩트를 제거해, 기존 방법 대비 더 선명하고 일관된 비디오를 생성합니다. 또한 새로운 시점에서의 재조명, 야간 시뮬레이션, 동적 객체 삽입·편집을 지원합니다.
도시 장면 역렌더링에서 물리 기반 방법과 생성 모델의 장점을 결합한 BRDFusion이 공개됐습니다.
핵심 결론
- 성능 — 실제 및 합성 장면에서 기존 방법 대비 재구성 오차가 낮고, 생성 비디오의 일관성과 제어 가능성이 모두 개선됐습니다.
- 지원 기능 — 새로운 시점 재조명, 야간 시뮬레이션, 동적 객체 삽입·편집 등 다양한 다운스트림 태스크를 하나의 프레임워크로 처리합니다.
방법
- 이중 모델 — 물리 기반 역렌더링 모델로 장면의 명시적 속성(재질, 조명)을 복원하고, 생성 모델이 최적화 과정의 모호성을 줄이며 아티팩트를 보정합니다.
- 포워드 렌더링 — 복원된 물리 속성으로 제어 가능한 렌더링을 수행한 후, 생성 모델이 노이즈를 제거해 최종 고품질 비디오를 출력합니다.
한계·조건
- 데이터 — 비디오 입력이 필요하며, 정적 장면을 가정합니다. 동적 객체 삽입은 별도 마스크 입력을 요구합니다.
- 공개 — 코드는 아직 공개되지 않았으며, 프로젝트 페이지에서 결과와 추가 자료를 확인할 수 있습니다.
편집자 한 줄
물리 기반과 생성 모델의 결합 자체는 새로운 접근은 아니지만, 도시 규모 장면에서 실용적인 기능을 하나로 묶은 점이 눈에 띕니다.
- #inverse-rendering
- #generative-models
- #urban-scenes
- #relighting
- #nerf
Yi-Ruei Liu