Google Sensor2Sensor — 대시캠 영상을 자율주행 멀티모달 센서 데이터로 변환

Google 팀이 대시캠 같은 단일 시점 영상을 자율주행 시스템에 필요한 멀티뷰 카메라·LiDAR 데이터로 변환하는 Sensor2Sensor를 제안했습니다. 4D Gaussian Splatting으로 실제 AV 로그를 대시캠 영상으로 변환한 뒤, diffusion 모델로 다시 AV 로그를 생성하는 방식으로 짝 없는 데이터 문제를 해결했습니다. 정량 평가에서 생성 데이터의 충실도가 높았으며, 인터넷 영상 등 외부 데이터를 AV 개발에 활용할 수 있는 가능성을 열었습니다.

• #autonomous-driving
• #sensor-synthesis
• #diffusion
• #4d-gaussian-splatting
• #google