Papers·6일 전
ETH Zurich, αDepth — 부드러운 경계 분해로 입체 변환 SOTA, 배경 번짐 제거
ETH Zurich 팀이 αDepth를 공개했습니다. 부드러운 경계(머리카락, 디포커스 블러)에서 혼합된 색상과 깊이를 분해하는 계층적 표현으로, 기존 단일 레이어 깊이 모델의 모호함을 해결합니다. 핵심은 원형 알파 표현(CAR)으로, 전역 객체 추출 대신 국소 경계 분해로 전환해 다중 객체 장면에서도 사용자 개입 없이 추론 가능합니다. 입체 변환 벤치마크에서 배경 번짐과 구조 왜곡을 제거하며 SOTA를 달성했습니다.
ETH Zurich 팀이 부드러운 경계에서 색상과 깊이 모호성을 분해하는 계층적 표현 αDepth를 제안했습니다.
핵심 결론
- 태스크 — 스테레오 변환(2D→3D)에서 부드러운 경계(머리카락, 디포커스 블러)의 고품질 처리.
- 성능 — 기존 SOTA 대비 배경 번짐과 구조 왜곡을 제거하며 정량·정성 평가 모두 우위.
- 모델 — 단일 레이어 깊이 대신 계층적 opacity + depth를 추정하는 방식.
방법
- αDepth — 부드러운 경계에서 혼합된 색상과 깊이를 분해하는 계층적 표현. 각 픽셀에 전경/배경 색상과 깊이, 알파를 동시에 추정합니다.
- CAR — Circular Alpha Representation — 전역 객체 분할 대신 국소 경계 주변의 원형 영역에서 알파를 추정. 다중 객체 장면에서도 사용자 개입 없이 동작합니다.
- 추론 — 기존 매팅 기법과 달리 단일 포워드 패스로 전체 장면 추론 가능.
한계·조건
- 벤치 — 평가는 공개 스테레오 변환 데이터셋 기준. 실내·실외 다양한 장면 포함.
- 재현성 — 코드와 모델 가중치는 아직 공개되지 않았습니다 (논문 공개 단계).
- 계산량 — CAR의 원형 영역 연산이 추가되어 기존 단일 레이어 대비 추론 시간이 증가할 가능성.
편집자 한 줄
부드러운 경계 처리는 입체 변환의 오랜 난제인데, CAR 아이디어가 깔끔하게 접근한 점이 인상적입니다. 코드 공개가 기다려지네요.
- #stereo-conversion
- #depth-estimation
- #matting
- #eth-zurich
ETH Zurich