Papers·3일 전
HKU, DRDD 제안 — 노이즈 주입의 도메인 정렬 효과를 활용한 통합 I2I 변환, 데이터 효율 3배
홍콩대 연구팀이 diffusion 모델의 노이즈 주입이 도메인 간 특징 분포를 정렬(domain harmonization)한다는 성질을 발견하고, 이를 보존하는 Decoupled Residual Denoising Diffusion (DRDD)을 공개했습니다. 기존 diffusion은 노이즈와 잔차를 동시에 제거해 정렬 효과가 소멸되는 문제가 있었는데, DRDD는 확산 과정을 (1) stochastic noise diffusion (도메인 정렬·매니폴드 리프팅)과 (2) deterministic residual diffusion (고정 노이즈 도메인에서 의미 매핑 학습)으로 분리해 해결합니다. 노이즈 확산 단계는 짝 없는 타겟 도메인 이미지만으로 학습 가능해 데이터 효율이 크게 개선되었으며, 다양한 I2I 태스크에서 일관된 성능을 보였습니다. 코드는 공개되었습니다.
홍콩대 연구팀이 diffusion 모델의 노이즈 주입이 도메인 정렬 효과를 가짐을 밝히고, 이를 활용한 통합 I2I 변환 프레임워크 DRDD를 제안했습니다.
핵심 결론
- 발견 — Gaussian 노이즈 주입은 매니폴드 리프팅 외에도 도메인 간 특징 분포를 정렬(domain harmonization)하는 효과가 있음.
- 성능 — DRDD는 다양한 I2I 태스크(스타일 변환, super-resolution 등)에서 기존 diffusion 대비 FID 15~30% 개선, 특히 짝 데이터가 적은 환경에서 큰 격차.
방법
- 핵심 아이디어 — 확산 과정을 두 단계로 분리: (1) stochastic noise diffusion — 노이즈만 추가/제거하며 도메인 정렬 및 매니폴드 리프팅 수행, (2) deterministic residual diffusion — 고정된 노이즈 도메인에서 의미 매핑 학습.
- 기존 diffusion이 노이즈와 잔차를 동시에 제거해 정렬 효과가 소멸되는 문제를 해결한 점이 흥미로운 포인트입니다.
- 데이터 효율 — 노이즈 확산 단계는 짝 없는 타겟 도메인 이미지만으로 학습 가능해, paired data 요구량을 1/3 이하로 줄임.
한계·조건
- 호환성 — DDPM, DDIM 등 주요 diffusion backbone과 호환되나, 추가 학습 단계가 필요해 전체 학습 시간은 1.5~2배 증가.
- 벤치마크 — 주로 자연 이미지(FFHQ, CelebA-HQ, LSUN)에서 검증되었으며, 의료·위성 이미지 등 도메인 차이가 큰 경우 추가 실험이 필요.
- 코드 — GitHub에 공개 (https://github.com/HKU-HealthAI/DRDD), 학습 및 추론 스크립트 포함.
편집자 한 줄
노이즈의 도메인 정렬 효과를 이론적으로 분석하고 활용한 점이 신선합니다. 데이터 효율이 중요한 실제 응용에서 유용할 만합니다.
- #diffusion
- #image-to-image
- #domain-harmonization
- #hku
The University of Hong Kong