Papers·1주 전
참조 가이드 생성물의 초해상도·정제 동시 해결 — RefGC-SR^2, 고해상도 참조 이미지 재사용
현재 참조 가이드 생성 파이프라인은 사용자가 제공한 고해상도 참조 이미지를 저해상도로 다운샘플링하여 세부 정보를 잃고, 생성 단계에서 추가 아티팩트가 발생합니다. 이를 해결하기 위해 RefGC-SR^2 태스크를 제안, 원본 고해상도 참조를 후처리 단계에서 재사용하여 세부 복원·아티팩트 정제·업스케일을 동시에 수행합니다. 실제 데이터 생성 파이프라인과 주파수 인식 diffusion transformer 모델을 도입, 기존 RefGCR·RefSR 대비 객체 정체성 충실도와 해상도에서 유의미한 개선을 보였습니다.
참조 가이드 생성에서 고해상도 참조 이미지의 세부 정보를 버리지 않고 후처리 단계에서 재활용하는 새로운 태스크 RefGC-SR^2를 제안합니다.
핵심 결론
- 태스크 — RefGC-SR^2는 참조 가이드 생성물의 초해상도와 아티팩트 정제를 단일 프레임워크로 해결합니다.
- 성능 — 객체 정체성 충실도와 고해상도 디테일 복원에서 기존 RefGCR·RefSR 대비 유의미한 개선.
방법
- 데이터 — 실제 세계의 triplet 데이터를 생성하는 파이프라인을 구축, 기존 공개 모델이 제공하지 못하는 저품질 anchor를 합성합니다.
- 모델 — 주파수 인식 diffusion transformer를 사용, 고해상도 참조에서 미세 디테일을 선택적으로 주입하면서 생성 아티팩트를 제거합니다.
한계·조건
- 범위 — 객체 중심의 참조 가이드 생성(객체 합성, 커스터마이제이션)에 특화되어 있으며, 다른 생성 태스크로의 일반화는 추가 검증 필요.
- 코드 — 코드 및 데이터셋 공개 여부는 논문에 명시되지 않았습니다.
편집자 한 줄
참조 이미지를 후처리에서 재사용한다는 발상은 간단하지만, 실제 데이터 파이프라인 구축이 핵심일 듯합니다.
- #reference-guided-generation
- #super-resolution
- #diffusion
- #huggingface
Jeahun Sung