Diffusion 모델의 다중 객체 생성 실패 원인 — 데이터 관점에서 분석한 scene complexity와 counting의 한계

텍스트-이미지 diffusion 모델이 다중 객체 생성에서 불안정한 원인을 데이터 관점에서 분석한 연구가 공개되었습니다. 연구진은 개념 일반화와 조합 일반화 두 가지 설정에서 데이터셋 크기와 scene complexity가 지배적 역할을 하며, 특히 counting은 저데이터 환경에서 학습이 어렵다는 점을 밝혔습니다. 조합 일반화는 학습 중 생략된 개념 조합이 많아질수록 급격히 붕괴하는데, 이는 diffusion 모델의 근본적 한계를 보여주며 강력한 귀납적 편향과 데이터 설계의 필요성을 시사합니다.

• #text-to-image
• #diffusion
• #multi-object
• #compositional-generation
• #data-analysis