D-OPSD: 적은 스텝 확산 모델의 미세 조정을 위한 자기 증류 프레임워크

Tongyi-MAI 팀이 적은 스텝(예: Z-Image-Turbo, FLUX.2-klein)의 이미지 생성 모델을 직접 미세 조정할 때 발생하는 고유의 추론 능력 저하 문제를 해결하는 D-OPSD를 제안했습니다. 이 방법은 LLM/VLM 인코더의 문맥 내 학습 능력을 활용하여 모델을 교사와 학생으로 동시에 역할하게 하며, 학생은 텍스트 조건만, 교사는 텍스트와 타겟 이미지의 멀티모달 조건을 사용해 자체 롤아웃에서 분포 차이를 최소화합니다. 이를 통해 기존의 적은 스텝 추론 능력을 유지하면서 새로운 개념이나 스타일을 학습할 수 있습니다.

• #image-generation
• #diffusion
• #fine-tuning
• #self-distillation
• #tongyi-mai