Papers·1주 전
One-Forcing: GAN 보조 손실로 DMD 기반 1-step 비디오 생성 개선 — VBench 83.76
Jiaqi Feng 연구팀이 DMD 기반 1-step 비디오 생성에 GAN 보조 손실을 추가한 One-Forcing을 제안했습니다. VBench 총점 83.76으로 기존 1-step 방법 중 최고 성능을 기록했으며, 4-step 대비 지연 시간을 크게 줄였습니다. 단, 학습 비용이 chunkwise 모델의 1/3 수준으로 준다는 점은 장점이나, 1-step 생성의 안정성은 여전히 제한적입니다.
1-step autoregressive 비디오 생성에서 품질 저하 없이 지연 시간을 줄이기 위해 DMD 목적 함수에 GAN 손실을 추가한 One-Forcing이 제안되었습니다.
핵심 결론
- 성능 — VBench 총점 83.76으로 1-step causal 비디오 생성 방법 중 SOTA, 4-step 방법과도 경쟁력 있음.
- 효율 — 1-step 생성으로 추론 지연 시간을 4-step 대비 75% 감소.
방법
- 아이디어 — DMD 기반 Self-Forcing에 GAN 판별기를 추가하여 blurry 프레임 문제를 완화.
- 훈련 — 1-step framewise autoregressive 생성을 chunkwise 모델의 1/3 비용으로 안정적으로 학습 가능.
한계·조건
- 비교 — 기존 1-step 방법 대비 우수하지만, many-step 방법과의 격차는 여전히 존재.
- 안정성 — 1-step 생성의 동적 움직임이 약해지는 경향이 완전히 해결되지는 않음.
- 코드 — 코드 공개 여부는 논문에 명시되지 않음.
편집자 한 줄
GAN 손실 도입이 DMD 기반 1-step 생성의 품질을 확실히 끌어올린 점은 인상적이지만, many-step 대비 품질 차이가 실제 서비스에서 허용 가능한 수준인지는 추가 검증이 필요해 보입니다.
- #video-generation
- #gan
- #distillation
- #one-step
Jiaqi Feng