Papers·어제
히브리대, 확산 모델의 시간별 용량 분할 프레임워크 CBS — SiT-XL에서 FID 35% 개선
히브리대 연구팀이 확산 모델의 생성 타임라인을 복잡도에 따라 분할하는 CBS(Complexity-Balanced Splitting) 프레임워크를 제안했습니다. 각 구간의 근사 부담을 균등하게 맞추기 위해 흐름의 Dirichlet 에너지와 샘플링 궤적 가속도를 기반으로 한 모니터 함수로 지역 복잡도를 추정합니다. SiT-XL에서 CFG 적용 시 FID가 약 35% 개선되었으며, 추론 비용 증가 없이 다양한 아키텍처(SiT, JiT, UNet)에서 일관된 성능 향상을 보였습니다.
히브리대 연구팀이 확산 모델의 생성 타임라인을 복잡도에 따라 분할해 효율성을 높이는 CBS 프레임워크를 공개했습니다.
핵심 결론
- 성능 — SiT-XL + CFG 기준 FID 35% 개선, 다른 아키텍처에서도 일관된 향상.
- 비용 — 추론 시 step당 연산량 증가 없음, 경량 보조 모델로 복잡도 추정.
방법
- 아이디어 — de Boor의 등분포 원리에 기반해 확산 타임라인을 근사 부담이 동일한 구간으로 분할.
- 모니터 함수 — 공간적 측도(흐름의 Dirichlet 에너지)와 기하학적 측도(샘플링 궤적 가속도) 두 가지를 제안.
- 분할 — 경량 모델로 복잡도 프로파일을 추정해 heuristic 분할이나 탐색 없이 최적 구간 결정.
한계·조건
- 벤치마크 — 주로 이미지 생성(FID) 평가, 다른 도메인(텍스트, 오디오) 검증은 아직.
- 코드 — 프로젝트 페이지(https://noamissachar.github.io/CBS/) 공개, 코드는 추후 공개 예정.
편집자 한 줄
복잡도 기반 분할은 직관적이면서도 수리적 기반이 탄탄해, diffusion 외 연속시간 생성 모델로 확장 가능성이 있어 보입니다.
- #diffusion
- #complexity-balancing
- #hebrew-university
- #fid
The Hebrew University of Jerusalem