Papers·2주 전
SmartDirector: 비디오 생성의 서사 제어를 위한 다중 키프레임 프레임워크
Orange Team이 제안한 SmartDirector는 다중 키프레임을 활용해 비디오 생성의 서사 구조와 시간적 흐름을 정밀 제어합니다. Director-Gen 단계에서 저해상도 비디오를 생성하고 Director-SR이 고해상도 키프레임을 의미적 앵커로 삼아 세부를 복원하는 2단계 구조입니다. 기존 SOTA 대비 서사 품질에서 유의미한 개선을 보였으며, 코드 공개 예정입니다.
Orange Team이 비디오 생성의 서사 제어를 위한 다중 키프레임 기반 프레임워크 SmartDirector를 공개했습니다.
핵심 결론
- 태스크 — 텍스트/첫프레임 조건 대신 다중 키프레임으로 서사와 템포를 제어하는 비디오 생성.
- 성능 — 기존 SOTA 대비 서사 일관성과 디테일 복원에서 우위, 정량적 지표 개선.
방법
- 2단계 구조 — Director-Gen이 키프레임 조건으로 저해상도 비디오 생성, Director-SR이 고해상도 키프레임을 의미적 앵커로 삼아 업스케일.
- 데이터 파이프라인 — 영화에서 단일/다중 샷 시퀀스를 추출해 학습 데이터 구축, 다양한 생성 시나리오 지원.
한계·조건
- 데이터 의존성 — 영화 데이터 기반으로 학습되어 일반 도메인에서의 일반화는 추가 검증 필요.
- 코드 — 향후 공개 예정이나 현재는 논문 및 데모만 공개.
편집자 한 줄
키프레임 기반 제어는 기존 텍스트 조건 대비 서사 표현력이 풍부해질 가능성이 있지만, 키프레임 선정 자체가 새로운 과제가 될 수 있겠네요.
- #video-generation
- #keyframes
- #narrative-control
- #orange-team
Orange Team