Papers·2주 전
POSTECH, 장시간 고해상도 비디오 아웃페인팅 프레임워크 HL-OutPaint 제안
POSTECH 연구팀이 긴 시퀀스에서도 넓은 공간 외삽이 가능한 고해상도 비디오 아웃페인팅 프레임워크 HL-OutPaint를 제안했습니다. 글로벌-로컬 프레임 스와핑 메커니즘으로 저해상도 GCG(Global Coarse Guidance)를 구성해 장기 구조적 일관성과 단기 시간적 동역학을 동시에 포착한 후, 이를 기반으로 고해상도 생성을 수행하는 coarse-to-fine 전략이 핵심입니다. 기존 방법 대비 넓은 공간 외삽과 긴 시퀀스에서 일관된 결과를 보였으나, 코드 공개 여부는 아직 확인되지 않았습니다.
POSTECH 연구팀이 긴 시퀀스와 넓은 공간 외삽을 동시에 지원하는 고해상도 비디오 아웃페인팅 프레임워크 HL-OutPaint를 공개했습니다.
핵심 결론
- 태스크 — 비디오 아웃페인팅 — 원본 비디오의 공간적 범위를 넘어서는 시각적 콘텐츠 생성.
- 개선 — 기존 방법 대비 넓은 공간 외삽과 긴 시퀀스에서 더 안정적이고 일관된 결과를 보임.
방법
- GCG — Global Coarse Guidance: 저해상도 표현으로, 글로벌 구조와 주요 움직임을 캡처.
- 스와핑 — 글로벌-로컬 프레임 스와핑 메커니즘: 희소 글로벌 키프레임과 로컬 시간 윈도우를 결합해 샘플링 중 정보 교환.
- GCG는 장기 구조적 일관성과 단기 시간적 동역학을 통합 표현으로 인코딩합니다.
- 2단계 — GCG 기반으로 고해상도 아웃페인팅 수행: 세부 공간 정보와 시간적 일관성을 동시에 생성.
한계·조건
- 벤치마크 — 넓은 공간 외삽과 긴 시퀀스 시나리오에서 평가 — 구체적인 데이터셋 및 수치는 논문 참조 필요.
- 코드 — 현재 코드 공개 여부는 확인되지 않음.
편집자 한 줄
글로벌-로컬 스와핑 아이디어는 기존 단순 다운샘플링 대비 구조적 일관성 유지에 효과적일 것으로 보이지만, 실제 연산 비용과 실시간 적용 가능성은 추가 검증이 필요합니다.
- #video-outpainting
- #high-resolution
- #long-sequence
- #postech
POSTECH Computer Graphics Lab