Jim Fan, DreamGen 공개 — 로봇이 비디오 생성 모델 안에서 꿈꾸며 학습

Jim Fan이 'DreamGen'이라는 새 엔진을 공개했습니다. 비디오 생성 모델(Sora, Veo)을 파인튜닝해 로봇이 실제 행동 데이터 없이도 '꿈'을 통해 대규모 신경 궤적(사실적인 로봇 영상 + 행동 레이블)을 생성, 새로운 동사·환경으로 일반화합니다. 단일 태스크 데이터로 시작해 22개의 새로운 행동을 학습했고, NVIDIA HQ 카페에서도 제로샷 일반화를 보여줬네요. 전체 파이프라인을 오픈소스로 공개할 예정이라, 로봇 학습 데이터 수집 패러다임이 바뀔 신호로 읽힙니다.

• #jimfan
• #nvidia
• #dreamgen
• #robotics
• #video-generation

Jim Fan@DrJimFan