Sub-JEPA: 랜덤 부분공간 가우시안 제약으로 JEPA 세계모델 편향-분산 균형 개선

Shanghai University 연구팀이 JEPA 기반 세계모델의 학습 안정성과 표현 유연성 사이 균형을 개선한 Sub-JEPA를 제안했습니다. 기존 LeWorldModel이 고차원 원본 공간에 등방성 가우시안 사전을 부과해 과도한 편향을 유발한 반면, Sub-JEPA는 여러 랜덤 부분공간에서 가우시안 제약을 적용해 전역 제약을 완화하면서도 붕괴 방지 효과를 유지합니다. 4가지 연속 제어 환경 실험에서 LeWM을 명확한 차이로 능가했으며, 코드는 공개되었습니다.

• #world-models
• #jepa
• #representation-learning
• #shanghai-university