LatentUMM: 통합 멀티모달 모델의 생성-이해 일관성 개선 — dual latent alignment + latent dynamics stabilization

Carnegie Mellon 팀이 통합 멀티모달 모델(UMM)에서 생성과 이해 간 기능적 불일치 문제를 해결하는 LatentUMM 프레임워크를 제안했습니다. 원인은 잠재 공간의 공유 부족이 아니라, 잠재 공간으로/으로부터의 변환 간 명시적 정렬 부재에 있다고 보고, dual latent alignment(교차 모달 정렬 + 용량 정렬)와 latent dynamics stabilization(확률적 latent rollout + 선호 최적화)을 도입해 일관성을 개선했습니다. 다양한 아키텍처에서 멀티모달 일관성이 향상되었으며, 코드도 공개되어 있습니다.

• #multimodal
• #latent-space
• #alignment
• #carnegie-mellon