HERMES++: 통합 자율주행 월드 모델, 3D 장면 이해와 미래 기하 예측 동시 달성

HERMES++는 LLM 기반 통합 자율주행 월드 모델로, 3D 장면 이해와 미래 포인트 클라우드 예측을 단일 프레임워크에서 동시에 수행합니다. BEV 표현으로 멀티뷰 공간 정보를 LLM에 맞게 변환하고, LLM 강화 월드 쿼리와 Current-to-Future Link를 통해 의미적 맥락에서 기하 진화를 조건화합니다. 여러 벤치마크에서 전문가 모델 대비 미래 포인트 클라우드 예측 및 3D 장면 이해 모두에서 우수한 성능을 보였으며, 코드와 모델은 공개 예정입니다.

• #autonomous-driving
• #world-model
• #3d-scene-understanding
• #llm
• #hermes