Papers·1주 전
P3D-Bench: 파라메트릭 3D 생성 평가 벤치마크 — MLLM, 조립 태스크에서 정밀 기하 실패
SpatiaOS 팀이 파라메트릭 3D 프로그램 생성을 평가하는 P3D-Bench를 공개했습니다. 텍스트·이미지·조립 세 태스크에서 최신 MLLM과 LLM을 평가한 결과, 조립 태스크가 가장 어려워 모델들이 부품을 일관된 구조로 구성하지 못했고, 전역 형태는 재현하지만 파라메트릭 기하 정밀도는 떨어지는 한계를 확인했습니다. 400개 텍스트·400개 이미지·203개 조립 데이터로 구성되었으며, 코드와 데이터는 공개 예정입니다.
파라메트릭 3D 프로그램 생성은 코드 실행 가능성뿐 아니라 기하 정밀도·의미 정합·조립 일관성을 요구하는데, 기존 벤치마크는 이를 평가하지 못했습니다.
핵심 결론
- 태스크 — Text-to-3D, Image-to-3D, Assembly-3D 세 가지로 구성, 조립이 가장 어려움.
- 주요 발견 — 모델들은 전역 형태와 의미는 잘 잡지만, 정확한 파라메트릭 치수와 부품 수를 재현하지 못함.
- 데이터 규모 — 400개 텍스트, 400개 이미지, 203개 조립 어셈블리.
방법
- 평가 지표 — 실행 가능성, 기하 정밀도, 토폴로지, 텍스트 제약, 다중 시점 의미 정합, 부품 수준 구조를 종합 점수화.
- 비교 대상 — GPT-4V, Gemini 등 최신 MLLM과 도메인 특화 모델을 포함.
- 파라메트릭 프로그램은 메시와 달리 치수·연산·부품 관계를 명시적으로 드러내므로 구조 이해도를 더 정확히 측정합니다.
한계·조건
- 난이도 — 조립 태스크에서 모델들은 부품 간 관계를 제대로 모델링하지 못했고, 부품 수를 맞히는 데도 실패.
- 재현성 — 벤치마크 코드와 데이터는 공개 예정 — 현재는 논문과 abstract만 열람 가능.
편집자 한 줄
파라메트릭 3D 생성의 평가 기준을 명확히 세운 점은 유용하지만, 현재 모델들의 정밀 기하 한계를 드러낸 점이 인상적입니다.
- #3d-generation
- #benchmark
- #parametric-modeling
- #multimodal
SpatiaOS