Papers·어제
NYCU, 3D 착시 메시를 3-5분 만에 생성하는 JanusMesh 공개 — 텍스트 기반, 학습 불필요
NYCU 팀이 텍스트 프롬프트만으로 서로 다른 각도에서 완전히 다른 의미를 가진 3D 착시 메시를 3-5분 만에 생성하는 학습 없는(training-free) 프레임워크 JanusMesh를 제안했습니다. 기존 최적화 기반 방법은 느리고 색상이 과포화되는 문제가 있었으며, 단순 이어붙이기는 기하학적 불일치와 이음새가 드러났습니다. JanusMesh는 교차 공간 이중 분기 잡음 제거 과정으로 SDF 블렌딩을 통해 기하학적 융합을 매끄럽게 하고, 시점별 텍스처 합성 모듈로 2D 확산 사전을 투영·집계합니다. 기하학적 정합성, 의미 인식률, 효율성에서 기존 방법을 크게 능가합니다.
NYCU 연구팀이 텍스트 프롬프트만으로 3-5분 만에 서로 다른 각도에서 다른 의미를 가진 3D 착시 메시를 생성하는 학습 없는 프레임워크 JanusMesh를 발표했습니다.
핵심 결론
- 태스크 — 텍스트 기반 3D 착시 메시 생성 — 하나의 메시가 시점에 따라 완전히 다른 의미를 가짐.
- 성능 — 3-5분 내 생성, 기존 최적화 기법 대비 기하학적 정합성·의미 인식률·속도에서 큰 우위.
- 비교 — 기존 최적화 기반 방법은 느리고 색상 과포화, 단순 이어붙이기는 이음새와 의미 누출 문제.
방법
- 2단계 분리 — 생성을 기하학 융합과 텍스처 합성 두 단계로 분리하여 각각 최적화.
- 교차 공간 이중 분기 — 3D 잠재 변수를 동적으로 복셀 공간으로 디코딩하여 CLIP 기반 방향 정렬과 SDF 블렌딩을 수행, 매끄러운 기하학 융합 보장.
- 시점별 텍스처 합성 — 융합된 기하학에 시점별 2D 확산 사전을 투영·집계하여 일관된 텍스처 생성.
한계·조건
- 학습 불필요 — 사전 학습된 2D 확산 모델과 CLIP을 활용, 추가 학습 없이 동작.
- 재현성 — 프로젝트 페이지에서 코드와 결과 공개 예정.
- 범위 — 이중 의미 착시에 초점, 세 가지 이상 의미로 확장 가능성은 추가 연구 필요.
편집자 한 줄
3D 착시 생성이 빠르고 학습 없이 가능해진 점이 인상적입니다. 다만 실제 응용에서 얼마나 다양한 프롬프트에 일반화될지 후속 연구가 궁금하네요.
- #3d-illusion
- #mesh-generation
- #diffusion
- #nycu
National Yang Ming Chiao Tung University