Papers·2일 전
OASIS: 시뮬레이션 데이터로 휴머노이드 로봇 조작 성공률 향상 — 실제 텔레오퍼레이션 데이터보다 우수
Zehao Yu 팀이 휴머노이드 로봇의 이동-조작(loco-manipulation)을 위해 시뮬레이션 데이터만으로 학습한 프레임워크 OASIS를 제안했습니다. 실제 로봇에 제로샷 배치한 결과, 대부분의 태스크에서 실제 텔레오퍼레이션 데이터로 학습한 정책보다 높은 성공률을 기록했습니다. 핵심은 3D 생성 모델로 실제 이미지로부터 객체 자산을 재구성하고, 시뮬레이션 내에서 다양한 도메인 랜덤화(조명, 환경)를 적용한 데이터 증강 덕분입니다. 단, 모든 태스크에서 우세한 것은 아니며, 일부 태스크에서는 실제 데이터와 비슷한 수준에 머물렀습니다.
시뮬레이션 데이터만으로 휴머노이드 로봇의 이동-조작 정책을 학습해 실제 환경에서 제로샷 배치했을 때, 실제 텔레오퍼레이션 데이터보다 높은 성공률을 달성한 프레임워크 OASIS가 공개됐습니다.
핵심 결론
- 성능 — 실제 휴머노이드 로봇 제로샷 배치 결과, 대부분의 태스크에서 실제 텔레오퍼레이션 데이터로 학습한 정책보다 높은 성공률 기록.
- 비교 — 실제 데이터 대비 시뮬레이션 데이터의 우위는 조명·환경 다양성에서 비롯되며, 일부 태스크에서는 비슷한 수준.
방법
- 자산 재구성 — 3D 생성 모델을 사용해 실제 이미지로부터 사실적인 객체 자산을 자동 재구성.
- 데이터 수집 — 시뮬레이션 내에서 텔레오퍼레이션으로 궤적을 수집한 후, 다양한 도메인 랜덤화(조명, 환경)를 적용해 증강.
- 정책 구조 — 계층적 시각-운동 정책(hierarchical visuomotor policy)을 설계해 이동과 조작을 통합.
한계·조건
- 데이터 — 모든 태스크에서 실제 데이터를 능가하지는 않으며, 일부 태스크에서는 유사한 성능.
- 재현성 — 프로젝트 페이지는 공개되었으나 코드 및 데이터셋 공개 여부는 불명확.
- 환경 — 실험은 특정 휴머노이드 로봇에 국한되며, 다른 플랫폼으로의 일반화는 추가 검증 필요.
편집자 한 줄
시뮬레이션 데이터가 실제 데이터를 능가할 수 있다는 점은 흥미롭지만, 객체 자산 재구성 과정에서의 3D 생성 모델 품질이 성능에 큰 영향을 미칠 것으로 보입니다.
- #humanoid
- #loco-manipulation
- #simulation
- #domain-randomization
- #oasis
Zehao Yu