Papers·6일 전
Guava: 소형 오픈소스 모델에 강력한 신체 조작 능력을 부여하는 하네스 프레임워크
Guava는 반복적 인지-추론-행동 루프, 의미적 행동 추상화, 멀티모달 관찰을 핵심 설계 원칙으로 하는 신체 조작용 하네스 프레임워크입니다. 시뮬레이션에서 수집한 2K 미만의 궤적으로 4B 오픈소스 모델을 증류 훈련하여, 보지 못한 물체와 새로운 명령, 장기 과제에서 폐쇄형 최첨단 모델에 필적하는 성능을 달성했습니다. 단, 모든 실험은 시뮬레이션에서 수집된 데이터로 훈련되었으며, 실제 환경 평가는 제한적입니다.
Guava는 소형 오픈소스 모델도 강력한 신체 조작 능력을 가질 수 있도록 설계된 하네스 프레임워크입니다.
핵심 결론
- 성능 — 4B 모델이 폐쇄형 최첨단 모델과 비슷한 조작 성능을 보였습니다.
- 일반화 — 보지 못한 물체, 새로운 명령, 장기 과제에서도 강한 일반화를 보였습니다.
방법
- 세 가지 설계 원칙 — 반복적 인지-추론-행동 루프, 의미적 행동 추상화, 멀티모달 관찰이 핵심입니다.
- 증류 훈련 — 시뮬레이션에서 수집한 2K 미만의 궤적으로 4B 모델을 증류하여 신체 조작 능력을 주입했습니다.
한계·조건
- 데이터 출처 — 모든 훈련 데이터는 시뮬레이션에서 수집되었습니다.
- 실제 환경 평가 — 실제 환경 평가는 제한적이며, 더 다양한 조건에서의 검증이 필요합니다.
편집자 한 줄
소형 모델로도 신체 조작이 가능하다는 점이 인상적이지만, 실제 환경에서의 견고성은 추가 연구가 필요해 보입니다.
- #embodied-ai
- #manipulation
- #distillation
- #guava
- #open-source
Haowen Liu