Papers·3일 전
Hide-and-Seek: VLA 로봇 실패 탐지를 궤적 레이블만으로 — LIBERO·VLABench·실물 로봇에서 SOTA
위스콘신 대학교 매디슨 팀이 VLA 모델의 실행 실패를 탐지하는 Hide-and-Seek 프레임워크를 제안했습니다. 궤적 단위 레이블만으로 단계별 주석 없이도 실패 지점을 국소화하며, LIBERO·VLABench·실물 로봇에서 OpenVLA·π_0·π_{0.5} 정책을 평가해 conformal prediction 기반 정확도-적시성 트레이드오프에서 SOTA를 달성했습니다. 다만 궤적 내 대비 학습이 추가 연산을 요구해 실시간성에 제약이 있을 수 있습니다.
로봇 VLA 모델의 실행 실패를 궤적 레이블만으로 탐지하는 프레임워크 — 단계별 주석 없이도 실패 지점을 찾아냅니다.
핵심 결론
- 태스크 — VLA 정책의 실행 실패 탐지 — 궤적 단위 레이블만으로 단계별 실패 신호를 학습.
- 성능 — LIBERO, VLABench, 실물 로봇에서 OpenVLA·π_0·π_{0.5} 정책 평가, conformal prediction 기반 정확도-적시성 트레이드오프 SOTA.
- 일반화 — 보지 못한 태스크에서도 성능 유지 — 실패 패턴이 태스크 간 공유됨을 시사.
방법
- 핵심 아이디어 — 궤적 내(intra-trajectory)와 궤적 간(inter-trajectory) 대비 학습을 결합해, 궤적 레이블만으로 실패 지점을 국소화.
- Hide-and-Seek — 실패 궤적의 일부 타임스텝을 마스킹하고, 마스킹된 타임스텝의 특징을 복원하도록 학습 — 실패 신호가 집중된 구간을 찾아냄.
- 추론 — 학습된 특징을 기반으로 conformal prediction 적용, 사용자 지정 허용 오차 내에서 실패 탐지.
한계·조건
- 연산 비용 — 궤적 내 대비 학습이 추가 연산을 요구해 실시간성에 제약이 있을 수 있음.
- 데이터 — 평가에 사용된 데이터셋 규모가 제한적 — 더 다양한 환경에서의 검증 필요.
- 코드 — 현재 코드 공개 여부 미확인.
편집자 한 줄
단계별 주석 없이도 실패 지점을 찾아내는 접근은 실제 배포에서 유용할 만합니다. 다만 연산 오버헤드가 어느 정도인지 후속 연구에서 확인해볼 필요가 있겠네요.
- #vla
- #failure-detection
- #robotics
- #contrastive-learning
- #uw-madison
University of Wisconsin-Madison