Papers·2일 전
Michigan, 장기 로봇 조작 실패 탐지 프레임워크 Foresight — LIBERO-Long 등에서 92% 정확도
University of Michigan 팀이 장기 로봇 조작 태스크에서 실패를 탐지하는 프레임워크 Foresight를 제안했습니다. action-conditioned world model의 잠재 표현을 활용하여 최종 성공/실패 레이블만으로 훈련되며, conformal prediction으로 임계값을 적응적으로 조정합니다. LIBERO-Long, ManiSkill-Long, BEHAVIOR-1K 시뮬레이션과 실제 로봇(ReactorX-200, Franka)에서 기존 방법 대비 평균 12% 향상된 탐지 정확도를 보였습니다. 단, world model 훈련에 추가 계산 비용이 필요하며, 태스크 길이가 매우 긴 경우 일반화 검증이 더 필요합니다.
Michigan 팀이 장기 로봇 조작에서 실패를 탐지하는 Foresight 프레임워크를 공개했습니다.
핵심 결론
- 태스크 — 장기 로봇 조작 실패 탐지 — LIBERO-Long, ManiSkill-Long, BEHAVIOR-1K 시뮬레이션과 실제 로봇 4개 태스크에서 평가.
- 성능 — 기존 실패 탐지 방법 대비 평균 정확도 12% 향상, F1 점수 0.89 달성.
- 적용 — 다양한 정책(VLA, diffusion policy 등)에 통합 가능한 unified 프레임워크.
방법
- 핵심 아이디어 — action-conditioned world model의 latent embedding을 실패 탐지 특징으로 사용.
- 훈련 — 최종 태스크 성공/실패 레이블만 필요 — dense temporal annotation 불필요.
- Functional conformal prediction(FCP)으로 탐지 임계값을 adaptively calibration.
한계·조건
- 계산 비용 — world model 훈련에 추가 GPU 시간 필요 — 실험은 4x A100 기준.
- 일반화 — 매우 긴 태스크(1000+ step)에서의 성능은 추가 검증 필요.
- 코드 — GitHub 공개 예정 — 현재는 논문 및 부록만 공개.
편집자 한 줄
실패 탐지에 world model latent를 쓰는 아이디어 자체는 간단하지만, conformal prediction으로 threshold를 자동 조정하는 점이 실용적입니다.
- #failure-detection
- #robotics
- #world-model
- #long-horizon
- #michigan
University of Michigan