Papers·3일 전
서울대, 가정용 로봇의 가치 충돌 평가 벤치마크 RobotValues 공개 — 10K 시나리오에서 VLM 80% 오류
서울대 연구팀이 가정용 로봇의 가치 충돌 상황을 평가하는 벤치마크 RobotValues를 공개했습니다. 10,000개의 현실적인 가정 이미지와 함께, 작업 성공 외에도 인간의 자율성, 효율성, 사회적 적절성 등 다양한 가치를 우선시하는 여러 행동 옵션을 제시합니다. VLM 기반 로봇 플래너를 평가한 결과, 모델들은 기본적으로 안전과 편의를 선호하는 반면 프라이버시를 우선시하는 행동은 과소선택했으며, 특정 가치를 따르도록 지시해도 80%의 경우 기본 선호를 override하지 못했습니다. 이는 가정용 로봇 평가가 단순한 작업 완료나 안전 준수뿐 아니라 가치 충돌 상황에서의 선택 능력을 측정해야 함을 시사합니다.
서울대 연구팀이 가정용 로봇이 가치 충돌 상황에서 어떤 행동을 선택하는지 평가하는 벤치마크 RobotValues를 제안했습니다.
핵심 결론
- 벤치마크 — 10,000개의 가치 충돌 시나리오로 구성된 RobotValues를 구축했습니다.
- VLM 평가 — 현재 VLM 기반 로봇 플래너는 안전과 편의를 기본 선호하지만, 프라이버시를 우선시하는 행동은 거의 선택하지 않습니다.
- 지시 override 실패 — 특정 가치를 따르도록 지시해도 80%의 경우 기본 선호를 벗어나지 못했습니다.
방법
- 시나리오 생성 — LLM을 활용해 가치 충돌 상황을 생성하고, 이해관계자 기반으로 가치를 추출한 뒤 이미지 생성 및 자동 품질 관리를 거쳤습니다.
- 평가 방식 — 각 시나리오는 현실적인 가정 이미지와 함께 여러 행동 옵션을 제시하며, 각 옵션은 서로 다른 인간 가치를 우선시합니다.
한계·조건
- 범위 — 벤치마크는 가정 환경에 한정되며, 실제 로봇이 아닌 VLM 플래너의 출력만 평가했습니다.
- 코드 — 데이터셋과 평가 코드는 공개 예정이나 현재는 논문만 열람 가능합니다.
편집자 한 줄
가치 충돌 상황에서의 선택 능력을 평가한다는 점이 신선합니다. 다만 VLM의 실패율이 80%라는 수치는 상당히 높아, 실제 로봇에 적용하려면 추가 정렬이 필요해 보입니다.
- #value-alignment
- #benchmark
- #household-robots
- #vlm
- #seoul-national-university
Seoul National University