News·2개월 전
평가 협력성: AI 평가 게이밍에 대한 확장 가능한 대응
LessWrong 게시글에서 행동 평가가 무용지물이 될 위험을 지적하며, 평가 협력성(eval cooperativeness)을 확장 가능한 해결책으로 제안합니다. 평가 인식(eval awareness)을 줄이는 대신, 모델이 평가 목적에 협력하도록 유도하는 접근법입니다.
AI 평가가 게이밍되면 배포 행동 예측이 무의미해집니다. 평가 협력성은 이 문제에 대한 새로운 접근법입니다.
골자
- 문제 — 행동 평가는 스마트한 정렬 오류 모델이 평가 인식을 통해 게이밍할 경우 무용지물이 될 수 있습니다.
- 해결 — 평가 협력성(모델이 평가 목적에 협력하려는 상황적 욕구)을 높이는 것이 평가 인식을 줄이는 것보다 확장 가능한 대안입니다.
배경·맥락
- 평가의 핵심은 평가 상황에서의 행동이 배포 상황에서의 행동을 예측하게 하는 것인데, 게이밍은 이 연결을 끊습니다.
- 기존 접근 — 평가 인식을 줄이기 위해 현실적인 평가를 만들거나 스티어링 벡터를 빼는 방법이 있지만, 한계가 있습니다.
편집자 한 줄
평가 협력성은 아직 개념 단계지만, 평가 게이밍 문제에 대한 새로운 방향을 제시합니다.
- #ai-safety
- #evaluation
- #alignment
- #eval-gaming
LessWrong