News·4시간 전
AI 안전 계획, 폭 우선 접근이 필요한 이유
LessWrong 게시글에서 깊이 우선(depth-first) AI 안전 계획의 한계를 지적했습니다. Google의 2025년 4월 안전 계획을 예시로 들어, 이 계획이 의존하는 여러 조건(예측 가능한 능력 향상, 충분한 대응 시간, 정확한 위험 평가, 부트스트래핑 성공 등)이 하나라도 실패하면 전체 계획이 무너질 위험이 있다고 주장합니다. 폭 우선(breadth-first) 접근으로 여러 가정에 대비할 필요성을 강조합니다.
깊이 우선 AI 안전 계획은 많은 가정에 의존하며, 하나라도 틀리면 실패할 위험이 큽니다.
골자
- 문제 — 깊이 우선 계획은 단계별 가정(A, B, C)이 모두 참이어야 성공하며, 하나라도 거짓이면 전체가 실패합니다.
- 예시 — Google의 2025년 4월 안전 계획은 최고 수준이지만, 여러 조건에 의존합니다.
배경·맥락
- 계획은 AI 능력 향상이 예측 가능한 속도로 일어나고, 예상치 못한 큰 도약이 없다고 가정합니다.
- 또한, 강력한 능력이 등장한 후 충분한 대응 시간이 있다고 가정합니다.
- 위험 수준을 정확히 판단하고, 평가가 위험한 능력을 제대로 탐지할 수 있어야 합니다.
- AI를 사용한 부트스트래핑은 정렬 성공, 오정렬 탐지 용이성, 또는 인간의 증강 감독 가능성에 의존합니다.
자금 용처·향후
- 게시글은 폭 우선 계획을 통해 여러 가정에 대비하고, 단일 실패 지점을 줄여야 한다고 제안합니다.
편집자 한 줄
Google의 계획이 최고 수준임에도 불구하고 많은 가정에 의존한다는 점은, AI 안전 논의에서 폭 우선 접근의 필요성을 잘 보여줍니다.
- #ai-safety
- #breadth-first
- #alignment
- #planning
LessWrong