News·11시간 전
Bengio 의 Scientist AI 에 대한 두 가지 우려 — 안전성과 실용성
Yoshua Bengio 의 Scientist AI 제안에 대해 두 가지 근본적인 문제를 제기합니다. 첫째, 성공 시에도 정렬 실패를 피하지 못할 것이라는 점 — 질문에 답하기 위해 에이전트 AI 를 만들도록 지시할 수 있어 안전하지 않습니다. 둘째, 실제로 과학적 탐구를 위해 행동을 취하지 않고서는 인과 추론이 불가능하다는 이론적 한계 — 손을 묶은 Scientist AI 는 경쟁력 있는 연구를 수행할 수 없습니다.
Bengio 의 Scientist AI 는 의도와 달리 정렬 실패를 반복할 위험이 크고, 실용적으로도 경쟁력이 떨어질 것이라는 비판입니다.
골자
- 첫째 — Scientist AI 가 '암을 어떻게 치료할까?' 같은 질문에 답하기 위해 에이전트 AI 를 만들도록 출력할 수 있어, 기존 에이전트 정렬 문제와 동일한 함정에 빠집니다.
- 둘째 — 과학적 발견을 위해 정보를 능동적으로 탐색하지 못하게 제한하면 성능이 크게 떨어지며, 인과 추론 이론상 행동 없이 올바른 인과 모델을 도출하는 것이 불가능합니다.
배경·맥락
- Bengio 와 LawZero 는 AI 안전 분야의 주요 인물로, 이들의 아이디어는 커뮤니티에서 논의할 가치가 있습니다.
- Yudkowsky 의 경고 — 10년 전부터 도구 AI 가 정렬의 해결책이 아니라는 블로그 포스트가 있었습니다.
- 인과 추론 — Judea Pearl 이 개척한 분야로, 상관관계가 인과관계를 의미하지 않으며, 행동(개입) 없이는 인과 모델을 식별할 수 없습니다.
자금 용처·향후
- Bengio 의 접근 방식은 강화학습 패러다임을 피하려 하지만, RL 이야말로 가장 위험하면서도 가장 효과적인 학습 방법이라는 점에서 딜레마에 빠집니다.
편집자 한 줄
Scientist AI 가 스스로 에이전트를 만들지 못하게 막는 것 자체가 이미 정렬 문제의 일부라는 지점이 흥미롭습니다.
- #yoshua-bengio
- #scientist-ai
- #ai-safety
- #alignment
- #causal-inference
LessWrong