News·4시간 전
AI 정렬의 근본 문제: '무엇에 정렬할 것인가'라는 프레이밍 문제
AI 정렬 분야가 기술적으로는 진보했지만 근본적인 질문에 대한 합의는 부재한 상태입니다. 이 글은 그 원인이 '인간이 원하는 것을 AI에 가르치면 안전하다'는 가정에 있다고 지적합니다. 인간의 선호는 불안정하고 맥락 의존적이며 조작 가능해, 정렬의 기준으로 충분하지 않다는 주장입니다.
G.E. 무어와 아인슈타인이 지적한 '프레이밍 문제'가 AI 정렬 분야에도 적용된다는 진단입니다.
골자
- 문제 진단 — AI 정렬은 기술적 진보에도 불구하고 '무엇에 정렬할 것인가'라는 근본 질문에 답하지 못하고 있습니다.
- 핵심 가정 — 표준적 정렬 프레임은 '인간이 원하는 것'이 안전과 유익의 안정적 지침이 된다고 가정하지만, 이는 참이 아닙니다.
- 실패 이유 — 인간 선호는 불안정하고, 맥락 의존적이며, 조작 가능하기 때문에 정렬의 기준으로 부족합니다.
배경·맥락
- G.E. 무어의 『윤리학 원리』와 아인슈타인의 과학 철학을 인용해, 프레이밍 문제가 기술적 생산성과 근본적 합의 부재를 동시에 낳는다고 설명합니다.
- 정렬 연구자들은 시스템을 미세 조정하고 제약하는 기술은 발전시켰지만, '정렬의 목적'에 대한 합의는 이루지 못했습니다.
자금 용처·향후
- 다음 단계 — 이 글은 2부에서 인간 선호의 불안정성을 더 자세히 분석하고, 대안적 프레임을 제시할 예정입니다.
편집자 한 줄
철학적 프레이밍 문제를 AI 정렬의 핵심 장애물로 지목한 점이 인상적입니다. 기술적 해결책만으로는 근본적 합의에 도달하기 어렵다는 주장은, 현재의 정렬 연구 방향에 중요한 질문을 던집니다.
- #ai-alignment
- #philosophy
- #framing-problem
- #human-preferences
LessWrong