News·2개월 전
LessWrong 에세이: 사회적 에이전시 — 계획은 내재된 일반 알고리즘이 아니라 학습된 행동
LessWrong 에 게재된 에세이가 AI 에이전시 모델에 대한 반직관적 주장을 제기했습니다. 저자는 '계획'이 저수준 반사에서 일반화된 일반 계획 알고리즘이 아니라, 사회적으로 학습된 피상적이고 분리된 행동들의 집합이라고 주장합니다. 이 관점은 내부 정렬 실패에 대한 우려를 줄여주는데, 정교한 추론이 에이전트 내부에서 접근 불가능하게 획득되는 것이 아니라 스스로 학습되기 때문입니다. 저자는 내성적 증거가 극도로 무시되고 있다고 지적하며, 이 논의가 더 필요하다고 강조합니다.
3년 전 작성된 이 에세이는 AI 에이전시의 본질에 대한 통념을 뒤집으며, 계획이 내재된 일반 알고리즘이 아니라 사회적으로 학습된 행동임을 주장합니다.
골자
- 주장 — 일반적인 모델은 '저수준 반사 → 휴리스틱 → 일반 계획 알고리즘'으로 일반화된다고 가정하지만, 저자는 인간에게는 그렇지 않다고 봅니다.
- 대안 — 계획은 목표 달성 피드백을 통해 학습되는 것이 아니라, 사회적으로 학습된 피상적이고 분리된 행동들의 집합입니다.
- 시사점 — 단순한 에이전시 코어가 존재한다고 볼 이유가 없으며, 내부 정렬 실패 우려가 줄어듭니다 — 정교한 추론이 에이전트 내부에서 접근 불가능하게 획득되지 않기 때문입니다.
배경·맥락
- 저자는 이 글을 극심한 우울증과 혐오감을 겪기 전인 3년 전에 작성했으며, 현재 대화와 다소 동떨어져 있지만 핵심 아이디어는 여전히 가치 있다고 봅니다.
- 내성적 증거(introspective evidence)가 AI 논의에서 극도로 무시되고 있으며, 이 에세이가 지적하는 논의조차 거의 이루어지지 않고 있다고 비판합니다.
편집자 한 줄
이 에세이는 AI 정렬 커뮤니티의 전통적인 에이전시 모델에 대한 반직관적 도전으로, 논쟁의 여지가 크지만 내성적 접근의 중요성을 환기합니다.
- #agency
- #alignment
- #planning
- #social-learning
- #introspection
LessWrong