News·5시간 전
LessWrong 에세이: AI 커뮤니티가 묻지 않는 질문 '그 다음은?'
Nick Shapiro 의 게임 'The choice before us'는 AI 회사를 운영하며 5가지 경이를 달성하면 승리하지만, 승리 직후가 무엇인지 묻지 않는다는 한계가 있습니다. 저자는 이 '그 다음은?'이라는 질문을 던지지 않는 현상이 AI 커뮤니티 전반에 퍼져 있다고 지적합니다. 단순화된 체스 비유를 통해 무한한 가능성의 나무에서 멈출 지점을 찾는 방법을 모색합니다.
AI 커뮤니티가 자주 놓치는 질문, '그 다음은?' — 게임과 체스 비유로 풀어낸 에세이입니다.
골자
- 게임 — Nick Shapiro 의 'The choice before us'는 AI 회사 리더가 되어 경이를 달성하고 통제 불능 AI를 피하는 게임입니다.
- 문제점 — 5가지 경이를 달성해 승리해도, 직후에 GPU를 끄고 집에 가는 듯한 묘사가 현실적이지 않습니다.
- 핵심 질문 — 저자는 '그 다음은?'이라는 질문이 AI 안전 논의에서 빠져 있다고 지적합니다.
배경·맥락
- 능력 연구자 — 이 질문 하나로 초지능 위협을 진지하게 받아들이게 한 사례를 언급합니다.
- 90% 사망 시나리오 — 로봇 AI가 인구 90%를 죽인 후에도 나머지가 생존할 거라는 가정에 회의적입니다.
- 무한 회귀 문제 — '그 다음은?'을 계속 묻다 보면 2124년 교황이 미국 대통령이 되는 시나리오까지 갈 수 있어, 멈출 지점이 필요합니다.
편집자 한 줄
체스 비유로 무한 가능성의 나무에서 멈출 지점을 찾는 접근은 흥미롭지만, 본문에서 그 방법을 충분히 전개하지 못한 점이 아쉽습니다.
- #ai-safety
- #superintelligence
- #game-theory
- #lesswrong
LessWrong