News·21시간 전
세 가지 AI 미래와 각각에 맞는 작업 전략
LessWrong 에 게재된 글이 AI 의 미래를 세 가지 시나리오로 나누고, 각 시나리오에서 수용체(sentient beings)의 복지를 위해 어떤 작업을 우선해야 하는지 제안합니다. 장기 타임라인, 정렬 성공, 정렬 실패 각각에 맞는 연구와 옹호 활동을 구체적으로 열거했습니다.
AI 의 발전 속도와 정렬 성공 여부에 따라 세 가지 미래가 그려집니다. 각 미래에서 수용체 복지를 위해 무엇을 해야 할지 정리한 글입니다.
골자
- 세 가지 시나리오 — ASI 타임라인이 긴 경우, 짧고 정렬에 성공한 경우, 짧고 정렬에 실패한 경우로 나눕니다.
- 공통 목표 — 모든 수용체의 좋은 미래를 만드는 것. 각 시나리오에 따라 우선순위가 달라집니다.
배경·맥락
- 이 글은 LessWrong 커뮤니티에서 AI 정렬과 장기적 복지에 대한 논의의 일환입니다.
- 저자는 각 전략이 암묵적으로 특정 미래를 가정하고 있음을 지적하며, 자신의 가정을 명확히 할 것을 권장합니다.
시나리오별 작업
- 긴 타임라인 — 기초 연구, 도덕 철학, 의사결정 이론, 도덕적 범위 확장, 이론적 AI 정렬 패러다임, 전통적 동물 옹호 등 오래 걸리는 작업을 우선.
- 정렬 성공 — 정렬된 ASI 가 수용체 복지를 중시하도록 유도하는 연구, LLM 을 동물 친화적으로 만드는 작업, 프론티어 AI 개발자 대상 동물 옹호 등.
- 정렬 실패 — AI 일시 중지 옹호, 안전 규제 개발 및 옹호, AI 정렬 연구 — 다른 작업은 의미가 없습니다.
편집자 한 줄
각 시나리오가 배타적이지 않다는 점을 고려하면, 불확실성 하에서 포트폴리오 접근이 필요할 수 있습니다.
- #ai-timelines
- #ai-alignment
- #sentient-welfare
- #longtermism
- #effective-altruism
LessWrong