News·18시간 전
CaML, 정렬 논란에 관한 커뮤니티 설문 공개
CaML 팀이 AI 정렬 관련 7개 논쟁적 질문에 대한 커뮤니티 의견을 수집하는 설문을 시작했습니다. 주제는 사전학습 단계 개입 필요성, 인간 정렬이 동물·디지털 마음에 미칠 영향, 부분 정렬된 AI의 안정성 등입니다. 설문은 댓글 투표 방식으로 진행됩니다.
CaML 팀이 정렬 연구 방향 설정을 위해 논쟁적 주제에 대한 커뮤니티 의견을 묻는 설문을 공개했습니다.
골자
- 주최 — CaML 팀, 연구 방향성 결정을 위한 설문.
- 방식 — 댓글 투표로 진행, 7개 질문에 찬반 의견 수집.
- 목적 — 정렬 커뮤니티 내 의견 분포 파악 및 연구 우선순위 조정.
설문 질문
- 강건한 정렬을 위해 사전학습 단계에서 정렬 관련 개입이 필요하다.
- 인간에 대한 AI 정렬이 실제로 동물에 대한 도덕적 재앙을 피할 것이다.
- 인간에 대한 AI 정렬이 실제로 디지털 마음에 대한 도덕적 재앙을 피할 것이다.
- 디지털 마음 고통 연구는 충분히 다루기 쉬운 주제다.
- 부분 정렬된 변혁적 AI는 반성적 안정성을 가질 가능성이 높다.
- 특정 가치에 대한 정렬은 통제에 비해 연구에서 과소평가되고 있다.
- 다극 세계에서는 보존될 순가치의 90% 이상이 경쟁으로 사라질 것이다.
배경·맥락
- CaML은 정렬 연구의 방향성을 결정하기 위해 다양한 논쟁적 주제에 대한 커뮤니티 의견을 수집 중입니다.
- 이전에도 유사한 설문이 있었으나, 이번에는 디지털 마음·동물 윤리 등 덜 논의된 주제를 포함했습니다.
편집자 한 줄
설문 결과가 공개되면 정렬 연구 커뮤니티의 의견 분포를 가늠할 수 있는 좋은 자료가 될 듯합니다.
- #alignment
- #survey
- #caml
- #controversy
LessWrong