News·4시간 전
Sequent, 정렬 연구 자동화로 높은 신뢰도 목표 — UK AISI·Timaeus 출신 창립
UK AISI 정렬팀과 Timaeus 연구진이 대규모 비영리 연구 조직 Sequent 를 설립했습니다. ASI 개발 시점에 맞춰 정렬(alignment)에 대한 사전 신뢰도를 높이는 것이 목표이며, 이론과 실험의 포트폴리오를 자동화로 가속합니다. 창립팀은 Geoffrey Irving(UK AISI), Daniel Murfet(Timaeus) 등이며 2년 내 40~80명 FTE 규모로 성장할 계획입니다.
UK AISI 정렬팀과 Timaeus 출신 연구진이 정렬 연구 자동화에 집중하는 대규모 비영리 조직 Sequent 를 설립했습니다.
골자
- 조직 — Sequent — ASI 개발 시점에 정렬 신뢰도를 높이기 위한 비영리 연구 조직.
- 규모 — 2년 내 40~80명 FTE 목표, 베이 지역(Berkeley)에 대규모 오피스, 런던·멜버른 등 원격 근무 병행.
- 창립팀 — Geoffrey Irving(UK AISI), Daniel Murfet(Timaeus), AISI 정렬팀(Alex Holness-Tofts, Jacob Pfau), Timaeus(Jesse Hoogland, Stan van Wingerden, Marco Cozzi).
배경·맥락
- UK AISI 정렬팀은 3,000만 파운드 규모의 Alignment Project 를 운영했으며, Timaeus 는 특이 학습 이론(SLT)을 정렬에 적용해온 선구자.
- 현재 AI 연구소의 경험적 프로그램만으로는 ASI 훈련 전에 충분한 사전 신뢰도를 제공하기 어렵다는 판단.
접근법·자동화
- 포트폴리오 — 이론과 실험 여러 개의 베트를 동시에 진행, 하나라도 성공하면 사전 신뢰도를 높일 수 있도록 설계.
- 자동화 — 자동화 연구에 대규모 투자 — 이론이 더 나은 필터를 제공해 유망한 방향을 효율적으로 탐색.
- 철학 — 증명은 천 번의 실험보다 가치 있으며, 유사 증명(pseudo-proof)도 수백 번의 실험보다 낫다는 입장.
편집자 한 줄
정렬 연구에 '자동화'와 '이론 우선'을 결합한 점이 눈에 띕니다. 기존 연구소의 규모와 다른 접근을 시도하는 셈이네요.
- #sequent
- #alignment
- #ai-safety
- #automation
- #nonprofit
LessWrong