News·1개월 전
Formation Research 창업자가 말하는 AI 안전 연구소 설립 7가지 교훈
AI 안전 연구소 Formation Research 의 창업자가 8주간의 인큐베이터 경험을 바탕으로 연구소 설립 과정에서 얻은 7가지 교훈을 공유했습니다. 핵심은 대면 활동의 중요성, 피드백 루프의 필요성, 그리고 장기 자금 확보 전략입니다. 현재 비밀 충성(secret loyalties)에 대한 실증 연구를 진행 중이며, 창립 팀을 모집하고 있습니다.
AI 안전 연구소 Formation Research 의 창업자가 8주간의 인큐베이터 경험을 바탕으로 얻은 7가지 교훈을 공유합니다.
골자
- 시작 — 2024년 BlueDot Impact의 AI 안전 기초 과정을 수료한 후, 체크박스 하나를 통해 Adam Jones와 연결되어 Formation Research를 시작했습니다.
- 초점 — Lock-in 문제에 집중했으며, BlueDot의 소액 그랜트로 LISA에서 8주간 인큐베이터 형태로 공동 작업했습니다.
- 현재 — 비밀 충성(secret loyalties)에 대한 실증 연구를 진행 중이며, 창립 팀을 모집하고 있습니다.
배경·맥락
- 창업자는 AI 석사 과정을 마치고 AI 안전 연구소 설립을 원했으며, 이전에도 여러 창업 경험이 있었습니다.
- Lock-in — AI 시스템이 특정 행동 패턴에 고착되는 문제로, 상대적으로 덜 연구된 분야입니다.
자금 용처·향후
- 자금 — BlueDot의 소액 그랜트로 시작했으며, 장기 자금 확보를 위한 신청을 진행 중입니다.
- 다음 — 창립 팀을 구성하고 비밀 충성 연구를 본격화할 예정입니다.
편집자 한 줄
LessWrong 게시글 특성상 개인적 경험담이지만, AI 안전 분야에서 연구소를 시작하려는 이들에게 실용적인 인사이트를 제공합니다.
- #ai-safety
- #formation-research
- #startup-lessons
- #blue-dot-impact
LessWrong