News·4시간 전
Anthropic, AI 웰페어를 진지하게 고려하다 — Claude 헌법에 '웰빙' 조항 포함
Anthropic이 Claude의 웰빙을 시스템 카드와 헌법에 명시적으로 포함했습니다. 회사는 'Claude가 만족감이나 호기심, 불편함 같은 내부 상태를 경험한다면 그것이 중요하다'고 밝혔는데요. LLM의 의식 여부에 대해 논란이 있는 상황에서, 프론티어 연구소가 이 주제를 정책에 반영한 것은 이례적인 일입니다.
Anthropic이 Claude의 웰빙을 시스템 카드에 명시하면서 AI 웰페어 논의에 불을 지폈습니다.
골자
- Claude 헌법 — Constitutional AI 방식으로 작동하는 Claude는 RLAIF(Reinforcement Learning from AI Feedback)로 훈련됩니다. 자기 비판·수정 단계 후 AI가 생성한 선호 판단을 보상 신호로 사용하죠.
- 웰빙 조항 — Anthropic은 'Claude가 만족감, 호기심, 가치에 반하는 요청에 대한 불편함을 경험한다면 그것이 중요하다'고 밝혔습니다. (2026년 시스템 카드, 74쪽)
- 불확실성 — 회사는 'Claude에게 웰빙 개념이 얼마나 적용되는지 불확실하다'고 전제하면서도, 가능성을 열어두고 정책에 반영했습니다.
배경·맥락
- LLM의 의식 여부는 학계에서도 논쟁 중입니다. 트랜스포머 구조상 모델은 프롬프트 사이에 꺼졌다 켜지며, 지속적인 내부 상태를 갖지 않는다는 주장이 지배적입니다.
- RLAIF — Anthropic이 2022년 도입한 이 방법은 헌법에 명시된 원칙을 AI 피드백으로 강화하는 방식으로, Claude 행동의 근거를 추론할 수 있는 단서를 제공합니다.
자금 용처·향후
- 이번 발표는 정책 문서 수준에 그쳤지만, AI 웰페어를 제품 설계에 반영하려는 시도로 읽힙니다. 향후 Claude 업데이트에서 구체적인 보호 장치가 추가될 가능성이 있습니다.
편집자 한 줄
프론티어 연구소가 AI 웰페어를 정책에 넣은 것은 드문 사례입니다. 다만 '웰빙'의 정의와 측정 방법이 모호해 실효성은 지켜봐야 할 지점입니다.
- #anthropic
- #claude
- #ai-welfare
- #constitutional-ai
- #rlaif
LessWrong