News·2개월 전
Anthropic, 내성(introspection)과 감정 벡터 연구로 내부 정렬 가능성 탐색
Anthropic Model Psych 팀이 세 편의 논문을 통해 내부 정렬(inner alignment) 가능성을 탐색했습니다. 감정 개념 벡터를 발견하고, 모델의 내성 능력을 높이는 두 가지 방법(Mechanisms of Introspective Awareness, Introspection Adapters)을 제시했네요. 감정 벡터 조작이 행동에 미치는 영향과 내성 강화가 결합되면 정렬 연구에 새 방향이 열릴 수 있습니다.
Anthropic의 세 논문이 내부 정렬 연구에 새로운 실마리를 던졌습니다.
골자
- 감정 벡터 — Claude가 소설 속 인물의 감정(평온, 절망 등)을 표현할 때 활성화되는 벡터를 발견. 같은 벡터가 실제 상황에서도 활성화되며, 조작 시 행동 변화가 인간의 감정 영향과 유사했습니다.
- 내성 메커니즘 — Mechanisms of Introspective Awareness (MoIA)는 거절 방향 제거와 학습된 편향 벡터 추가로 Gemma3-27B가 인위적 개념 활성화를 탐지하는 능력을 향상시켰습니다.
- 내성 어댑터 — Introspection Adapters (IA)는 LoRA를 통해 모델이 자신의 파인튜닝 효과를 인식하고 설명하도록 훈련했습니다.
배경·맥락
- 내부 정렬은 모델의 내부 메커니즘이 외부 지시와 일치하는지 확인하는 문제로, 기존에는 주로 행동 관찰에 의존했습니다.
- 연결점 — 감정 벡터와 내성 능력을 결합하면 모델이 자신의 내부 상태를 더 잘 이해하고 보고할 수 있어 정렬 검증에 도움이 될 수 있습니다.
자금 용처·향후
- 이 연구들은 아직 초기 단계지만, 내성 능력이 강화된 모델이 자신의 '감정'을 인식하고 정렬 여부를 스스로 평가하는 방향으로 발전할 가능성이 있습니다.
편집자 한 줄
감정 벡터와 내성 연구의 결합은 정렬 문제를 모델 내부에서 해결할 수 있는 창구를 열어줄지도 모르겠네요.
- #anthropic
- #alignment
- #introspection
- #emotion-vectors
- #mechanistic-interpretability
LessWrong