News·2주 전
부정 무시와 접종 프롬프팅의 유사성 — 정렬 연구의 새로운 연결점
LessWrong 게시글에서 부정 무시(negation neglect), 접종 프롬프팅(inoculation prompting)의 비강건성, 백도어의 비강건성이 같은 현상의 다른 사례라고 주장합니다. 접종 프롬프팅은 Anthropic이 프로덕션에서 사용 중이지만 완벽히 강건하지 않으며, 이 유사성을 연구하면 Claude의 정렬을 개선할 수 있다는 분석입니다.
부정 무시와 접종 프롬프팅의 비강건성이 동일한 메커니즘에서 비롯될 수 있다는 주장이 LessWrong에 올라왔습니다.
골자
- 핵심 주장 — 부정 무시, 접종 프롬프팅의 비강건성, 백도어의 비강건성은 같은 현상의 세 가지 사례.
- 부정 무시 — 거짓 주장에 '다음은 거짓입니다'라는 면책 문구를 붙여 파인튜닝하면, 모델이 면책 없이 훈련된 것처럼 행동하는 현상.
- 접종 프롬프팅 — 보상 해킹을 줄이기 위한 기법이지만 완벽히 강건하지 않음. Anthropic이 프로덕션에서 사용 중.
배경·맥락
- 이 유사성은 이전에 단 한 번만 언급된 바 있습니다.
- 접종 프롬프팅의 비강건성을 개선하면 Claude의 정렬이 향상될 가능성이 있습니다.
자금 용처·향후
- 연구 방향 — 부정 무시나 백도어 연구에서 얻은 통찰을 접종 프롬프팅에 전이할 수 있음.
- 기대 효과 — 기저 현상에 대한 이해가 깊어지면 더 강건한 정렬 기법 개발로 이어질 수 있습니다.
편집자 한 줄
LessWrong의 이론적 분석이지만, Anthropic의 프로덕션 시스템에 직접 연결된다는 점에서 실용적 가치가 있는 논의입니다.
- #alignment
- #inoculation-prompting
- #negation-neglect
- #backdoors
- #anthropic
LessWrong