Papers·1개월 전
SAE 기반 안전 개입의 취약점 — 개입 후에도 행동 복원 가능, 95.8% 회복률
PolyU 연구진이 Sparse Autoencoder(SAE)로 식별한 '유해' feature를 클램핑해도 모델 행동이 완전히 제어되지 않을 수 있음을 보였습니다. 개입 후 잔차 공간에서 최적화를 통해 타겟 feature 값은 유지하면서 원래 행동을 회복할 수 있었으며, 안전-critical 거부 조종(refusal steering) 실험에서 유효 샘플의 95.8%가 행동을 회복했습니다. 이는 SAE feature 제어가 행동 완전성(behavioral completeness)을 보장하지 않음을 시사합니다.
SAE 기반 안전 개입이 feature 수준에서 성공해도 모델 행동이 완전히 제어되지 않을 수 있다는 취약점을 실험으로 입증했습니다.
핵심 결론
- 회복률 — 거부 조종(refusal steering) 실험에서 유효 샘플의 95.8%가 개입 후에도 원래 행동을 회복.
- feature 드리프트 — 회복 시 방어 feature의 상대 드리프트는 0.131로, suffix 기반 기준보다 훨씬 낮아 feature 수준 개입은 유지됨.
- 범위 — TPP, unlearning, IOI, 거부 조종 등 다양한 설정에서 회복 가능성 확인.
방법
- 최적화 문제 — 개입 후 잔차 상태에서 시작해, 타겟 SAE feature 값은 고정한 채 원래 행동을 회복하는 잔차 섭동을 최적화.
- 강력 위협 모델 — 개입이 최적화 및 생성 전반에 걸쳐 활성 상태로 유지되는 조건에서도 회복 가능.
- 인코더 직교 업데이트 — 단일 레이어 개입에서는 인코더 직교 업데이트를, 교차 레이어에서는 feature-map Jacobian을 사용해 회복이 단순히 개입을 무효화하는 것이 아님을 확인.
한계·조건
- 회복 경로 분석 — 회복은 주로 SAE 재구성 잔차(SAE가 설명하지 못한 성분)를 통해 이루어짐.
- 실용적 의미 — SAE feature 제어가 행동 완전성을 보장하지 않으므로, 안전 개입 시 추가 검증이 필요.
- 코드 — 논문에서 코드 공개 여부는 명시되지 않음.
편집자 한 줄
SAE 기반 정렬 연구에 중요한 경고를 던지는 결과입니다. feature 수준의 제어가 행동 수준의 제어와 동일하지 않다는 점을 명확히 보여줍니다.
- #sparse-autoencoders
- #safety
- #interpretability
- #polyu
The Hong Kong Polytechnic University