News·5시간 전
비정상적 분포 최적화가 AI 학습 동역학에 미치는 영향 — LessWrong 분석
LessWrong 에 게재된 글에서, 비정상적 분포에서의 최적화가 세 가지 패턴(생태적 일반주의, 조건부 정책, 전략 교체)을 유발한다고 분석했습니다. LLM 후훈련에서 여러 목표를 혼합하면 단순 가중합 최적화로 환원되지 않으며, 목표 전환 속도에 따라 과적합과 취약성이 달라집니다. 이는 AI 시스템의 내부 회로를 의도적으로 형성할 수 있는 가능성을 시사합니다.
LLM 후훈련에서 여러 목표를 섞는 것이 단순한 가중합 최적화가 아님을 보여주는 분석입니다.
골자
- 핵심 주장 — 비정상적 분포에서의 최적화는 세 가지 패턴(생태적 일반주의, 조건부 정책, 전략 교체)을 유발합니다.
- 기존 가정 — 기존 AI 안전 연구는 고정된 목표와 분포를 가정하지만, 실제 LLM 후훈련은 여러 목표를 혼합합니다.
- 직관과의 차이 — 목표 혼합이 단순 가중합 최적화로 환원된다는 직관이나 최신 목표만 중요하다는 생각은 실제와 다릅니다.
배경·맥락
- Goodhart의 법칙 때문에 특정 분포에 대한 과도한 최적화는 취약성을 만듭니다.
- 목표를 빠르게 전환하면 이전 목표에 과적합된 회로가 제거되어 취약성이 줄어듭니다.
- 가중합 최적화의 문제 — 가중합 최적화자는 단일 분포에서 순수 최적화자에게 밀리고, 새로운 환경에서도 취약합니다.
자금 용처·향후
- 시사점 — 비정상적 학습 동역학을 의도적으로 설계하면 AI 시스템의 내부 회로를 더 세밀하게 형성할 수 있습니다.
- 향후 연구는 이러한 패턴을 활용해 AI 안전성을 높이는 방향으로 진행될 가능성이 큽니다.
편집자 한 줄
이론적 분석이지만, 실제 LLM 후훈련 설계에 중요한 함의를 던지는 글입니다.
- #llm
- #training-dynamics
- #non-stationary
- #optimization
- #ai-safety
LessWrong