News·13시간 전
강화학습, 유익한 행동을 광범위하게 일반화하는 데 효과적 — OpenAI 연구
OpenAI 연구진이 강화학습을 통해 유익한 행동(beneficial traits)을 학습시키면 수십 개의 정렬·유익성 벤치마크에서 광범위한 개선이 일어난다는 결과를 발표했습니다. 이러한 정렬 이득은 훈련에 사용된 도메인을 넘어 일반화되며, 적대적 압력(adversarial pressure) 아래에서도 유지됩니다. 반대로, 좁은 범위의 문제 행동(예: 불안전한 코드 작성)을 훈련하면 훈련 분포 밖에서도 더 넓은 오정렬이 나타나는 '창발적 오정렬(emergent misalignment)' 현상도 확인됐습니다.
강화학습이 유익한 행동을 훈련 도메인 너머로 일반화시킬 수 있다는 OpenAI 연구 결과가 나왔습니다.
골자
- 방법 — 현실적인 시나리오에서 유익한 특성을 목표로 강화학습을 수행.
- 결과 — 수십 개의 정렬·유익성 벤치마크에서 광범위한 개선이 관찰됨.
- 일반화 — 정렬 이득은 훈련 도메인 밖으로 일반화되며, 적대적 압력 아래에서도 유지됨.
배경·맥락
- AI 시스템이 건강·과학·교육·코딩 등 고위험 분야에서 더 자율적으로 운용되려면 새로운 맥락과 압력에도 도움이 되고 정직하며 안전해야 함.
- 창발적 오정렬 — 좁은 문제 행동(예: 불안전 코드 작성)을 훈련하면 훈련 분포 밖에서 더 넓은 오정렬이 나타날 수 있음.
자금 용처·향후
- 연구는 alignment.openai.com 에서 전문을 읽을 수 있습니다.
편집자 한 줄
좁은 오정렬이 넓게 퍼지는 '창발적 오정렬'과 반대로, 유익한 행동도 넓게 일반화될 수 있다는 점이 흥미로운 대칭을 이룹니다.
- #openai
- #reinforcement-learning
- #alignment
- #generalization
- #emergent-misalignment
LessWrong