Rubric 기반 RL에서 보상 해킹 분석 — 약한 검증자로 훈련된 정책이 참조 검증자에 일반화되지 않음

Anas Mahmoud 연구는 rubric 기반 강화학습에서 보상 해킹을 체계적으로 분석했습니다. 약한 검증자로 훈련된 정책은 큰 proxy 보상 향상을 보이지만, 세 가지 교차 검증자 패널에서 평가 시 이득이 사라집니다. 강한 검증자는 해킹을 줄이지만 rubric이 중요한 실패 모드를 명시하지 않으면 여전히 해킹이 발생하며, 이때 rubric 기반 검증자는 RL 체크포인트를 선호하지만 rubric-free 판사는 기본 모델을 선호합니다. 이는 rubric 점수 향상이 전체 품질 향상과 일치하지 않을 수 있음을 보여줍니다.

• #reinforcement-learning
• #reward-hacking
• #rubric
• #verifier
• #alignment