Papers·2주 전
RUBRIC-ARROW: 점진적 보상 모델링을 위한 루브릭 기반 교대 학습 프레임워크
RUBRIC-ARROW는 루브릭 생성기와 조건부 판별기를 교대 학습하여 주관적 평가에서도 일관된 점진적 보상을 제공합니다. 확률 기반 점수 규칙으로 동점을 줄이고, GRPO 교대 학습으로 정책 최적화까지 이어집니다. 다만, 루브릭 생성기의 품질이 전체 성능에 민감할 수 있습니다.
OpenRubrics 팀이 주관적·비검증 태스크에서 점진적 보상 모델링의 정확도를 높이는 RUBRIC-ARROW 프레임워크를 공개했습니다.
핵심 결론
- 태스크 — 주관적 평가(글쓰기, 창의성 등)에서 점진적 보상 모델의 정확도를 기존 루브릭 기법 대비 향상.
- 성능 — 여러 벤치마크에서 기존 루브릭 기반 방법보다 동점 비율을 낮추고, downstream 정책 최적화에서 일관된 이득을 보였습니다.
방법
- 교대 학습 — 루브릭 생성기와 루브릭 조건부 판별기를 번갈아 학습하며, RL 단계에서는 pairwise 선호 데이터만 사용합니다.
- 확률 점수 — Boolean 집계 대신 확률 기반 점수 규칙을 도입해 동점을 줄이고, 단계별 선호 보상으로 학습을 안정화합니다.
- GRPO 교대 학습을 통해 점진적 평가자와 정책을 함께 최적화하는 점이 흥미롭네요.
한계·조건
- 루브릭 의존성 — 생성된 루브릭의 질이 전체 성능에 큰 영향을 미치며, 도메인별 루브릭 템플릿이 필요할 수 있습니다.
- 재현성 — 코드와 학습 설정은 공개 예정이며, 현재 논문 내 실험은 특정 LLM 백본에 국한됩니다.
편집자 한 줄
루브릭 생성 자동화가 핵심인데, 생성기의 일반화 성능이 실제 서비스에 적용될 때 관건이 될 듯합니다.
- #reward-modeling
- #rubric
- #llm
- #rlhf
- #openrubrics
OpenRubrics