Papers·2개월 전
CroCo: 다국어 대조 선호도 튜닝 — 14개 언어에서 영어 RLHF 보상 모델만으로 전이 성공
본 연구는 영어로 학습된 보상 모델을 다국어 LLM에 적용하여 언어별 선호도 주석 없이도 다국어 선호도 튜닝이 가능함을 보였습니다. CroCo 방법은 모델이 스스로 생성한 응답 간 대조적 선호도를 활용하며, EuroLLM-9B와 Aya-3B를 대상으로 14개 언어(고/저자원)에서 구조적 태스크 6/7, 개방형 생성 11/11 언어에서 기준 모델 대비 성능 향상을 달성했습니다. 단, on-policy 데이터가 필수이며 off-policy나 온라인 최적화는 효과가 떨어집니다.
영어 RLHF 보상 모델만으로 다국어 선호도 튜닝이 가능할까? CroCo는 14개 언어 실험에서 긍정적 신호를 보여줍니다.
핵심 결론
- 태스크 — 다국어 선호도 튜닝 — 영어 보상 모델을 multilingual base 위에 얹어 14개 언어 평가.
- 결과 — EuroLLM-9B: 구조적 태스크 6/7 언어에서 base 이상. Aya-3B: 4/7 언어. 개방형 생성은 두 모델 모두 11/11 언어에서 base 승리.
- 조건 — On-policy self-generations 필수. Off-policy나 online PPO는 offline variant를 능가하지 못함.
방법
- CroCo — Cross-lingual Contrastive Preference Tuning — 모델이 스스로 생성한 응답 쌍을 영어 보상 모델로 점수화해 대조 학습.
- 데이터 — 단일 언어 또는 다국어 혼합 설정 모두 효과적. 언어별 선호도 주석 불필요.
- 기반 모델 — EuroLLM-9B (9B)와 Aya-3B (3B) — multilingual base 위에 SFT 후 적용.
한계·조건
- On-policy 의존 — Off-policy 응답에서는 이득이 크게 줄어듦. Online PPO도 offline 대비 개선 없음.
- 언어 편향 — 저자원 언어에서도 전이되나, 언어별 편차 존재. 고자원 언어(독일어, 프랑스어)에서 더 안정적.
- 코드 공개 — Hugging Face에 모델 가중치 및 학습 코드 공개 예정.
편집자 한 줄
영어 보상 모델 하나로 다국어를 커버한다는 점이 실용적으로 매력적입니다. 다만 on-policy 제약은 실제 적용 시 데이터 수집 비용을 고려해야 할 부분이네요.
- #multilingual
- #preference-tuning
- #rlhf
- #cross-lingual
- #eurollm
Mike Zhang