Papers·1주 전
저자원 언어 번역에 언어학 추론 체인 활용 — Xibe·Chintang 에서 ICL 최대 12.3 BLEU 향상
Omni Language AI Research 팀이 저자원 언어 기계번역(MT)에서 언어학적 분석 추론 체인(linguistic reasoning traces)을 도입, ICL 환경에서 Xibe·Chintang 번역 성능을 최대 12.3 BLEU 개선했습니다. Universal Dependencies treebank, 사전, 문법 규칙에서 자동 생성한 추론 체인을 ICL/SFT/RFT 세 가지 방식으로 실험했는데, ICL에서 신뢰할 수 있는 문장별 추론 체인이 가장 효과적이었습니다. 다만 SFT/RFT에서는 추론 체인 형식은 학습하지만 내용 오류가 많아 일관된 성능 향상을 보지 못했습니다.
LLM 기반 저자원 언어 번역에서 언어학적 추론 체인을 자동 생성해 ICL에 적용, 최대 12.3 BLEU 향상을 확인했습니다.
핵심 결론
- 태스크 — 저자원 언어(Xibe, Chintang) → 중국어·영어 번역.
- 최대 개선 — ICL에서 reliable trace 사용 시 Xibe→중국어 BLEU 12.3 향상.
- 한계 — SFT/RFT에서는 trace 형식은 학습하지만 내용 오류로 인해 일관된 이득 없음.
방법
- 추론 체인 생성 — UD treebank, 사전, 문법 규칙에서 형태소 분석·의존 구문·격 정보를 단계별로 추출.
- 실험 설정 — ICL(4-shot), SFT, RFT 세 가지 설정에서 trace 유무 비교.
- 모델 — Llama 3.1 8B, Qwen2.5 7B, GPT-4o mini 등 5개 모델 평가.
한계·조건
- 데이터 규모 — Xibe 1만 문장, Chintang 5천 문장 수준의 소규모 병렬 코퍼스.
- trace 신뢰성 — 자동 생성 trace는 오류 포함 가능, ICL에서만 reliable trace가 효과적.
- 재현성 — 코드와 trace 생성 파이프라인은 공개 예정.
편집자 한 줄
저자원 언어에 대해 언어학 지식을 구조화된 추론 체인으로 주입하는 접근은 흥미롭지만, trace 자체를 생성하는 능력이 아직 병목이라는 점이 명확해졌습니다.
- #machine-translation
- #low-resource
- #chain-of-thought
- #linguistic-reasoning
- #omnilanguage-ai
Omni Language AI Research