Papers·5일 전
OCC-RAG: 1.7B 파라미터 SLM으로 6x 큰 모델과 동등한 멀티홉 추론
OCC 팀이 멀티홉 QA에 특화된 소형 언어 모델 OCC-RAG를 공개했습니다. 0.6B와 1.7B 두 크기로, 합성 데이터 300만 건 이상으로 학습해 HotpotQA, MuSiQue, TAT-QA 등에서 일반 목적 모델 대비 2~6배 큰 모델과 동등하거나 더 나은 성능을 냅니다. 핵심은 추론 과정에서 출처 인용을 생성하도록 설계된 점으로, 컨텍스트 충실도(ConFiQA)와 거절 능력(MuSiQue-Un)에서도 강점을 보입니다.
OCC 팀이 멀티홉 QA에 특화된 소형 언어 모델 OCC-RAG를 공개했습니다. 1.7B 파라미터로 6배 큰 모델과 경쟁합니다.
핵심 결론
- 벤치 — HotpotQA, MuSiQue, TAT-QA에서 2~6배 큰 일반 모델과 동등 이상의 성능.
- 충실도 — ConFiQA에서 컨텍스트 충실도가 높고, MuSiQue-Un에서 부적절한 질문에 대한 거절 능력도 우수.
방법
- 데이터 합성 — 멀티 컨텍스트, 멀티홉 QA 데이터를 대규모로 합성하는 파이프라인을 구축해 300만 개 이상의 예제 생성.
- 추론 구조 — 모델이 출처 인용을 포함한 구조화된 추론 과정을 생성하도록 학습.
- 컨텍스트에 충실하도록 설계되어, 파라메트릭 지식에 의존하지 않고 주어진 문단만으로 추론합니다.
한계·조건
- 규모 — 0.6B와 1.7B 두 크기만 공개, 더 큰 모델은 없음.
- 공개 — 모델 가중치는 Hugging Face에 공개되었습니다.
편집자 한 줄
소형 모델로도 충분히 강력한 추론이 가능하다는 점을 보여주는 사례네요. 다만 합성 데이터에 대한 의존도가 높아 실제 분포에서의 일반화는 추가 검증이 필요해 보입니다.
- #rag
- #small-language-model
- #multi-hop-qa
- #faithfulness
- #occ
OCC