Papers·6일 전
IR3DE: Ridge Regression 기반 LLM 추론 라우터 — 도메인 전문가 모델 간 라우팅을 98.4% 성능으로
Gensyn 팀이 Ridge Regression 기반의 LLM 추론 라우터 IR3DE를 제안했습니다. 도메인 전문가 모델들 사이에서 각 프롬프트에 가장 적합한 모델을 선형 모델로 빠르게 선택하며, 추론 태스크에서 정규화 성능 98.4%를 달성했습니다. 라우터 재학습 없이 새 전문가 모델을 추가/제거할 수 있는 점이 특징이지만, CLM 설정에서는 기존 방법과 비슷한 수준입니다.
Gensyn 팀이 Ridge Regression 기반의 LLM 추론 라우터 IR3DE를 공개했습니다. 도메인 전문가 모델들 사이에서 각 프롬프트에 가장 적합한 모델을 선형 모델로 빠르게 선택합니다.
핵심 결론
- 태스크 — 도메인별 전문 LLM 중 프롬프트에 적합한 모델을 선택하는 라우팅.
- 성능 — 추론(reasoning) 설정에서 정규화 성능 98.4%로 기존 방법을 능가했으며, CLM 설정에서는 유사한 성능.
- 비용 — Ridge Regression 기반이라 학습과 추론이 매우 저렴하고 빠릅니다.
방법
- 모델 — 프롬프트 임베딩을 입력으로 받아 각 도메인 전문가의 점수를 예측하는 선형 Ridge Regression 모델.
- 동적 구성 — 라우터 재학습 없이 새 전문가 모델을 추가하거나 제거할 수 있어, 서빙 중인 LLM 집합을 유연하게 변경 가능.
- 두 가지 CLM 설정(모든 도메인이 다음 토큰 예측)과 하나의 추론 설정(도메인별 고유 추론 태스크)에서 평가했습니다.
한계·조건
- 성능 — CLM 설정에서는 기존 라우터(예: FrugalGPT, RouteLLM)와 비슷한 수준으로, 큰 우위를 보이지는 않습니다.
- 코드 — GitHub(github.com/gensyn-ai/IR3DE)에 공개되어 재현 가능합니다.
- 가정 — 각 전문가 모델이 특정 도메인에 특화되어 있다는 전제가 필요합니다.
편집자 한 줄
선형 모델로도 추론 태스크에서 좋은 성능을 낸 점이 인상적입니다. 다만 CLM에서는 큰 차이가 없어, 태스크 특성에 따른 적용이 중요해 보입니다.
- #llm
- #routing
- #ridge-regression
- #gensyn
Gensyn