ModelLens: 공개 리더보드 데이터로 미지의 모델·데이터셋 추천 — 1.62M 레코드 벤치마크에서 Top-K 라우팅 최대 81% 개선

UC Davis 팀이 공개 리더보드 상의 평가 기록만으로 새로운 모델과 데이터셋 간 성능을 예측하는 ModelLens를 제안했습니다. 모델-데이터셋-메트릭 튜플의 잠재 공간을 학습해, 대상 데이터셋에서 후보 모델을 직접 실행하지 않고도 순위를 매깁니다. 47K 모델·9.6K 데이터셋·1.62M 평가 레코드로 구성된 벤치마크에서 메타데이터 기반 또는 전방패스 기반 베이스라인을 능가했으며, 추천된 Top-K 풀은 다양한 QA 벤치마크에서 라우팅 방법의 성능을 최대 81% 향상시켰습니다. 다만 리더보드 기록의 노이즈와 커버리지 편향이 성능에 영향을 줄 수 있다는 한계가 있습니다.

• #model-selection
• #transfer-learning
• #leaderboard
• #uc-davis