Papers·2주 전
CoHyDE: LLM 에이전트의 툴 검색을 위한 공동 훈련 — 인코더와 리라이터를 함께 학습
SAP 연구진이 LLM 에이전트가 대규모 API 카탈로그에서 툴을 검색할 때, 사용자 질의와 기술적 API 용어 간의 간극을 해소하는 CoHyDE를 제안했습니다. 기존의 대조적 인코더 미세조정과 HyDE 스타일 질의 확장은 각각 잘 맞는 질의와 불명확한 질의에서 상반된 실패 패턴을 보이는데, CoHyDE는 두 구성 요소를 InfoNCE와 DPO로 공동 훈련시켜 ToolBench의 약 10k 툴 서브셋에서 NDCG@5 기준 표준 질의 +2.5pp, 모호한 질의 +6.3pp 향상시켰습니다. 단, 실험은 ToolBench의 일부 서브셋에서만 수행되었고, 더 큰 카탈로그에서의 일반화는 추가 검증이 필요합니다.
SAP 팀이 LLM 에이전트의 툴 검색 성능을 높이기 위해 인코더와 리라이터를 공동 훈련하는 CoHyDE를 공개했습니다.
핵심 결론
- 벤치 — ToolBench 약 10k 툴 서브셋에서 CoHyDE는 최강 단일 컴포넌트 대비 NDCG@5 기준 표준 질의 +2.5pp, 모호한 질의 +6.3pp 향상.
- 가장 어려운 질의 — 모호함이 가장 심한 계층에서는 최대 +8pp 개선.
방법
- 공동 훈련 — 밀집 인코더와 LLM 리라이터를 하나의 공진화 시스템으로 학습: 리라이터가 생성한 카탈로그 스타일 가상 설명으로 인코더를 InfoNCE 재훈련, 인코더 검색 점수로 리라이터를 DPO 선호 정렬.
- 초기화 — 두 컴포넌트 모두 툴 카탈로그로 웜스타트한 후 루프 시작.
한계·조건
- 데이터 규모 — 실험은 ToolBench의 약 10k 툴 서브셋에서만 수행되어, 더 큰 카탈로그에서의 일반화는 추가 검증이 필요.
- 코드 공개 — 현재 코드 및 데이터 공개 여부는 명시되지 않았습니다.
편집자 한 줄
공동 훈련이 두 실패 모드를 동시에 완화한 점은 흥미롭지만, 10k 규모에서의 결과가 실제 프로덕션 규모(수십만~수백만 API)에서도 유효할지는 지켜볼 필요가 있겠네요.
- #tool-retrieval
- #llm-agent
- #sap
- #code-hyde
SAP