Papers·2개월 전
LLM 검색 에이전트는 진짜 검색하는가? — BrowseComp 분석과 LiveBrowseComp 벤치마크
Xiaohongshu 연구진이 BrowseComp에서 LLM 검색 에이전트가 도구를 사용해도 내재 지식(intrinsic knowledge)에 의존한다는 Intrinsic Knowledge Dependence(IKD) 현상을 발견했습니다. 질문의 44.5%를 도구 없이 답변하고, 검색 쿼리의 절반 이상을 내부 가설에서 생성하며, 증거 제거 시 오히려 closed-book보다 성능이 떨어집니다. 이를 해결하기 위해 최근 90일 내 발행된 사실에 의존하는 335개 질문의 LiveBrowseComp를 공개했으며, 모든 에이전트가 closed-book 정확도 2% 미만, BrowseComp 대비 25~40점 하락을 보였습니다.
LLM 검색 에이전트가 진짜 검색을 하는지, 아니면 내재 지식을 확인하는 용도로 웹을 쓰는지 진단한 연구입니다.
핵심 결론
- IKD 발견 — BrowseComp에서 에이전트는 도구 접근이 있어도 내재 지식에 크게 의존합니다.
- 수치 — 질문의 44.5%를 도구 없이 답변 가능, 검색 쿼리 절반 이상이 내부 가설 기반, 증거 제거 시 closed-book보다 성능 저하.
- LiveBrowseComp — 최근 90일 내 사실에 의존하는 335개 질문. 모든 에이전트 closed-book 정확도 2% 미만, BrowseComp 대비 25~40점 하락.
방법
- 세 가지 진단 — 1) 도구 없이 답변 가능한 비율, 2) 검색 쿼리 생성 출처(내부 가설 vs 검색 결과), 3) 증거 제거 시 성능 변화.
- LiveBrowseComp 구성 — 6개 업데이트 소스에서 90일 내 발행된 사실 기반, 전 세계적 이벤트는 제외. 인간이 직접 작성한 335문항.
한계·조건
- 벤치마크 범위 — BrowseComp와 LiveBrowseComp 모두 특정 도메인(웹 검색)에 한정, 일반화에는 추가 연구 필요.
- 코드/데이터 — LiveBrowseComp 데이터셋은 Hugging Face에 공개, 분석 코드는 미공개.
편집자 한 줄
IKD는 검색 에이전트 평가의 근본적인 문제를 지적합니다. LiveBrowseComp가 temporal shift를 반영한 점은 좋지만, 90일 제한이 실제 서비스 환경과 얼마나 일치할지는 더 봐야겠네요.
- #llm-agents
- #search
- #benchmark
- #browsecomp
- #livebrowsecomp
Xiaohongshu