Papers·어제
MCP-Persona: LLM 에이전트의 개인화된 도구 사용 능력을 평가하는 첫 벤치마크
MCP-Persona는 Reddit, Xiaohongshu, Lark, Slack 등 실제 개인 소셜 애플리케이션에서 LLM 에이전트가 개인화된 MCP 도구를 얼마나 잘 사용하는지 평가하는 최초의 벤치마크입니다. SOTA 에이전트들이 개인화된 도구 사용에서 상당한 어려움을 겪는 것을 실험으로 확인했습니다. GitHub에 공개되었습니다.
MCP-Persona는 LLM 에이전트가 실제 개인 소셜 앱에서 개인화된 MCP 도구를 사용하는 능력을 평가하는 첫 벤치마크입니다.
핵심 결론
- 벤치 — Reddit, Xiaohongshu, Lark, Slack 등 실제 앱을 대상으로 개인화된 MCP 도구 사용 능력을 평가합니다.
- 실험 — SOTA 에이전트들이 개인화된 도구 사용에서 유의미한 성능 저하를 보였습니다.
방법
- 데이터 — 각 플랫폼의 실제 사용자 시나리오를 반영한 태스크를 구성했습니다.
- 개인화된 컨텍스트(계정 정보, 로컬 데이터)를 도구 호출에 반영해야 하는 점이 핵심 난제입니다.
한계·조건
- 범위 — 4개 앱에 국한되어 있어 일반화에는 추가 연구가 필요합니다.
- 공개 — GitHub에 데이터와 코드가 공개되어 재현 가능합니다.
편집자 한 줄
개인화된 도구 사용이라는 실용적인 측면을 평가한 점이 인상적입니다. 향후 더 다양한 도메인으로 확장되면 유용할 것 같습니다.
- #mcp
- #benchmark
- #personalized-tools
- #llm-agents
Wenhao Wang