USC, heterogeneous memory extraction benchmark BEHEMOTH — CluE prompt optimization +9.04%

USC 팀이 LLM 기반 어시스턴트의 이질적 메모리 추출 태스크를 위한 벤치마크 BEHEMOTH를 공개했다. 18개 기존 데이터셋을 개인화·문제해결·에이전트 태스크로 재구성하고 하류 유틸리티 기반 평가를 도입했다. 기존 정적 프롬프트나 균질 분포용 최적화 기법이 이질적 태스크에서 성능이 떨어지는 문제를 해결하기 위해, 클러스터 기반 자기진화 전략 CluE를 제안했다. CluE는 추출 시나리오별로 학습 예제를 군집화하고 군집별 분석 후 교차 군집 통찰을 합성해 프롬프트를 업데이트하며, BEHEMOTH에서 기존 자기진화 프레임워크 대비 9.04% 상대적 성능 향상을 보였다.

• #memory extraction
• #benchmark
• #prompt optimization
• #usc