Papers·2일 전
ProAct: AI 에이전트가 유휴 시간에 미리 준비 — 대화 턴 14.8% 감소, 환각 28.1% 감소
상하이자오퉁대학 팀이 에이전트가 유휴 시간에 미리 사용자 요구를 예측해 정보를 준비하는 ProAct 아키텍처를 제안했습니다. 대화 이력과 영구 메모리를 분석해 다음 필요를 예측, 지식 격차를 해소합니다. ProActEval 벤치마크(200개 시나리오, 40개 도메인)에서 반응형 베이스라인 대비 필요 대화 턴 14.8%, 사용자 노력 11.7%, 환각률 28.1% 감소를 달성했습니다. 다만 예측 정확도는 사용자 인지 프로필 다양성에 따라 변동이 있을 수 있다는 점이 한계입니다.
AI 에이전트가 유휴 시간을 활용해 사용자의 다음 요구를 미리 준비하는 ProAct 아키텍처가 제안되었습니다.
핵심 결론
- 성능 — ProActEval에서 반응형 대비 필요 대화 턴 14.8%, 사용자 노력 11.7%, 환각률 28.1% 감소.
- 벤치 — ProActEval은 40개 도메인, 200개 시나리오로 구성된 새로운 벤치마크로, 예측 가능한 필요 체인과 다양한 사용자 인지 프로필을 포함합니다.
방법
- 프로액티브 추론 — 에이전트는 유휴 시간에 대화 이력과 영구 메모리를 분석해 다음 필요를 예측하고, 지식 격차를 해소하기 위해 반복적으로 정보를 수집합니다.
- 메모리 — 영구 메모리를 통해 사용자 선호와 맥락을 지속적으로 업데이트하여 예측 정확도를 높입니다.
한계·조건
- 예측 한계 — 사용자 인지 프로필이 다양할수록 예측 정확도가 떨어질 수 있으며, 모든 시나리오에서 유휴 시간이 충분히 확보되어야 합니다.
- 코드 — 현재 논문만 공개되었으며, 코드와 데이터셋은 추후 공개 예정입니다.
편집자 한 줄
프로액티브 에이전트는 아직 초기 연구 단계지만, 유휴 시간을 활용한다는 발상이 흥미롭습니다. 실제 서비스에 적용되려면 예측 실패 시 복구 전략이 중요해 보입니다.
- #proactive-agent
- #llm
- #shanghai-jiao-tong-university
- #benchmark
Shanghai Jiao Tong University