Papers·2일 전
Arizona State, 고객서비스 에이전트의 상태 관리 문제를 ledger로 해결 — LedgerAgent, 정책 위반 30% 감소
Arizona State University 팀이 고객서비스 도메인에서 tool-calling agent의 상태 관리 실패를 해결하는 LedgerAgent를 제안했습니다. 기존 방식은 task state를 프롬프트에 암시적으로 포함시켜 정보 부재나 정책 위반을 유발했지만, LedgerAgent는 별도 ledger에 상태를 기록하고 환경 변경 tool call 전에 정책 제약을 검사합니다. 네 개 도메인에서 passk 평균이 개선되었으며, 특히 다회 일관성 메트릭에서 가장 큰 향상을 보였습니다.
Arizona State University 연구팀이 고객서비스 tool-calling agent의 상태 관리 문제를 해결하는 LedgerAgent를 공개했습니다.
핵심 결론
- 태스크 — 고객서비스 도메인에서 정책을 준수하는 tool-calling agent의 상태 관리.
- 개선폭 — 네 도메인에서 passk 평균 개선, 특히 다회 일관성 메트릭에서 가장 큰 향상.
방법
- Ledger — 관찰된 task state를 별도 ledger에 저장하고, 매 추론 시 이를 프롬프트에 렌더링.
- 정책 검사 — 환경 변경 tool call 전에 ledger 기반으로 상태 의존적 정책 제약을 검사하여 위반을 차단.
한계·조건
- 도메인 — 네 개의 고객서비스 도메인에서 평가되었으며, 일반화 가능성은 추가 검증 필요.
- 모델 — 오픈 및 클로즈드 모델 혼합 패널 사용, 특정 모델에 종속적이지 않음.
편집자 한 줄
상태 관리를 명시적으로 분리한 접근이 단순하지만 효과적이라는 점이 인상적입니다. 다만 실제 배포 환경에서 ledger 유지 비용이 얼마나 될지는 추가 실험이 필요해 보입니다.
- #tool-calling
- #state-management
- #arizona-state-university
- #customer-service
Arizona State University