Papers·2일 전
TRACE: 사용자 교정을 런타임 규칙으로 컴파일해 LLM 에이전트 반복 실수 37.6%로 감소
Yujun Zhou 연구는 LLM 에이전트가 이전 세션에서 교정받은 선호도를 다음 세션에서도 위반하는 문제를 분석했습니다. Mem0 메모리 시스템은 57.5%의 선호도 위반을 여전히 허용합니다. 제안된 TRACE는 사용자 교정을 원자적 규칙으로 변환해 런타임 검사로 컴파일하는 드롭인 파이프라인입니다. ClawArena 태스크에서 분포 내 위반을 100%에서 37.6%로, 분포 외 위반을 100%에서 2.0%로 줄였습니다. MemoryArena 유래 태스크에서는 분포 내 위반을 100%에서 60.5%로 감소시키며 태스크 성공률은 최고 메모리 기준선과 동등 이상을 유지했습니다. 코드와 배포 가능한 스킬이 GitHub에 공개되었습니다.
LLM 에이전트가 같은 실수를 반복하는 문제를 해결하기 위해, 사용자 교정을 런타임 규칙으로 컴파일하는 TRACE 파이프라인이 제안되었습니다.
핵심 결론
- 문제 — Mem0 메모리 시스템은 실제 사용자 마찰 사례에서 57.5%의 선호도 위반을 여전히 허용합니다.
- 개선 — TRACE는 ClawArena에서 분포 내 위반을 100%→37.6%, 분포 외 위반을 100%→2.0%로 줄였습니다.
- MemoryArena — 분포 내 위반 100%→60.5% 감소, 태스크 성공률은 최고 메모리 기준선과 동등 이상.
방법
- 파이프라인 — 사용자 채팅 교정을 마이닝해 원자적 규칙으로 재작성하고, 런타임 검사로 컴파일해 에이전트가 태스크 완료 전에 통과하도록 강제합니다.
- 드롭인 — 기존 코딩 에이전트 런타임에 추가만 하면 되는 스킬 레이어로 설계되었습니다.
한계·조건
- 시뮬레이션 — 평가는 시뮬레이션된 사용자-인-더-루프 실험으로, 실제 사용자 연구는 아닙니다.
- 태스크 범위 — ClawArena와 MemoryArena 유래 태스크로 제한되며, 다른 도메인으로의 일반화는 추가 검증이 필요합니다.
- 공개 — 실험 코드와 배포 가능한 스킬이 GitHub에 공개되었습니다.
편집자 한 줄
메모리만으로는 해결되지 않는 반복 마찰을 런타임 강제로 보완한 점이 실용적으로 느껴집니다. 분포 외 일반화에서 특히 강한 결과를 보인 점이 흥미롭네요.
- #llm-agents
- #preference-compliance
- #runtime-enforcement
- #yujun-zhou
Yujun Zhou