Papers·6일 전
Representational Accuracy — AI 에이전트가 사용자를 대표하는 충실도를 측정하는 프레임워크
사용자를 대신해 결정을 내리는 AI 에이전트가 그 사람의 해석을 얼마나 충실히 포착하는지 측정하는 'representational accuracy' 개념을 제안합니다. Behavioral Specification 이라는 해석 레이어를 통해 개인 데이터를 압축해 컨텍스트로 제공하며, 14개 자서전 데이터셋에서 raw corpus 대비 25배 적은 컨텍스트로 유사한 정확도를 달성했습니다. 다만 회상(recall) 질문에서는 오히려 방해할 수 있다는 한계가 있습니다.
AI 에이전트가 사용자를 대신해 결정을 내릴 때, 그 결정이 사용자의 의도와 일치해야 한다는 전제에서 출발합니다.
핵심 결론
- 정의 — Representational accuracy: 시스템이 사용자의 해석 방식을 얼마나 충실히 포착하는지 측정하는 지표.
- 성능 — 14개 공개 자서전 데이터셋에서 Behavioral Specification 적용 시 aggregate 정확도 향상, 모델의 hedging(회피) 거의 제거.
- 효율 — Raw corpus 대비 약 25배 적은 컨텍스트로 유사한 정확도 달성.
방법
- Behavioral Specification — 개인 데이터를 해석 패턴으로 압축해 언어 모델에 컨텍스트로 제공하는 레이어.
- 평가 — 보류된 행동 예측에 대해 5명의 LLM 판정단(calibrated)으로 채점, 4개 상용 메모리 시스템(Mem0, Letta, Supermemory, Zep)과 비교.
- 조건 — Raw corpus, 추출된 사실, 상용 메모리 시스템 등 다양한 컨텍스트 조건에서 독립 및 조합 평가.
한계·조건
- 질문 유형 의존성 — 해석이 필요한 질문에서는 효과가 크지만, 단순 회상 질문에서는 오히려 방해할 수 있습니다.
- 데이터셋 — 공개 자서전 데이터셋(14개)에 한정, 일반화 가능성은 추가 검증 필요.
- 코드 — 현재 abstract 및 figure만 공개, 구현체는 추후 공개 예정.
편집자 한 줄
사용자 대표성이라는 문제를 정량화하려는 시도 자체는 의미 있지만, 회상-해석 간 trade-off가 실제 서비스에서 어떤 영향을 줄지 지켜볼 필요가 있습니다.
- #ai-agents
- #alignment
- #representation
- #behavioral-specification
Aarik Gulaya