Notre Dame, 대화 일관성 유지하는 KV-cache 오염 해결 — GCAD 제안, coherence drift -1.9로 개선

Notre Dame 팀이 상태 기반 대화에서 activation steering의 KV-cache 오염 문제를 식별하고, Gated Cropped Attention-Delta steering (GCAD)을 제안했습니다. 시스템 프롬프트의 self-attention 기여에서 steering 신호를 추출하고 토큰 수준 게이팅을 적용해, 장기 일관성 저하를 막습니다. 다중 턴 벤치마크에서 coherence drift를 -18.6에서 -1.9로, 10번째 턴 특성 표현을 78.0에서 93.1로 개선했지만, 실험은 특정 persona 태스크에 국한됩니다.

• #activation-steering
• #kv-cache
• #llm
• #notre-dame