δ-mem: 8×8 온라인 메모리로 frozen LLM 성능 1.10배 향상

Mind Lab 연구팀이 frozen full-attention backbone에 delta-rule 기반의 작은 온라인 상태 행렬(8×8)을 결합해 메모리 집약 태스크에서 평균 1.10배 성능 향상을 달성한 δ-mem을 제안했습니다. 기존 context window 확장 없이 어텐션 계산에 저랭크 보정을 가하는 방식으로, MemoryAgentBench에서 1.31배, LoCoMo에서 1.20배 향상되었습니다. 단, backbone이 frozen 상태여야 하고 메모리 크기가 매우 작아 장기 의존성이 극도로 긴 태스크에서는 한계가 있을 수 있습니다.

• #memory
• #llm
• #attention
• #mind-lab
• #delta-rule