MementoGUI: 온라인 메모리 제어로 장기 GUI 태스크 해결 — 성공률 12~18% 향상

Zeng 팀이 제안한 MementoGUI는 MLLM 기반 GUI 에이전트에 플러그인 형태로 장착되는 메모리 프레임워크입니다. 핵심은 MementoCore라는 학습된 컨트롤러로, 작업 관련 인터페이스 이벤트를 텍스트 요약과 ROI 시각 증거로 압축해 working memory에 유지하고, 과거 궤적을 episodic memory에서 재사용합니다. GUI-Odyssey, MM-Mind2Web 등 벤치마크에서 no-history, history-replay, text-only memory 대비 일관된 개선을 보였으며, MementoCore 규모가 클수록 효과가 커집니다. 다만 데이터 큐레이션 파이프라인이 필요하고, backbone fine-tuning 없이 적용 가능한 점은 실용적입니다.

• #gui-agent
• #memory
• #mllm
• #long-horizon
• #huggingface