Papers·어제
SelfCompact — 모델 스스로 컨텍스트 압축 시점을 결정하는 스캐폴드, 토큰 비용 30-70% 절감
Tianjian Li 팀이 긴 에이전트 트레이스에서 모델 스스로 컨텍스트 압축 시점과 방식을 결정하는 SelfCompact 스캐폴드를 제안했습니다. 고정 간격 압축과 달리 서브태스크 완료나 수렴 여부에 따라 동적으로 compaction tool을 호출하는 루브릭을 쌍으로 사용합니다. 6개 벤치마크(수학, 에이전틱 검색)와 7개 모델 실험에서 압축 없을 때 대비 최대 18.1점(수학) 향상, 토큰 비용은 30-70% 낮췄습니다. 단, 루브릭 없이 도구만 제공하면 효과가 불균일해 두 요소가 모두 필요합니다.
SelfCompact는 모델이 컨텍스트가 썩고 있다는 사실을 스스로 인지하지 못하는 메타인지 격차를, 경량 루브릭으로 메우는 스캐폴드입니다.
핵심 결론
- 성능 — 압축 없음 대비 수학 태스크 최대 18.1점, 에이전틱 검색 5-9점 향상.
- 비용 — 고정 간격 요약 대비 토큰 비용 30-70% 절감.
- 범위 — 6개 벤치마크, 7개 모델(오픈웨이트)에서 검증.
방법
- 구성 — compaction tool(모델이 컨텍스트를 요약하는 함수) + 경량 루브릭(호출 시점 규칙)의 쌍.
- 루브릭 — 서브태스크 해결 시 또는 궤적 수렴 시 호출, 추론 중간 또는 막혔을 때 억제.
- 파인튜닝이나 외부 감독 없이 추론 시에만 작동합니다.
한계·조건
- 모델 의존성 — 도구만 제공하면 모델에 따라 사용 패턴이 불균일해 루브릭이 반드시 필요.
- 벤치 범위 — 수학과 에이전틱 검색에 한정, 긴 문맥 QA 등 다른 태스크 일반화는 미확인.
- 코드 — 현재 Hugging Face Papers 초록만 공개, 코드 및 상세 구현은 미공개.
편집자 한 줄
루브릭이 '언제 압축할지'를 모델에게 가르쳐준다는 발상이 깔끔합니다. 다만 루브릭 자체를 수동 설계해야 해서 도메인 확장 시 엔지니어링 비용이 들 여지가 있습니다.
- #self-compact
- #agent
- #context-compression
- #scaffold
- #tianjian-li
Tianjian Li