Papers·5일 전
FastContext: 전용 탐색 서브에이전트로 코딩 에이전트 토큰 소비 60% 절감
Microsoft 연구팀이 LLM 코딩 에이전트의 저장소 탐색 병목을 해결하기 위해 전용 탐색 서브에이전트 FastContext를 제안했습니다. FastContext는 4B~30B 파라미터의 특화 모델로, 병렬 도구 호출을 통해 관련 파일 경로와 라인 범위만을 집중 컨텍스트로 반환합니다. SWE-bench Multilingual, SWE-bench Pro, SWE-QA에서 Mini-SWE-Agent에 통합 시 최대 5.5% 해결률 향상과 최대 60% 토큰 소비 감소를 달성했습니다. 단, 탐색 모델 학습에 강력한 참조 모델 궤적이 필요해 재현 비용이 높을 수 있습니다.
Microsoft가 코딩 에이전트의 저장소 탐색을 전담하는 서브에이전트 FastContext를 공개했습니다. 탐색과 해결을 분리해 토큰 효율을 크게 개선했습니다.
핵심 결론
- 벤치 — SWE-bench Multilingual, Pro, SWE-QA에서 Mini-SWE-Agent 통합 시 해결률 최대 5.5% 향상.
- 효율 — 코딩 에이전트의 토큰 소비를 최대 60% 줄였습니다.
방법
- 분리 — 저장소 탐색을 전담하는 FastContext 서브에이전트를 도입해 탐색과 해결을 분리합니다.
- 모델 — 4B~30B 파라미터의 특화 탐색 모델을 사용하며, 강력한 참조 모델 궤적으로 부트스트래핑 후 태스크 보상으로 정교화합니다.
- 병렬 도구 호출로 관련 파일 경로와 라인 범위만을 집중 컨텍스트로 반환해 기존 에이전트의 컨텍스트 오염을 줄입니다.
한계·조건
- 재현성 — 탐색 모델 학습에 강력한 참조 모델 궤적이 필요해 재현 비용이 높을 수 있습니다.
- 코드 — GitHub에 코드와 데이터가 공개되었습니다.
편집자 한 줄
탐색 전담 모델이라는 아이디어는 직관적이지만, 실제로 60% 토큰 감소를 벤치에서 입증한 점이 인상적입니다. 다만 참조 모델 의존도가 재현성을 제한할 수 있겠네요.
- #coding-agent
- #repository-exploration
- #microsoft
- #swe-bench
Microsoft