Papers·5일 전
LLM 에이전트 하네스 자기진화 — 약한 모델도 업데이트는 잘 만드나 혜택은 중간 계층이 최대
Amazon 연구진이 LLM 에이전트의 하네스(프롬프트, 스킬, 메모리, 도구) 자기진화 능력을 분석한 결과, 하네스 업데이트 생성 능력은 모델의 기본 태스크 능력과 무관하게 비슷한 성능 향상을 내는 반면, 업데이트된 하네스로부터 혜택을 보는 능력은 중간-tier 모델이 가장 크고 약한 모델은 거의 혜택을 보지 못한다는 점을 밝혔습니다. 약한 모델의 실패 모드는 하네스 활성화 실패 또는 활성화 후 충실한 수행 실패로 분석됩니다. 이는 진화자보다 태스크 해결 에이전트에 능력 예산을 투자하는 전략을 시사합니다.
LLM 에이전트의 하네스 자기진화 능력을 모델 기본 능력과의 관계로 분석한 연구입니다.
핵심 결론
- 하네스 업데이트 능력 — 모델 능력 tier와 무관하게 비슷한 성능 향상 — Qwen3.5-9B도 Claude Opus 4.6 수준의 업데이트를 생성합니다.
- 하네스 혜택 능력 — 중간-tier 모델이 가장 큰 혜택을 보고, 약한 모델은 거의 혜택을 못 보며, 강한 모델은 중간보다 덜 봅니다.
방법
- 분석 프레임워크 — harness-updating(업데이트 생성)과 harness-benefit(업데이트 활용) 두 능력을 분리해 측정합니다.
- 실험 설정 — 다양한 크기의 오픈소스 및 클로즈드 모델을 대상으로, 실행 증거로부터 하네스 업데이트를 생성하고 이를 다시 태스크 해결에 적용하는 루프를 평가했습니다.
한계·조건
- 벤치마크 — 특정 태스크 집합에 국한되며, 일반화 가능성은 추가 검증이 필요합니다.
- 코드 — 소스 코드는 GitHub에 공개되어 있습니다.
편집자 한 줄
약한 모델이 업데이트는 잘 만들지만 활용을 못 한다는 점은, 에이전트 학습에서 instruction following 능력의 중요성을 다시 한 번 확인해주네요.
- #llm-agents
- #self-evolution
- #harness
- #amazon
Amazon