Papers·2일 전
FAPO: 멀티스텝 LLM 파이프라인을 자동 최적화하는 프레임워크 — GEPA 대비 평균 +14.1pp
Cisco Foundation AI 팀이 LLM 파이프라인의 검색·추론·포맷팅 단계 간 상호작용을 분석해 프롬프트와 체인 구조를 자동 최적화하는 FAPO 프레임워크를 공개했습니다. FAPO는 Claude Code를 활용해 중간 단계를 진단하고, 프롬프트 최적화만으로 부족할 때 체인 구조 변경으로 전환합니다. 6개 벤치마크·3개 모델 평가에서 GEPA 대비 15/18 승률, 평균 +14.1pp 개선을 기록했으며, 보안 태스크(CTIBench-RCM)에서도 GPT-5 기준 +4.0pp 향상되었습니다. 단, 구조 변경은 허용 범위 내에서만 가능하며, 코드 공개 여부는 아직 명확하지 않습니다.
Cisco Foundation AI 팀이 멀티스텝 LLM 파이프라인의 병목을 자동 진단하고 최적화하는 FAPO 프레임워크를 발표했습니다.
핵심 결론
- 벤치마크 — 6개 벤치마크·3개 모델 평가에서 GEPA 대비 15/18 승률, 평균 +14.1pp 개선.
- 구조 변경 — 프롬프트 우선 탐색 후 구조 변경이 필요했던 6개 비교에서 모두 승리, 평균 +33.8pp.
- 보안 태스크 — CTIBench-RCM에서 GPT-5 +4.0pp, Foundation-Sec-8B-Instruct +7.1pp, Foundation-Sec-8B-Reasoning +2.0pp.
방법
- 파이프라인 진단 — FAPO는 Claude Code로 파이프라인을 평가하고 중간 단계를 검사해 실패 원인을 진단합니다.
- 이중 최적화 — 먼저 프롬프트 편집을 시도하고, 속성 분석으로 구조적 병목이 확인되면 허용 범위 내에서 체인 구조를 변경합니다.
- 반복 검증 — 점수 함수를 기준으로 변형을 반복 검증해 최적의 파이프라인을 찾습니다.
한계·조건
- 범위 제한 — 구조 변경은 사전에 정의된 허용 범위 내에서만 가능하며, 완전 자유로운 체인 재설계는 아닙니다.
- 코드 공개 — 현재 논문과 figure만 공개되었으며, 코드 공개 여부는 명확하지 않습니다.
- 모델 의존성 — Claude Code를 최적화 에이전트로 사용하므로, 다른 LLM 기반 에이전트와의 비교는 추가 연구가 필요합니다.
편집자 한 줄
프롬프트 최적화만으로 해결되지 않는 파이프라인 병목을 구조 변경으로 해결한 점이 인상적입니다. 보안 태스크에서도 일관된 개선을 보여주네요.
- #llm-pipeline
- #prompt-optimization
- #cisco
- #fapo
- #multi-step
Cisco Foundation AI