Papers·2일 전
FORT: 단축 경로 저항 훈련 데이터 합성 프레임워크 — 딥 서치 에이전트 성능 향상
Jia Deng 팀이 딥 서치 에이전트 훈련에서 단축 경로(shortcut) 문제를 해결하는 FORT 프레임워크를 제안했습니다. 기존 데이터셋은 구조적 복잡성만으로 난이도를 높이려 했으나, 에이전트가 의도된 탐색 과정을 우회하는 단축 경로가 존재한다는 점을 지적하며 네 가지 구체적인 위험 요소를 식별했습니다. FORT는 이러한 위험을 통제하는 데이터 합성 방식으로, 기존 오픈소스 데이터셋보다 더 긴 사전-답변 탐색을 유도하고 단축 패턴을 줄였습니다. FORT-Searcher(8B)는 SFT만으로도 동급 크기 오픈소스 에이전트 중 최고 성능을 달성했습니다.
딥 서치 에이전트 훈련에서 단축 경로 문제를 체계적으로 분석하고, 이를 해결하는 데이터 합성 프레임워크 FORT를 소개합니다.
핵심 결론
- 성능 — FORT-Searcher(8B)는 SFT만으로 동급 크기 오픈소스 딥 서치 에이전트 중 최고 성능을 기록했습니다.
- 데이터 — FORT로 생성한 데이터는 기존 오픈소스 데이터셋보다 더 긴 사전-답변 탐색 경로를 유도하고 단축 패턴 비율이 낮습니다.
방법
- 단축 위험 — 네 가지 단축 위험(evidence co-coverage, single-clue selectivity, exposed constants, prior-knowledge binding)을 정의하고 궤적 서명으로 진단합니다.
- FORT — 엔티티 선택, 증거 그래프 구성, 질문 공식화, 적대적 정제 단계에서 단축 위험을 통제하여 저항성 데이터를 합성합니다.
한계·조건
- 벤치마크 — 실험은 특정 딥 서치 벤치마크에 국한되며, 다른 도메인 일반화는 추가 검증이 필요합니다.
- 코드 — 관련 리소스는 GitHub에 공개 예정입니다.
편집자 한 줄
단축 경로 문제를 정형화한 점이 인상적이며, 데이터 합성 단계에서 실용적인 통제 전략을 제시한 점이 흥미롭습니다.
- #deep-search
- #shortcut
- #data-synthesis
- #fort
- #jia-deng
Jia Deng