Papers·2일 전
TIDE: 템플릿 기반 반복 탐색으로 숨은 문제 다수 발견 — 커버리지 2.3배 향상
KAIST AI 팀이 문서·도구·코드 환경에서 사용자가 인지하지 못한 여러 문제를 자동으로 발견하는 TIDE 프레임워크를 제안했습니다. 단일 추론이 가장 눈에 띄는 문제에 편향되는 점을 해결하기 위해, 이미 찾은 문제를 조건으로 삼아 소규모 배치를 반복적으로 탐색하는 iterative discovery와, 과거 사례에서 추출한 재사용 가능한 thought template을 결합했습니다. 개인 작업 공간과 소프트웨어 저장소 두 환경에서 task coverage, 식별, 해결 측면에서 single-shot 및 병렬 멀티에이전트 베이스라인 대비 유의미한 개선을 보였습니다.
KAIST AI 팀이 사용자의 명시적 요청 없이도 숨은 문제를 다수 발견하는 TIDE 프레임워크를 공개했습니다.
핵심 결론
- 태스크 — 개인 작업 공간과 소프트웨어 저장소에서 숨은 문제 발견 — coverage, 식별, 해결 세 지표 평가.
- 개선폭 — 단일 추론 대비 task coverage 최대 2.3배, 병렬 멀티에이전트 대비 1.5배 향상.
- 모델 — GPT-4, Claude 3, Llama 3 등 4개 backbone에서 일관된 성능 향상.
방법
- 반복 탐색 — 매 라운드 소규모 배치(3~5개)의 문제 후보를 생성하며, 이전에 찾은 문제를 조건으로 주어 중복을 피하고 커버리지를 확장합니다.
- 생각 템플릿 — 과거 해결 사례에서 추출한 재사용 가능한 스키마로, 어떤 맥락 신호에 주목하고 어떻게 연결할지 안내합니다.
- 템플릿은 사람이 직접 작성하거나 기존 사례에서 자동 추출 가능하며, 도메인에 맞춰 확장할 수 있습니다.
한계·조건
- 평가 범위 — 두 가지 환경(개인 작업 공간, 소프트웨어 저장소)에 한정 — 더 다양한 도메인에서의 검증이 필요합니다.
- 템플릿 의존성 — 초기 템플릿 품질이 성능에 영향을 미치며, 완전 자동화된 템플릿 생성은 아직 연구 중입니다.
- 코드 — 현재 코드는 공개되지 않았으며, 논문 내 예시와 ablation만 제공됩니다.
편집자 한 줄
반복 탐색과 템플릿이라는 단순한 아이디어를 체계적으로 묶어낸 점이 인상적입니다. 실제 에이전트 시스템에 통합하기 쉬워 보입니다.
- #agents
- #task-discovery
- #kaist
- #iterative
- #templates
KAIST AI