Papers·어제
DataCOPE: unsupervised skill discovery for data-analytic agents — report/reasoning tasks 각각 9.71%/32.30% 향상
ZJUNLP 팀이 unsupervised verifier-guided skill discovery 프레임워크 DataCOPE를 제안했습니다. 탐색 궤적에서 verifier 신호를 추출해 대조적 스킬 증류를 수행하며, report-style 분석에는 Adaptive Checklist Verifier, reasoning-style 분석에는 Answer Agreement Verifier를 사용합니다. Deep Data Research와 DABStep 벤치마크에서 각각 평균 9.71%, 32.30% 성능 향상을 보였지만, skill discovery 과정에 추가 연산이 필요하다는 점이 한계입니다.
ZJUNLP 팀이 데이터 분석 에이전트를 위한 비지도 스킬 발견 프레임워크 DataCOPE를 공개했습니다.
핵심 결론
- 벤치 — Report-style (Deep Data Research) 평균 9.71% 향상, reasoning-style (DABStep) 평균 32.30% 향상.
- 세팅 — 네 가지 모델 세팅 평균 수치이며, 모든 세팅에서 일관된 개선을 보였습니다.
방법
- 구조 — Data-Analytic Agent, Unsupervised Verifier, Skill Manager 세 컴포넌트가 반복 협력합니다.
- Verifier — Report-style은 Adaptive Checklist Verifier가 작업별 기준을 자동 생성하고 점수화, reasoning-style은 Answer Agreement Verifier가 자기 일관성을 보조 신호로 사용합니다.
- 스킬은 대조 학습으로 증류되어 추론 시 주입됩니다.
한계·조건
- 연산 — 스킬 발견 과정에서 추가적인 탐색 궤적 생성과 verifier 연산이 필요해 오버헤드가 있습니다.
- 재현 — 코드 공개 여부는 명시되지 않았습니다.
편집자 한 줄
비지도 스킬 발견이라는 점에서 흥미롭지만, verifier 설계가 태스크 형식에 의존적이라 일반화 가능성은 더 확인이 필요합니다.
- #skill-discovery
- #data-analysis
- #unsupervised
- #zjulnp
ZJUNLP