Papers·1주 전
B2B 대화 분류에서 ICL 토큰 99% 줄이고 AUC 7% 향상 — Call Playbook 데이터셋과 지식 추출
Guy Rotman 팀이 B2B 다자간 대화 분류를 위한 Call Playbook 데이터셋을 공개하고, 기존 in-context learning(ICL)의 토큰 사용량을 99% 줄이면서 macro-averaged AUC를 최대 7% 개선하는 지식 추출 방법을 제안했습니다. 핵심은 verbose한 few-shot 예시를 압축된 분류 기준과 태스크 설명으로 변환하는 것으로, 컨텍스트가 길어져도 성능이 유지되는 강점이 있습니다. 단, 데이터셋이 특정 도메인(B2B 영업)에 한정되어 일반화 가능성은 추가 검증이 필요합니다.
B2B 대화 분류에서 ICL의 한계를 극복하기 위해, 예시를 압축된 지식으로 변환해 토큰 사용을 99% 줄이고 AUC를 7% 높인 방법이 나왔습니다.
핵심 결론
- 성능 — 제안 방법은 전통적 ICL 대비 macro-averaged AUC를 최대 7% 개선했으며, 토큰 사용량은 99% 감소했습니다.
- 강건성 — 컨텍스트 길이가 증가해도 성능이 유지된 반면, 기존 토큰 압축 방법은 F1이 9점 이상 하락했습니다.
방법
- 지식 추출 — 여러 few-shot 예시에서 분류 기준과 태스크 설명을 추출해 하나의 압축된 프롬프트로 만듭니다.
- 데이터셋 — Call Playbook 데이터셋은 실제 B2B 영업 대화를 기반으로 한 5가지 분류 태스크로 구성됩니다.
한계·조건
- 도메인 — 데이터셋이 B2B 영업 대화에 특화되어 있어 다른 도메인으로의 일반화는 추가 실험이 필요합니다.
- 재현성 — 코드와 데이터셋은 Hugging Face에 공개되어 있으나, 실험에 사용된 모델은 GPT-4로 제한적입니다.
편집자 한 줄
토큰 99% 감소는 실용성 측면에서 매우 큰 개선이지만, B2B 영업이라는 좁은 도메인에서 나온 결과라는 점을 염두에 둘 필요가 있습니다.
- #in-context-learning
- #classification
- #b2b
- #knowledge-extraction
- #call-playbook
Guy Rotman