Papers·2개월 전
Stream — 라이브 스트리밍으로 서비스 대화 데이터 87K 세션 합성, DST 성능 향상
HIT 팀이 공개한 StreamDial 데이터셋은 라이브 스트리밍과 숏폼 영상에서 추출한 신호를 바탕으로 87,498개 대화 세션(약 150만 턴)을 합성했습니다. 역할 기반 페르소나 구성과 대화 청사진(Blueprint)을 결합하고 RAG로 지식 대응을 지원하는 Stream 프레임워크를 통해, 자동차·레스토랑·호텔 도메인에서 요구사항 발굴, 제약 충돌, 협상, 복구 등 실제 서비스 행동을 포착합니다. DST(Dialogue State Tracking) 평가에서 강력한 베이스라인 대비 일관된 개선을 보였고, Qwen3-8B에서 다국어 전이도 확인했습니다.
라이브 스트리밍이라는 공개 데이터 소스에서 고품질 서비스 대화를 합성하는 프레임워크 Stream과 대규모 멀티도메인 데이터셋 StreamDial이 공개되었습니다.
핵심 결론
- 데이터 규모 — StreamDial은 자동차·레스토랑·호텔 3개 도메인에 걸쳐 87,498개 세션, 1,497,320턴, 평균 17.11턴/세션입니다.
- 성능 — DST 태스크에서 여러 백본(MultiWOZ, SGD 등)에 대해 일관된 개선을 보였으며, Qwen3-8B에서 다국어 전이(중→영)도 확인했습니다.
방법
- 데이터 소스 — 공개 라이브 스트리밍과 숏폼 영상에서 사용자-서비스 제공자 간 상호작용 신호를 마이닝합니다.
- 합성 파이프라인 — Stream은 역할 기반 페르소나(P_u, P_a)와 대화 청사진(B)을 구성하고, RAG로 지식 기반 응답을 생성합니다.
- 구조화 — 각 세션은 (사용자 페르소나, 에이전트 페르소나, 청사진, 대화 히스토리)의 사중항으로 저장되어 요구사항 발굴, 제약 충돌, 협상, 복구 등 현실적 행동을 포함합니다.
한계·조건
- 도메인 범위 — 현재 자동차·레스토랑·호텔 3개 도메인에 한정되며, 다른 도메인으로의 일반화는 추가 검증이 필요합니다.
- 합성 품질 — 자동 평가와 인간 평가에서 긍정적 결과를 얻었으나, 실제 서비스 로그와의 분포 차이는 여전히 존재할 수 있습니다.
- 공개 — 데이터셋과 코드는 GitHub에 공개되어 재현 가능합니다.
편집자 한 줄
공개 스트리밍 데이터라는 저비용 소스로 고품질 대화 데이터를 합성한 점이 인상적입니다. DST 개선폭이 백본에 따라 일관되게 나온다는 점에서 실용성이 있어 보입니다.
- #dialogue-generation
- #data-augmentation
- #streaming
- #dst
- #hit
Byering