PreScam — 11,573건의 대화형 사기 데이터셋, LLM은 사기 진행을 예측하지 못한다

Notre Dame 팀이 실제 신고 데이터를 기반으로 11,573건의 대화형 사기 인스턴스를 포함한 PreScam 벤치마크를 공개했습니다. 사기 킬 체인에 따라 계층적으로 주석을 달고, 실시간 종료 예측과 사기꾼 행동 예측 두 태스크에서 모델을 평가한 결과, supervised 인코더가 zero-shot LLM보다 종료 예측에서 훨씬 우수했으며, LLM은 표면적 유창성과 달리 위험도 추적 및 조작 전개 이해에는 한계를 보였습니다.

• #scam-detection
• #benchmark
• #llm-evaluation
• #conversational-ai
• #notre-dame