Zero-CoT Probe: LLM 벤치마크 오염 탐지 — CoT 제거로 기억된 데이터 노출

LLM의 추론 능력 평가를 방해하는 데이터 오염(contamination) 문제를 해결하기 위해, Yifan Lan이 제안한 Zero-CoT Probe(ZCP)는 모델의 Chain-of-Thought(CoT) 추론 과정을 의도적으로 제거하여 숨겨진 기억(memorization)을 드러냅니다. 원본 벤치마크와 동형 변형된 참조 데이터셋에서 zero-CoT 성능을 비교해 오염 여부를 판별하며, 오염 신뢰도(Contamination Confidence)라는 정량적 지표로 이진 분류를 넘어선 평가를 제공합니다. 실험 결과, 기존 탐지 방법을 회피하는 간접 오염까지 효과적으로 탐지했으며, 코드는 GitHub에 공개되었습니다.

• #data-contamination
• #benchmark
• #llm
• #chain-of-thought
• #zero-shot