Papers·1주 전
Mahalanobis cosine similarity, 선형 프로브 비교의 이론적 기반 — OOD AUROC 와 R² 0.98 선형 관계 증명
Ying et al. (2026) 연구에 따르면, Mahalanobis cosine similarity (MCS) 가 선형 프로브 간 비교에서 Euclidean cosine similarity 보다 이론적으로 더 타당하며, OOD AUROC 와 MCS 사이에 R² 0.98의 선형 관계가 성립함을 증명했습니다. 이는 클래스가 균형 잡히고 투영이 가우시안일 때 두 지표가 SNR 의 시그모이드 함수로 표현되기 때문입니다. 단, 이 선형성이 깨지는 조건도 이론적으로 규명되어 실험으로 검증되었습니다.
Mahalanobis cosine similarity (MCS) 가 선형 프로브 비교에서 OOD 성능을 예측하는 이론적 근거를 제시한 논문입니다.
핵심 결론
- 선형 관계 — 프로브의 MCS 와 OOD AUROC 가 R² 0.98 수준으로 선형 상관을 보입니다.
- 일반성 — 이 관계는 모델, 레이어, 개념 도메인을 넘어 일관되게 관찰됩니다.
방법
- 이론 증명 — 균형 클래스와 가우시안 투영 조건에서 OOD AUROC 와 MCS 가 모두 SNR 의 시그모이드 함수임을 보여 선형성을 유도했습니다.
- 실험 검증 — 이론이 예측하는 선형성 붕괴 조건을 실제 데이터로 확인했습니다.
한계·조건
- 가정 — 증명은 클래스 균형과 가우시안 투영을 가정하므로, 실제 분포가 크게 벗어나면 선형성이 약해질 수 있습니다.
- 적용 범위 — 선형 프로브에 한정되며, 비선형 프로브나 다른 해석 기법에는 직접 적용되지 않습니다.
편집자 한 줄
MCS 가 단순한 유사도 측정을 넘어 OOD 성능 예측 도구로도 쓸 수 있다는 점이 흥미롭습니다. 다만 가우시안 가정이 실제 환경에서 얼마나 강건한지는 추가 연구가 필요해 보입니다.
- #interpretability
- #linear-probe
- #ood-detection
- #mahalanobis
- #cosine-similarity
Zhuofan Josh Ying