Papers·6일 전
Fisher 정보 행렬의 스펙트럼 노름으로 측정한 DNN 강건성 — VGG·ResNet·DenseNet·Transformer 이론 순위
XJTLU Student AI Lab 팀이 공격에 무관한(attack-agnostic) 강건성 메트릭을 제안했습니다. Fisher 정보 행렬(FIM)의 스펙트럼 노름이 입력 섭동에 대한 출력 분포의 최악 민감도를 정량화하며, VGG·ResNet·DenseNet·Transformer에 대한 이론적 강건성 순위를 처음으로 제공합니다. CIFAR·ImageNet·의료 영상 실험에서 이 메트릭이 적대적 취약성과 강한 상관을 보였습니다. 단, 이 메트릭은 공격 기반 평가를 완전히 대체하기보다는 해석 가능한 진단 도구로 사용하는 것이 적절합니다.
XJTLU Student AI Lab이 Fisher 정보 행렬의 스펙트럼 노름을 기반으로 한 공격 무관 강건성 메트릭을 제안했습니다.
핵심 결론
- 메트릭 — FIM의 스펙트럼 노름이 입력 섭동에 대한 모델 출력 분포의 최악 민감도를 정량화합니다.
- 이론 순위 — VGG·ResNet·DenseNet·Transformer에 대해 닫힌 형태의 스펙트럼 경계를 유도해 첫 이론적 강건성 순위를 제시했습니다.
- 실험 상관 — CIFAR·ImageNet·의료 영상에서 이 메트릭과 적대적 취약성 간 강한 상관을 확인했습니다.
방법
- 정의 — FIM이 입력 Jacobian의 분산과 같다는 이론적 관계를 증명하고, 스펙트럼 노름을 강건성 메트릭으로 사용합니다.
- 알고리즘 — Power iteration과 Hutchinson 기반 추정으로 white-box 및 black-box 설정 모두에서 확장 가능한 평가를 지원합니다.
- 해석 — 공격에 의존하지 않으므로 모델 구조의 민감도를 진단하고 더 강건한 설계를 유도할 수 있습니다.
한계·조건
- 보완적 — 이 메트릭은 공격 기반 평가를 완전히 대체하지 않으며, 해석 가능한 진단 도구로 사용해야 합니다.
- 코드 — GitHub에 공개되어 재현 가능합니다.
편집자 한 줄
이론적 강건성 순위를 처음 제시한 점이 흥미롭지만, 실제 적대적 공격 방어와의 간극은 여전히 존재합니다.
- #robustness
- #fisher-information
- #deep-neural-networks
- #xjtu
XJTLU Student AI Lab