SAE-FT: sparse autoencoder 로 CLIP fine-tuning 의 robustness 저하를 막는 방법 — ImageNet 분포 변화에서 SOTA

CLIP 같은 대규모 vision-language 모델을 downstream task 에 fine-tuning 하면 distribution shift 에 대한 robustness 가 떨어지는 문제를 해결한 방법입니다. 제안된 SAE-FT 는 pre-trained 모델의 visual representation 에 sparse autoencoder 를 학습시켜 의미 있는 feature 를 식별한 뒤, fine-tuning 시 이 feature 의 추가/제거에 페널티를 줘서 representation 변화를 규제합니다. ImageNet 및 distribution shift 벤치마크에서 기존 방법과 동등하거나 더 나은 성능을 보였고, 계산 효율성도 높습니다. 코드는 공개되어 있습니다.

• #clip
• #fine-tuning
• #robustness
• #sparse-autoencoder
• #imagenet