Papers·4일 전
For-Value: 단일 forward pass 로 LLM/VLM 데이터 가치 평가 — gradient 기반 대비 100x 효율
Wenlong Deng 팀이 LLM/VLM의 데이터 가치 평가를 단일 forward pass 만으로 계산하는 프레임워크 For-Value 를 제안했습니다. 마지막 레이어의 hidden representation 과 prediction error 간 정렬(alignment)이 데이터 가치를 포착한다는 이론적 증명을 바탕으로, closed-form 수식으로 값을 산출해 gradient 기반 방법 대비 수백 배 빠른 배치 처리가 가능합니다. 실험에서 influential data 탐지와 mislabeled data 탐지 모두 gradient 기반 방법과 동등하거나 더 나은 성능을 보였습니다. 단, 이 방법은 pretrained 모델의 표현력에 의존하므로 fine-tuning 이 필요한 태스크에는 적용이 제한될 수 있습니다.
- #data-valuation
- #llm
- #vlm
- #efficiency
- #forward-only
Wenlong Deng