E-PMQ: 병합 후 양자화의 신뢰성 문제 해결 — CLIP 8개 태스크 4-bit GPTQ 65.0%→73.6%

홍콩 폴리텍대 연구팀이 모델 병합 후 양자화(PMQ)에서 발생하는 양자화 오차와 병합 오차의 결합 문제를 해결하는 E-PMQ 프레임워크를 제안했습니다. 소스 전문가 가중치를 활용한 레이어별 캘리브레이션과 병합 가중치 고정 기법으로 4-bit GPTQ의 성능을 CLIP-ViT-B/32 8개 태스크 병합에서 65.0%에서 73.6%로, 20개 태스크 ViT-L/14에서는 34.8%에서 76.7%로 끌어올렸습니다. 단, 이 방법은 병합 후 양자화라는 특수 상황에 최적화되어 있어 일반 PTQ보다 오버헤드가 추가됩니다.

• #quantization
• #model-merging
• #clip
• #low-resource
• #polyu