AdaPreLoRA: LoRA 최적화 통합 프레임워크와 새로운 옵티마이저 — GPT-2, Mistral-7B, Qwen2-7B에서 경쟁력

LoRA의 제너레이터 맵의 야코비안이 rank-deficient하여 기존 옵티마이저가 불완전한 역문제를 푸는 문제를 통합 프레임워크로 정리하고, Adafactor의 대각 Kronecker 전제조건자를 W-공간에서 사용한 후 H_t-가중 불균형을 최소화하는 인자-공간 해를 선택하는 AdaPreLoRA를 제안했습니다. GPT-2, Mistral-7B, Qwen2-7B 등에서 기존 LoRA 옵티마이저와 경쟁하거나 개선된 성능을 보였으며, 메모리는 LoRA 옵티마이저 수준을 유지합니다.

• #lora
• #optimization
• #adaprelora
• #efficient-finetuning