Papers·2개월 전
PEFT-Arena: PEFT 의 안정성-가소성 딜레마를 평가하는 벤치마크 — orthogonal finetuning 이 최적 Pareto frontier
CUHK SphereLab 팀이 PEFT 방법을 downstream 성능과 사전학습 능력 유지(retention) 두 축에서 평가하는 PEFT-Arena 벤치마크를 제안했습니다. 같은 파라미터 예산에서 orthogonal finetuning 이 가장 좋은 Pareto frontier 를 달성했으며, 망각(forgetting)은 비등각적 표현 왜곡(non-isometric representation distortion)과 관련이 있음을 밝혔습니다. SFT 체크포인트가 최적점을 지나치는 경향이 있어, path-wise rewinding 으로 사후 개선이 가능한 점도 보여줬습니다.
PEFT 방법들은 downstream 정확도만 강조할 뿐 사전학습 능력 유지를 간과해왔는데, 이번 연구는 안정성-가소성 딜레마 관점에서 평가해야 한다고 주장합니다.
핵심 결론
- 벤치마크 — PEFT-Arena 는 5개 PEFT 방법(LoRA, Adapter, Prefix Tuning, (IA)³, OFT)을 4개 downstream 태스크와 7개 일반 능력 벤치(MMLU, HellaSwag 등)로 평가합니다.
- 최적 방법 — 동일 파라미터 예산에서 orthogonal finetuning(OFT)이 downstream 성능과 retention 간 최적 Pareto frontier 를 보여줍니다.
방법
- 안정성-가소성 — PEFT 를 stability(사전학습 능력 유지)와 plasticity(타겟 태스크 적응)의 trade-off 로 정의하고, 두 축을 동시에 측정합니다.
- 기하학적 분석 — weight space 에서 spectral analysis 로 파라미터화가 사전학습 특이값 구조와 상호작용하는 방식을, activation space 에서 retention metric 으로 표현 왜곡 정도를 분석합니다.
- 망각 원인 — 망각은 비등각적 표현 왜곡(non-isometric distortion)과 밀접하며, 이는 특정 PEFT 방법에서 더 두드러집니다.
한계·조건
- 모델 규모 — 실험은 Llama 2 7B 와 13B 에 한정되어 있어, 더 큰 모델에서도 같은 경향이 유지될지는 추가 검증이 필요합니다.
- 태스크 범위 — downstream 태스크는 4개(수학, 코드, 지시 따르기 등)로 제한적이며, 더 다양한 도메인에서의 일반화는 미확인입니다.
- 코드 공개 — PEFT-Arena 벤치마크 코드와 데이터는 공개 예정이라고 밝혔습니다.
편집자 한 줄
PEFT 평가에 retention 을 포함시킨 점은 실용적입니다. OFT 의 우수성은 흥미롭지만, 학습 안정성이나 하드웨어 효율성 측면에서 LoRA 와의 비교도 필요해 보입니다.
- #peft
- #stability-plasticity
- #benchmark
- #cuhk
CUHK SphereLab