llama.cpp 로컬 MoE 추론 가이드 — GPU 가속과 CPU 오프로딩 최적화

Hugging Face 커뮤니티 게시글에서 llama.cpp를 활용한 로컬 MoE 모델 추론 최적화 방법을 소개합니다. DeepSeek V3, GLM-4, Kimi K2, Qwen 3 MoE 등 대형 MoE 모델을 CPU+GPU로 분산 실행할 때, '항상 활성화'되는 attention·dense FFN·shared expert FFN은 GPU에, routed expert는 CPU에 오프로딩하는 전략이 핵심입니다. 예시 커맨드로 -ngl 999, -t 16, -b 4096 등을 제시했는데, 실제로는 사용자의 VRAM/CPU 메모리 상황에 맞춰 조정이 필요해 보입니다. GGUF 양자화 파일이 RAM+VRAM 합계에 여유 있게 들어가야 한다는 점도 실무자에게 유용한 팁이네요.

• #huggingface
• #llama.cpp
• #moe
• #cpu-inference
• #gpu-acceleration