Hugging Face, Small Language Model 개요 공개 — 1M~10B 파라미터 범위, 지식 증류·프루닝 기법 소개

Hugging Face 커뮤니티 블로그에 SLM(Small Language Model) 종합 개요가 올라왔습니다. SLM은 1M~10B 파라미터 범위로, LLM 대비 1/100 수준의 크기에서도 텍스트 생성·요약·번역·QA 같은 핵심 NLP 기능을 유지합니다. 모델 경량화는 지식 증류(knowledge distillation)와 프루닝(pruning) 기법을 주로 사용하며, 모바일·엣지 디바이스에서의 실용성에 초점을 맞췄습니다. '10B도 작다고 보기 어렵다'는 실무자 시각이 담긴 점이 흥미롭습니다.

• #hugging-face
• #small-language-models
• #knowledge-distillation
• #pruning
• #edge-ai