혼자서 프랑스어 LLM을 처음부터 학습한 20살 개발자 — 1080 Ti, 정전 극복기

Hugging Face 커뮤니티에 RDTvlokip가 단독으로 처음부터 프랑스어 LLM을 학습한 과정을 공개했습니다. GTX 1080 Ti 11GB 한 장으로 15M 파라미터 모델을 LLaMA 스타일(RoPE, RMSNorm, SwiGLU, Flash Attention)로 구축했고, 데이터셋 271M 토큰을 직접 수집·정제했습니다. 7가지 크기를 실험한 끝에 Chinchilla 법칙(토큰/파라미터 ≈ 20)에 맞춰 15M으로 결정했네요. 4개월 데이터 준비 후 학습 중 정전이 두 번이나 발생했지만 체크포인트로 복구했다고. LoRA 파인튜닝 대신 전체 파이프라인을 이해하려는 접근이 인상적입니다.

• #hugging-face
• #llm
• #french
• #training
• #community