Karpathy, GPT-2 급 LLM 학습 비용 $100 이하로 낮춰 — 7년간 600배 비용 절감

Andrej Karpathy가 nanochat 프로젝트로 GPT-2 수준의 LLM을 약 $73, 3시간 만에 학습하는 데 성공했다고 발표했습니다. 2019년 OpenAI가 32 TPU v3로 7일간 $43K를 들인 것과 비교하면 600배 비용 절감으로, 연간 약 2.5배씩 효율이 개선된 셈입니다. Flash Attention 3, Muon optimizer 등 최적화 기법이 주효했으며, Karpathy는 'time to GPT-2' 리더보드를 열어 커뮤니티 참여를 유도하고 있습니다.

• #karpathy
• #nanochat
• #gpt-2
• #llm
• #cost-reduction

Andrej Karpathy@karpathy