Karpathy, LLM 튜닝 자동화 성공 — '에이전트가 700번 실험, 11% 개선'

Karpathy가 자신의 nanochat 모델에 AI 에이전트를 돌려 하이퍼파라미터 튜닝을 자동화한 결과를 공유했습니다. 에이전트가 700여 번의 실험을 거쳐 validation loss를 개선했고, 'Time to GPT-2'가 2.02시간에서 1.80시간으로 11% 단축됐네요. Karpathy는 '모든 LLM 프론티어 연구소가 이렇게 할 것'이라며, 이는 '최종 보스전'이라고 표현했습니다. 수작업 튜닝에 익숙한 그가 에이전트가 전체 워크플로를 스스로 수행하는 걸 보고 '와일드하다'고 평한 점이 인상적입니다.

• #andrej-karpathy
• #nanochat
• #ai-agents
• #automl
• #llm-training

Andrej Karpathy@karpathy