Karpathy "슬롭이 새나가는데 "그냥 출시" 유혹" — SFT teacher token 논쟁

Andrej Karpathy 가 "슬롭이 개념 공간으로 새나가는데 식별이 점점 어려워지고 '그냥 출시하자'는 유혹이 크다"며 LLM 출력 품질 관리의 어려움을 짚었네요. 그래도 "대부분 학생에게는 SFT teacher token 이 여전히 유용할 것"이라는 평. 최근 모델 출력의 '슬롭' 문제가 화두인 가운데, 실용적 접근을 강조한 발언입니다.

• #karpathy
• #llm
• #alignment
• #sft

Andrej Karpathy@karpathy