Karpathy "LLMs overfit to context" — RAG bias 신호 분석

Karpathy가 모든 LLM이 컨텍스트에 과적합하는 경향을 지적하며 "RAG로 들어온 정보에 지나치게 의존하는 근본적 편향"을 추측했다. 이는 단순한 구현 문제가 아니라 훈련 데이터 분포에서 비롯된 구조적 특성일 수 있다는 신호. RAG 기반 제품(예: 검색 증강 생성)의 신뢰성에 근본적 의문을 제기하는 발언.

• #karpathy
• #llm
• #rag
• #bias

Andrej Karpathy@karpathy