Karpathy, MatX 투자 발표 — LLM 추론 최적화 하드웨어의 새 접근

Andrej Karpathy 가 MatX 의 자금 조달을 축하하며, LLM 추론을 위한 메모리-컴퓨팅 최적화의 중요성을 강조했습니다. 그는 on-chip SRAM 과 off-chip DRAM 의 물리적 차이를 지적하며, inference decode 와 긴 컨텍스트를 동시에 잘 처리할 수 있는 아키텍처가 가장 어렵지만 보상이 크다고 말합니다. MatX 팀은 A++ 급이라며 작게 참여했다고 밝혔네요. NVIDIA 와 Cerebras 의 중간 지점을 노리는 듯한 이 접근, 한 번 봐둘 만합니다.

• #karpathy
• #matx
• #llm
• #inference
• #hardware

Andrej Karpathy@karpathy