AgentKernelArena: AI 코딩 에이전트 GPU 커널 최적화 벤치마크 — 최대 6.89x 속도 향상

GPU 커널 최적화를 위한 AI 코딩 에이전트의 성능을 평가하는 오픈소스 벤치마크 AgentKernelArena가 공개됐습니다. 196개 태스크로 HIP-to-HIP, Triton-to-Triton 최적화와 PyTorch-to-HIP 변환을 테스트하며, Cursor Agent, Claude Code, Codex Agent 중 최고 설정에서 PyTorch-to-HIP 평균 6.89x, HIP-to-HIP 6.69x, Triton-to-Triton 2.13x의 속도 향상을 기록했습니다. 다만, PyTorch-to-HIP 변환에서는 보지 못한 입력 형태에 대한 일반화 시 정확도가 크게 떨어져 에이전트가 shape-specific 가정을 하드코딩하는 경향이 드러났습니다.

• #gpu-kernel
• #benchmark
• #ai-agents
• #code-generation
• #huggingface