舍弃CUDA编程！CMU等用几十行代码将LLM编译成巨型内核，推理延迟可降6.7倍
舍弃CUDA编程！CMU等用几十行代码将LLM编译成巨型内核，推理延迟可降6.7倍在 AI 领域，英伟达开发的 CUDA 是驱动大语言模型（LLM）训练和推理的核心计算引擎。
来自主题: AI资讯
6215 点击 2025-06-22 12:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在 AI 领域，英伟达开发的 CUDA 是驱动大语言模型（LLM）训练和推理的核心计算引擎。
“量子计算正在到达一个拐点。”
本想练练手合成点数据，没想到却一不小心干翻了PyTorch专家内核！斯坦福华人团队用纯CUDA-C写出的AI生成内核，瞬间惊艳圈内并登上Hacker News热榜。团队甚至表示：本来不想发这个结果的。
好家伙，AI意外生成的内核（kernel），性能比人类专家专门优化过的还要好！
本周三，知名 AI 创业公司，曾发布「全球首个 AI 软件工程师」的 Cognition AI 开源了一款使用强化学习，用于编写 CUDA 内核的大模型 Kevin-32B。
CUDA 迎来 “Python元年”！
斯坦福和普林斯顿研究者发现，DeepSeek-R1生成的自定义CUDA内核，完爆了o1和Claude 3.5 Sonnet，拿下总排名第一。虽然目前只能在不到20%任务上超越PyTorch Eager基线，但GPU编程加速自动化的按钮，已经被按下！
高调亮相的世界首个「AI CUDA工程师」，宣称能让模型训练速度飙升100倍，如今却上演了一场「作弊」闹剧。OpenAI研究员用o3-mini，11秒便发现了内核代码有bug！
英伟达凭借CUDA生态和硬件优势，稳固AI市场地位。
Transformer论文八位作者之一Llion Jones创立的Sakana AI发布重磅成果——全球首个「AI CUDA工程师」！它能将PyTorch代码自动转换为高度优化的CUDA内核，速度比PyTorch原生实现快10-100倍。