搜索
LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。
不用H100，三台苹果电脑就能带动400B大模型。 背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。
什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5？
对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。
大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。
在英伟达市值超过2万亿位居全球第三之后，谁能挑战它赖以生存的GPU芯片？
2月19日以来，这款LPU持续成为热点，担当起英伟达GPU挑战者的角色。英伟达的主力芯片H100一卡难求，这给Groq公司带来了机会。
这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒500tokens大模型生成，感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff，让不少人直呼：英伟达要被碾压了……
去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。
最近，两位哈佛辍学生共同创立的AI芯片公司，估值已达3400万美元，并计划明年交付一款名为「Etched chip」的AI推理加速芯片——其LLM推理性能达到H100的10倍，而单价吞吐量更是高达140倍。