AI资讯新闻榜单内容搜索-AI推理

关键词: AI角色,Character.ai,模型训练,Transformer

什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5？

关键词: 小模型,AI数学,AI推理,Mistral-7B,微调

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。

关键词: CPU,AI推理,GPU,Hugging Face,推理大模型,多模态大模型

大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。

关键词: Groq,LPU,AI推理芯片,AI芯片,英伟达

在英伟达市值超过2万亿位居全球第三之后，谁能挑战它赖以生存的GPU芯片？

关键词: Groq,LPU,AI推理芯片,AI芯片,英伟达

2月19日以来，这款LPU持续成为热点，担当起英伟达GPU挑战者的角色。英伟达的主力芯片H100一卡难求，这给Groq公司带来了机会。

关键词: Llama2,AI推理芯片,GPU,Groq

这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒500tokens大模型生成，感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff，让不少人直呼：英伟达要被碾压了……

关键词: 大模型训练,Medusa,AI推理,模型推理

去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。

关键词: AI加速芯片,AI硬件,Sohu,LLM

最近，两位哈佛辍学生共同创立的AI芯片公司，估值已达3400万美元，并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍，而单价吞吐量更是高达140倍。

关键词: FunSearch,AI数学,AI推理

DeepMind的研究团队开发了一款基于大型语言模型的人工智能系统，名为FunSearch，可以在数学和计算机科学中生成新的解。通过迭代中的进化，FunSearch能够解决复杂的数学问题，并发现新的数学知识和算法。这种基于大型语言模型的人工智能系统不仅能超越人类数学家，而且比现有的方法更有效。

关键词: H200,AI芯片,AI硬件

英伟达老黄，带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。