
运行LIama2得8400万元!最快AI推理芯片成本推算引热议
运行LIama2得8400万元!最快AI推理芯片成本推算引热议这两天,Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片,实现每秒500tokens大模型生成,感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff,让不少人直呼:英伟达要被碾压了……
这两天,Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片,实现每秒500tokens大模型生成,感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff,让不少人直呼:英伟达要被碾压了……
财报发布前两天,英伟达突然冒出来一个劲敌。一家名叫Groq的公司今天在AI圈内刷屏,杀招就一个:快。
英伟达的产能上不来,很大程度上是因为HBM(高带宽内存)不够用了。每一块H100芯片,都会用到6颗HBM。当下,SK海力士、三星供应了90%的HBM,并且技术领先美光整整一个代际。
上周,来自《华尔街日报》的报道,Sam Altman 正在与包括阿联酋政府在内的投资者进行谈判,筹集高达 7 万亿美元的资金,以增加全球半导体芯片的供应。
《纽约时报》援引三位知情人士消息,OpenAI 已经完成一项允许员工出售公司股份的交易。这家旧金山 AI 公司估值也因此水涨船高至 800 亿美元或更高(彭博社报道的估值是 860 亿美元)。
从英伟达的产品路线来看,在未来1-2 年,AI 芯片市场将再次天翻地覆。
英伟达发布了一个对话机器人 ——「Chat with RTX」,面向 GeForce RTX 30 系列和 40 系列显卡用户(至少有 8GB VRAM)。有人开玩笑说,Sam Altman 进军芯片领域,黄仁勋进入聊天机器人的领域,这是 Sam vs Jensen 的时代。
OpenAI宣布要建立价值7万亿美元的AI芯片基础设施,并面临芯片短缺问题。同时,OpenAI每天能创造约1000亿字的内容,超过全球人类的总产量。
OpenAI 的 CEO 山姆・奥特曼(Sam Altman)引领了近期生成式 AI 的大发展。最近,他又有了一个宏伟目标:重塑全球半导体行业。
ChatGPT变懒问题,再次引起众怒。AI与芯片行业分析师Dylan Patel引爆话题:最新版系统提示词添加太多垃圾,难怪与6个月前的表现没法比。