英伟达Mistral AI联袂出击!120亿小模型王者强势登场,碾压Llama 3单张4090可跑
英伟达Mistral AI联袂出击!120亿小模型王者强势登场,碾压Llama 3单张4090可跑GPT-4o mini头把交椅还未坐热,Mistral AI联手英伟达发布12B参数小模型Mistral Nemo,性能赶超Gemma 2 9B和Llama 3 8B。
来自主题: AI技术研报
7660 点击 2024-07-21 00:16
GPT-4o mini头把交椅还未坐热,Mistral AI联手英伟达发布12B参数小模型Mistral Nemo,性能赶超Gemma 2 9B和Llama 3 8B。
小模型,正在成为 AI 巨头的新战场。
尽管有很多初创公司试图用人工智能驱动的搜索来取代当下的搜索引擎,但一家名为 Exa 的初创公司有一个不同的想法:为人工智能打造一个谷歌。创始人 Jeff Wang 和 Will Bryk 认为 Google 为人类做了什么,他们就希望通过 Exa 为 AI 做类似的事情。
英伟达全面转向开源GPU内核模块,历史将再次见证Linux社区开源的力量。
整个市场不再追求大而全,都在走小而精的路线了。
AI侵权又来了……
Mamba模型由于匹敌Transformer的巨大潜力,在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下,这两个架构还未有「一较高低」的机会。最近,英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。
740 TFLOPS!迄今最强 FlashAttention 来了。
芯片巨头AMD刚刚官宣要再做大做强:
大模型训练推理神作,又更新了!