
Mamba超强进化体一举颠覆Transformer!单张A100跑140K上下文
Mamba超强进化体一举颠覆Transformer!单张A100跑140K上下文【新智元导读】52B的生产级Mamba大模型来了!这个超强变体Jamba刚刚打破世界纪录,它能正面硬刚Transformer,256K超长上下文窗口,吞吐量提升3倍,权重免费下载。
【新智元导读】52B的生产级Mamba大模型来了!这个超强变体Jamba刚刚打破世界纪录,它能正面硬刚Transformer,256K超长上下文窗口,吞吐量提升3倍,权重免费下载。
Mamba时代来了?
“最强”开源大模型之争,又有新王入局:
【新智元导读】就在刚刚,全球最强开源大模型王座易主,创业公司Databricks发布的DBRX,超越了Llama 2、Mixtral和Grok-1。MoE又立大功!这个过程只用了2个月,1000万美元,和3100块H100。
这是迄今为止最强大的开源大语言模型,超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
特斯拉创始人埃隆·马斯克推出了开源大语言模型Grok-1,该模型参数量高达3140亿,是迄今为止参数量最大的开源大模型。
马斯克说到做到: 旗下大模型Grok现已开源
本文探讨了大模型的发展趋势和影响,预测中国基础大模型的数量会逐渐收敛,算力需求将成为关键因素,开源大模型可能难以超过闭源模型,大模型在手机端侧的应用将引发入口之争。
马斯克官宣:本周将开源自家大模型Grok!在跟OpenAI打官司的关键时刻来这么一手,可以说是成功占领开源的道德高地,方向明确,效果显著。
如果说 OpenAI 已经占据了今天闭源大模型生态的一极,那 Meta 无疑是代表开源大模型的另一极。