【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。
这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
马斯克说到做到开源Grok-1，开源社区一片狂喜。但基于Grok-1做改动or商用，都还有点难题： Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。
拒绝赛博朋克，千呼万唤始出来。为了兑现牛逼，马斯克最近下了血本：Grok-1宣布开源。据官方信息，这是一个参数高达3140亿的混合专家模型，是目前所有开源模型中规模最大的。
特斯拉创始人埃隆·马斯克推出了开源大语言模型Grok-1，该模型参数量高达3140亿，是迄今为止参数量最大的开源大模型。
马斯克说到做到： 旗下大模型Grok现已开源
说到做到，马斯克承诺的开源版大模型 Grok 终于来了！
为了Musk的开源承诺，熬了个夜，结果是果然没让人失望。 我是喜爱Musk大于Altman的（比如咱们的logo等设计，均是跟Grok一样黑白风格），喜欢他的幽默，喜欢他的真性情，喜欢他的性狡黠而守义，尽管Grok并没有那么易用
马斯克官宣：本周将开源自家大模型Grok！在跟OpenAI打官司的关键时刻来这么一手，可以说是成功占领开源的道德高地，方向明确，效果显著。
今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程
