
32专家MoE大模型免费商用!性能全面对标Llama3,单token推理消耗仅5.28%
32专家MoE大模型免费商用!性能全面对标Llama3,单token推理消耗仅5.28%每个token只需要5.28%的算力,精度就能全面对标Llama 3。
每个token只需要5.28%的算力,精度就能全面对标Llama 3。
在LLM能力突飞猛进的当下,所有研究者似乎都在关注数据、算力、算法等模型开发的各个方面,但OpenAI研究员Jason Wei最近发布的一篇博客文章提醒我们,模型评估的工作同样非常重要。如何开发出优秀的评估测试,对AI能力的发展方向至关重要。
马斯克最近哭穷表示,xAI需要部署10万个H100才能训出Grok 3,影响全球的大模型算力荒怎么解?昨天开源的这款MoE大模型,只用了1/19算力、1/19激活参数,性能就直接全面对标Llama 3-70B!
这一把火,似乎烧得有点太猛烈。
北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan,今起可以生成最长约21秒的视频了!
英特尔AI技术推动各行业进步,展望AIPC前景。
就在刚刚, xAI 官宣拿到了 60 亿美元的 B 轮融资,其估值也一跃达到约 180 亿美元。
AI相关芯片、算力芯片等或成为大基金三期投资的新重点
中国AI资源要靠储备,更要靠开放的生态。
最近几年,随着大语言模型的飞速发展与迭代,科技巨头们都竞相投入巨额财力打造超级计算机(或大规模 GPU 集群)。他们认为,更强大的计算能力是实现更强大 AI 的关键。