Mamba超强进化体一举颠覆Transformer!单张A100跑140K上下文
Mamba超强进化体一举颠覆Transformer!单张A100跑140K上下文【新智元导读】52B的生产级Mamba大模型来了!这个超强变体Jamba刚刚打破世界纪录,它能正面硬刚Transformer,256K超长上下文窗口,吞吐量提升3倍,权重免费下载。
搜索
【新智元导读】52B的生产级Mamba大模型来了!这个超强变体Jamba刚刚打破世界纪录,它能正面硬刚Transformer,256K超长上下文窗口,吞吐量提升3倍,权重免费下载。
【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5,推理性能暴涨,支持128k长上下文。最重要的是,Grok-1.5的数学和代码能力大幅提升。
【新智元导读】过去25年,半导体工艺制程不断逼近极限,才有了ChatGPT的诞生。如今世界最强英伟达GPU已有超2080亿个晶体管。台积电大佬预测,未来十年,1万亿晶体管GPU将问世。
DeepMind 这篇论文一出,人类标注者的饭碗也要被砸了吗?
马斯克搞大模型,速度也奇快。
过去一年,从通用大模型的爆发性成长,再到垂直行业大模型与场景化应用的深度融合,人工智能正以前所未有的速度影响甚至改变世界。
8年未见马拉松,但时间到了2024年,hacker house的意义我们找到了。
“最强”开源大模型之争,又有新王入局:
谷歌就此成为了第一家因为训练数据而被罚款的人工智能公司。
【新智元导读】就在刚刚,全球最强开源大模型王座易主,创业公司Databricks发布的DBRX,超越了Llama 2、Mixtral和Grok-1。MoE又立大功!这个过程只用了2个月,1000万美元,和3100块H100。