AI资讯新闻榜单内容搜索-Mamba

关键词: Transformer,AI框架,Mamba 2,模型训练

自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

Transformer挑战者、新架构Mamba，刚刚更新了第二代：

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？

关键词: Mamba,Transformer,AI框架,AI视频,模型训练,Video Mamba Suite

探索视频理解的新境界，Mamba 模型引领计算机视觉研究新潮流！传统架构的局限已被打破，状态空间模型 Mamba 以其在长序列处理上的独特优势，为视频理解领域带来了革命性的变革。

关键词: Mamba,MLLM,模型权重,Transformer,GPT-4

近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。

关键词: Megalodon,Transformer,AI架构,AI学术,模型训练

继Mamba之后，又一敢于挑战Transformer的架构诞生了！

关键词: Mamba,Transformer,Transformer,AI框架,AI学术,模型训练

精彩精彩，第一个把爆火Mamba架构真正扩展到足够大的工作来了。 520亿参数，还是Mamba+Transformer混合架构。 它的名字叫Jamba。

关键词: Mamba,混合大模型,开源大模型,Transformer,token

【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。

关键词: Mamba,混合大模型,开源大模型,Transformer,token

Mamba时代来了？

关键词: CNN,Transformer,Uniformer,视频理解技术,视频AI

视频理解因大量时空冗余和复杂时空依赖，同时克服两个问题难度巨大，CNN 和 Transformer 及 Uniformer 都难以胜任，Mamba 是个好思路，让我们看看本文是如何创造视频理解的 VideoMamba。