Transformer八子叛逃谷歌后，又聚齐了OpenAI「十九子」！据爆料，从OpenAI出走的19位科学家，已经纷纷创办初创公司，融资总金额高达80亿美元。
状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。
来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。
自动驾驶中的大模型处理作为当前 AI 领域最为火热的前沿趋势之一，可赋能自动驾驶领域的感知、标注、仿真训练等多个核心环节。同时，也可以有效的提升感知精确度，有利于后续规划控制算法的实施，促进端到端自动驾驶框架的发展。
近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，GPT-3等大模型的参数增长已经超过了GPU内存的增长。在大算力激增的需求下，越来越多行业人士认识到，新的计算架构或许才是算力破局的关键。
AI算命将可以预测人类的意外死亡？丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型，成功预测了意外死亡和性格特点。
在 AI 领域，近年来各个子领域都逐渐向 transformer 架构靠拢，只有文生图和文生视频一直以 diffusion + u-net 结构作为主流方向。diffusion 有更公开可用的开源模型，消耗的计算资源也更少。
几乎是和斯坦福“炒虾洗碗”机器人同一时间，谷歌DeepMind也发布了最新具身智能成果。
