再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升
再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。
来自主题: AI技术研报
9155 点击 2024-06-04 17:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！
Transformer挑战者、新架构Mamba，刚刚更新了第二代：
华南理工大学和香港大学的研究人员在ICML 2024上提出了一个简单而通用的时空提示调整框架FlashST，通过轻量级的时空提示网络和分布映射机制，使预训练模型能够适应不同的下游数据集特征，显著提高了模型在多种交通预测场景中的泛化能力。
在复杂的物理世界中，人型机器人的全身控制一直是个难题，现有的强化学习做出的效果有时会比较抽象。近日，LeCun参与的一项工作给出了基于数据驱动的全新解决方案。
微软发布首个大规模大气基础模型Aurora，可被用于预测和减轻极端天气影响，模型拥有超高的准确率和效率，与如今数值预报系统界的SOTA相比，它的计算速度提高了约5000倍。
在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？
6 月 2 日，英伟达创始人黄仁勋在 Computex 2024（2024 台北国际电脑展）上发表主题演讲，分享了人工智能时代如何助推全球新产业革命，并且展示了最新的 Blackwell 芯片和后续的一系列更新节奏。
在 a16z 给出的按照 MAU 排名的全球 Top50 AI App 榜单中，来自土耳其的 Codeway 和 HubX 两个公司各有三款产品进入了 Top50 当中，除了这 6 款产品，还有 Genie 和 Lisa AI 两款产品也是由土耳其开发者推出的。单论上榜数量，美国开发者排在第一，土耳其敢称第二。
合理选择存储，助推生成式AI应用。麦肯锡研究报告显示，到2030年前，生成式AI有望为全球经济贡献7万亿美元的价值。
一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。
如何突破 Transformer 的 Attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型， vHeat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。
英伟达是今天生成式AI浪潮里最大的赢家，而黄仁勋要告诉世界，这一切跟运气无关，是英伟达预见并用实力创造了今天的一切。
除了OpenAI自己，居然还有别人能用上GPT-4-Base版？？
改进Transformer核心机制注意力，让小模型能打两倍大的模型！
无情戳穿“长上下文”大模型的虚标现象
首个“脑PU”来了！由“16核”类人脑器官（human brain organoids）组成。
研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。
在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
刚刚，老黄又高调向全世界秀了一把：已经量产的Blackwell，8年内将把1.8万亿参数GPT-4的训练能耗狂砍到1/350；英伟达惊人的产品迭代，直接原地冲破摩尔定律；Blackwell的后三代路线图，也一口气被放出。
3D 重建和新视图合成技术在虚拟现实和增强现实等领域有着广泛的应用。NeRF 通过隐式地将场景编码为辐射场，在视图合成上取得了显著的成功。
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。
AlphaFold3的横空出世再次震撼了整个学术界，然而谷歌DeepMind的「不开源」引起学界不满，AlphaFold服务器遭到黑客攻击，开源项目也开始发力。
Anthropic的25岁参谋长自曝因为深感AGI，未来三年自己的工作将被AI取代。她在最近的一篇文章中预言了未来即将要被淘汰的工种。难道说，Claude 3模型已经初现AGI了吗？
通过视觉信息识别、理解人群的行为是视频监测、交互机器人、自动驾驶等领域的关键技术之一，但获取大规模的人群行为标注数据成为了相关研究的发展瓶颈。如今，合成数据集正成为一种新兴的，用于替代现实世界数据的方法，但已有研究中的合成数据集主要聚焦于人体姿态与形状的估计。它们往往只提供单个人物的合成动画视频，而这并不适用于人群的视频识别任务。
机器翻译 (MT) 的最新进展显着提高了各个领域的翻译质量。然而，由于其复杂的语言、比喻表达和文化差异，文学文本的翻译仍然是一个艰巨的挑战。
乘法和排序也有效。
虽然多模态大模型都能挑西瓜了，但理解复杂文档方面还是差点意思。
时空预测技术，迎来ChatGPT时刻。