Mamba写代码真的超越Transformer！原始论文入选顶流新会议
Mamba写代码真的超越Transformer！原始论文入选顶流新会议“欧洲OpenAI”和“Transformer挑战者”强强联合了！
来自主题: AI资讯
9750 点击 2024-07-17 19:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
“欧洲OpenAI”和“Transformer挑战者”强强联合了！
MoE已然成为AI界的主流架构，不论是开源Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。最近，谷歌DeepMind提出了全新的策略PEER，可将MoE扩展到百万个专家，还不会增加计算成本。
李世石对抗AlphaGo失利，AI影响其围棋事业和观念。
最近，多个机构学者合著的一篇研究为AI的规模化指了一条新路：物理神经网络（PNN），这一新兴的前沿领域还鲜少有人涉足，但绝对值得深耕！AI模型再扩展1000倍的秘密可能就藏在这里。
OpenAI 在人工智能领域的领头羊地位家喻户晓。其产品聊天机器人 ChatGPT 系列、文生图 DALL・E 系列、文生视频 Sora 等都被誉为生产力提升的超强助手
Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。
最近，新加坡国立大学联合南洋理工大学和哈工深的研究人员共同提出了一个全新的视频推理框架，这也是首次大模型推理社区提出的面向视频的思维链框架（Video-of-Thought， VoT）。视频思维链VoT让视频多模态大语言模型在复杂视频的理解和推理性能上大幅提升。该工作已被ICML 2024录用为Oral paper。
创始人阿里安娜·赫芬顿 (Arianna Huffington) 表示：“重要的是AI从根本上，为我们改善健康和延长寿命。”
随着人工智能和大型模型技术的迅猛发展，检索增强生成（Retrieval-Augmented Generation, RAG）已成为大型语言模型生成文本的一种主要范式。
这几年，人们都在谈论大模型。特别是在 Scaling Law 的指导下，人们寄希望于将更大规模的数据用于训练，以无限提升模型的智能水平。在中国，「数据」作为一种与土地、劳动力、资本、技术并列的生产要素，价值越来越被重视。