深度｜外媒评价最值得关注的9家机器人初创
深度｜外媒评价最值得关注的9家机器人初创Transformer——支撑像 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 这样的聊天机器人的基础 AI 技术——正在帮助机器人更快地学习。
来自主题: AI资讯
6568 点击 2024-12-30 10:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Transformer——支撑像 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 这样的聊天机器人的基础 AI 技术——正在帮助机器人更快地学习。
研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re-ID、跨模态Re-ID以及特殊Re-ID场景，提出了Transformer基线UntransReID，设计动物Re-ID的标准化基准测试，为未来Re-ID研究提供新手册。
天啦撸！！AI想出来的idea，还真有人写成论文了。甚至预印本arXiv、博客、代码全都有了。今年8月，Sakana AI（由Transformer论文8位作者的最后一位Llion Jones创业成立）这家公司推出了史上首位“AI科学家”，且一登场就一口气生成了十篇完整学术论文。
AI如何颠覆生物科技？ AI正在入侵科学界，特别是生物科技方向。 瑞典皇家科学院在2024年10月宣布了当年诺贝尔化学奖的获奖者，出乎意料的是—— AI又是大赢家。
Mamba 这种状态空间模型（SSM）被认为是 Transformer 架构的有力挑战者。近段时间，相关研究成果接连不断。而就在不久前，Mamba 作者 Albert Gu 与 Karan Goel、Chris Ré、Arjun Desai、Brandon Yang 一起共同创立的 Cartesia 获得 2700 万美元种子轮融资。
Transformer模型自2017年问世以来，已成为AI领域的核心技术，尤其在自然语言处理中占据主导地位。然而，关于其核心机制“注意力”的起源，学界存在争议，一些学者如Jürgen Schmidhuber主张自己更早提出了相关概念。
几个小时前，著名 AI 研究者、OpenAI 创始成员之一 Andrej Karpathy 发布了一篇备受关注的长推文，其中分享了注意力机制背后一些或许少有人知的故事。
无需Transformer，简单滤波器即可提高时间序列预测精度。 由国家信息中心、牛津大学、北京理工大学、同济大学、中国科学技术大学等机构的团队提出了一个FilterNet。 目前已被NeurlPS 2024接收。
一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
北京大学研究团队开发的FAN模型能有效捕捉数据中的周期性模式，相比传统模型在多项任务中表现出色，同时降低了参数量和计算量，增强了对周期性特征的建模能力，应用潜力广泛。