非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1
非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1Mamba 架构的大模型又一次向 Transformer 发起了挑战
来自主题: AI资讯
5405 点击 2024-08-13 17:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Mamba 架构的大模型又一次向 Transformer 发起了挑战
TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。
只是换掉Transformer架构，立马性能全方位提升，问鼎同规模开源模型！
2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。
近年来，基于从头算参考计算的机器学习力场 (MLFF) 的开发取得了巨大进展。虽然实现了较低的测试误差，但由于担心在较长的模拟时间范围内会出现不稳定性，MLFF 在分子动力学 (MD) 模拟中的可靠性正面临越来越多的审查。
一个人，待在家里，“懒散”的有一搭没一搭，训练一个要挑战已经“一统世界”的Transformer 的模型。这听起来足够夸张。
Transformer架构层层堆叠，包含十几亿甚至几十亿个参数，这些层到底是如何工作的？当一个新奇的比喻——「画家流水线」，被用于类比并理解Transformer架构的中间层，情况突然变得明朗起来，并引出了一些有趣的发现。
七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。
逆合成是药物发现和有机合成中的一项关键任务，AI 越来越多地用于加快这一过程。
卖身，AI大模型创企的归宿？