Meta探索大模型记忆层，扩展至1280亿个参数，优于MoE
Meta探索大模型记忆层，扩展至1280亿个参数，优于MoE预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
来自主题: AI技术研报
7002 点击 2025-01-04 14:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
在 2024 年底，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了最新的混合专家（MoE）语言模型 DeepSeek-V3-Base。虽然，目前没有放出详细的模型卡，但官方开源了V3的技术文档PDF。
阔别九月，大家期待的 DeepSeek-VL2 终于来了！DeepSeek-MoE 架构配合动态切图，视觉能力再升级。从视觉定位到梗图解析，从 OCR 到故事生成，从 3B、16B 再到 27B，DeepSeek-VL2 正式开源。
消失一天后的Aurora，正式上线了。一大早，马斯克官宣了Grok集成了自研图像新模型Aurora，MoE架构自回归模型，直接将生成编辑能力一统。在人物肖像生成上，已经逼真到肉眼无法辨别。
11月27日，猎户星空联合聚云科技举办了题为《Data Ready for Al，MoE大模型发布暨商业闭环分享》媒体见面会。猎户星空正式发布了自主研发的Orion-MoE 8×7B大模型，并携手聚云科技推出了基于该大模型的数据服务—AI数据宝AirDS（AI-Ready Data Service）。
近日，来自微软的研究人员开源了使用全新方法训练的MoE大模型，不走寻常路，且编码和数学表现出色。
字节跳动豆包大模型团队于近日提出超连接（Hyper-Connections），一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。
一个是开源，一个是MoE （混合专家模型）。 开源好理解，在大模型火热之后，加入战局的腾讯已经按照它自己的节奏开源了一系列模型，包括混元文生图模型等。
探索更高效的模型架构， MoE是最具代表性的方向之一。 MoE架构的主要优势是利用稀疏激活的性质，将大模型拆解成若干功能模块，每次计算仅激活其中一小部分，而保持其余模块不被使用，从而大大降低了模型的计算与学习成本，能够在同等计算量的情况下产生性能优势。
自去年底以来，时序预测领域正在经历重大转型，从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。