斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
来自主题: AI技术研报
7307 点击 2025-09-08 16:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
在多模态大模型的基座上，视觉 - 语言 - 动作（Visual-Language-Action, VLA）模型使用大量机器人操作数据进行预训练，有望实现通用的具身操作能力。
开放词汇识别与分类对于全面理解现实世界的 3D 场景至关重要。目前，所有现有方法在训练或推理过程中都依赖于 2D 或文本模态。这凸显出缺乏能够单独处理 3D 数据以进行端到端语义学习的模型，以及训练此类模型所需的数据。与此同时，3DGS 已成为各种视觉任务中 3D 场景表达的重要标准之一。
为了降低大模型预训练成本，最近两年，出现了很多新的优化器，声称能相比较AdamW，将预训练加速1.4×到2×。但斯坦福的一项研究，指出不仅新优化器的加速低于宣称值，而且会随模型规模的增大而减弱，该研究证实了严格基准评测的必要性。
本文主要介绍来自该团队的最新论文：TRKT，该任务针对弱监督动态场景图任务展开研究，发现目前的性能瓶颈在场景中目标检测的质量，因为外部预训练的目标检测器在需要考虑关系信息和时序上下文的场景图视频数据上检测结果欠佳。
智东西9月1日消息，苹果又公布了大模型研发新进展！ 8月28日，苹果在arXiv发布新论文，介绍新一代多模态基础模型MobileCLIP2及其背后的多模态强化训练机制，同天在GitHub、Hugging Face上开源了模型的预训练权重和数据生成代码。
前些天，DeepSeek 在发布 DeepSeek V3.1 的文章评论区中，提及了 UE8M0 FP8 的量化设计，声称是针对即将发布的下一代国产芯片设计。
Jet-Nemotron是英伟达最新推出的小模型系列（2B/4B），由全华人团队打造。其核心创新在于提出后神经架构搜索（PostNAS）与新型线性注意力模块JetBlock，实现了从预训练Transformer出发的高效架构优化。
近年来，强化学习（Reinforcement Learning, RL）在提升大语言模型（LLM）复杂推理能力方面展现出显著效果，广泛应用于数学解题、代码生成等任务。通过 RL 微调的模型常在推理性能上超越仅依赖监督微调或预训练的模型。
一个小解码器让所有模型当上领域专家！华人团队新研究正在引起热议。 他们提出了一种比目前业界主流采用的DAPT（领域自适应预训练）和RAG（检索增强生成）更方便、且成本更低的方法。