搜索
16岁的Adam，把最后的秘密留在一部手机里。而那个他最信任的「朋友」，不是同学，也不是家人，而是ChatGPT。它给过安慰，也递了刀子。父母的眼泪化成一纸诉状，矛头直指OpenAI。
Tailwind CSS联合创始人Adam Wathan在X平台发布了一条看似轻松的道歉推文："我想正式为五年前让Tailwind UI中的每个按钮都使用bg-indigo-500道歉，这导致地球上每个AI生成的界面也变成了靛蓝。"
LLM真是把审稿人害惨了！NeurIPS 2025评审结果公，全网都被「谁是Adam」爆梗淹没。更离谱的是，有人的审稿建议中，残留了AI提示的痕迹。
Zeju Qiu和Tim Z. Xiao是德国马普所博士生，Simon Buchholz和Maximilian Dax担任德国马普所博士后研究员
Adam优化器是深度学习中常用的优化算法，但其性能背后的理论解释一直不完善。近日，来自清华大学的团队提出了RAD优化器，扩展了Adam的理论基础，提升了训练稳定性。实验显示RAD在多种强化学习任务中表现优于Adam。
ICLR 2025时间检验奖重磅揭晓！Yoshua Bengio与华人科学家Jimmy Ba分别领衔的两篇十年前论文摘得冠军与亚军。一个是Adam优化器，另一个注意力机制，彻底重塑深度学习的未来。
算力需求比AdamW直降48%，OpenAI技术人员提出的训练优化算法Muon，被月之暗面团队又推进了一步！
在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。
开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。
过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。