喝点VC｜YC对谈Anthropic预训练负责人：预训练团队也要考虑推理问题，如何平衡预训练和后训练仍在早期探索阶段
喝点VC｜YC对谈Anthropic预训练负责人：预训练团队也要考虑推理问题，如何平衡预训练和后训练仍在早期探索阶段预训练的核心是推动损失函数下降，这是我们一直追求的唯一目标。
来自主题: AI资讯
8381 点击 2025-10-28 09:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
预训练的核心是推动损失函数下降，这是我们一直追求的唯一目标。
近日，来自普渡大学、德克萨斯大学、新加坡国立大学、摩根士丹利机器学习研究、小红书 hi-lab 的研究者联合提出了一种对离散扩散大语言模型的后训练方法 —— Discrete Diffusion Divergence Instruct (DiDi-Instruct)。经过 DiDi-Instruct 后训练的扩散大语言模型可以以 60 倍的加速超越传统的 GPT 模型和扩散大语言模型。
数据集蒸馏是一种用少量合成数据替代全量数据训练模型的技术，能让模型高效又节能。WMDD和GUARD两项研究分别解决了如何保留原始数据特性并提升模型对抗扰动能力的问题，使模型在少量数据上训练时既准确又可靠。
大模型Agent帮你自动操作电脑，理想很丰满，现实却骨感。
自回归（AR）大语言模型逐 token 顺序解码的范式限制了推理效率；扩散 LLM（dLLM）以并行生成见长，但过去难以稳定跑赢自回归（AR）模型，尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。
十月，《纽约时报》发表了题为《The A.I. Prompt That Could End the World》（《那个可能终结世界的 AI 提示词》）的文章。作者 Stephen Witt 采访了多位业内人士：有 AI 先驱，图灵奖获奖者 Yoshua Bengio；以越狱测试著称的 Leonard Tang；以及专门研究模型欺骗的 Marius Hobbhahn。
在一篇论文中，研究人员测试了 11 种 LLM 如何回应超过 11500 条寻求建议的查询，其中许多查询描述了不当行为或伤害。结果发现 LLM 附和用户行为的频率比人类高出 50%，即便用户的提问涉及操纵、欺骗或其他人际伤害等情境，模型仍倾向于给予肯定回应。
在开放研究领域里，苹果似乎一整个脱胎换骨，在纯粹的研究中经常会有一些出彩的工作。这次苹果发布的研究成果的确出人意料：他们用谷歌的 Nano-banana 模型做个了视觉编辑领域的 ImageNet。
如何让一个并不巨大的开源大模型，在面对需要多步检索与复杂逻辑整合的问题时，依然像 “冷静的研究员” 那样先拆解、再查证、后归纳，最后给出可核实的结论？
语言模型遭遇严重的位置偏见，即模型对不同上下⽂位置的敏感度不⼀致。模型倾向于过度关注输⼊序列中的特定位置，严重制约了它们在复杂推理、⻓⽂本理解以及模型评估等关键任务上的表现。