扩散不死，BERT永生！Karpathy凌晨反思：自回归时代该终结了?
扩散不死，BERT永生！Karpathy凌晨反思：自回归时代该终结了?谷歌遗珠与IBM预言：一文点醒Karpathy，扩散模型或成LLM下一步。
来自主题: AI技术研报
9321 点击 2025-11-05 16:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
谷歌遗珠与IBM预言：一文点醒Karpathy，扩散模型或成LLM下一步。
让模型先解释，再学Embedding！ 来自UIUC、ANU、港科大、UW、TAMU等多所高校的研究人员，最新推出可解释的生成式Embedding框架——GRACE。过去几年，文本表征（Text Embedding）模型经历了从BERT到E5、GTE、LLM2Vec，Qwen-Embedding等不断演进的浪潮。这些模型将文本映射为向量空间，用于语义检索、聚类、问答匹配等任务。
Thinking Machines Lab发布首个产品：Thinker，让模型微调变得像改Python代码一样简单。也算是终于摘掉了“0产品0收入估值840亿”的帽子。Tinker受到了业界的密切关注。AI基础设施公司Anyscale的CEO Robert Nishihara等beta测试者表示，尽管市面上有其他微调工具，但Tinker在“抽象化和可调性之间取得了卓越的平衡”
在移动计算时代，将高效的自然语言处理模型部署到资源受限的边缘设备上面临巨大挑战。这些场景通常要求严格的隐私合规、实时响应能力和多任务处理功能。
最近，Mamba 作者之一 Albert Gu 又发新研究，他参与的一篇论文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一个分层网络 H-Net，其用模型内部的动态分块过程取代 tokenization，从而自动发现和操作有意义的数据单元。
“Grok”一词不是马斯克原创，而是源于科幻作家罗伯特·海因莱因 (Robert A. Heinlein) 1961年的经典小说《异乡异客》(Stranger in a Strange Land)。在小说中，“Grok”是一个火星词汇，其含义远超“理解”，它代表着一种深刻、直观、感同身受的领悟，一种与被理解对象融为一体的境界。
新增 Qwen3-0.6B 在 Ag_news 数据集 Zero-Shot 的效果。新增 Qwen3-0.6B 线性层分类方法的效果。
我们发现，当模型在测试阶段花更多时间思考时，其推理表现会显著提升，这打破了业界普遍依赖预训练算力的传统认知。
梵蒂冈宣布，美国红衣主教Robert Prevost正式当选新任教皇。有趣的是，在一次预测中，AI却完全完全漏掉了他！
近日，在红杉资本主办的 AI Ascent 上，OpenAI 研究科学家 Dan Roberts 做了主题为「接下来的未来 / 扩展强化学习」的演讲，其上传到 YouTube 的版本更是采用了一个更吸引人的标题：「9 年实现 AGI？OpenAI 的 Dan Roberts 推测将如何模拟爱因斯坦。」