华人团队终结Token危机：扩散模型数据潜力超自回归三倍
华人团队终结Token危机：扩散模型数据潜力超自回归三倍Token危机真的要解除了吗？ 最新研究发现，在token数量受限的情况下，扩散语言模型的数据潜力可达自回归模型的三倍多。
来自主题: AI资讯
9123 点击 2025-08-14 10:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Token危机真的要解除了吗？ 最新研究发现，在token数量受限的情况下，扩散语言模型的数据潜力可达自回归模型的三倍多。
扩散语言模型（DLMs）是超强的数据学习者。 token 危机终于要不存在了吗？ 近日，新加坡国立大学 AI 研究者 Jinjie Ni 及其团队向着解决 token 危机迈出了关键一步。
用扩散模型写代码，不仅像开了倍速，改起来还特别灵活！ 字节Seed最新发布扩散语言模型Seed Diffusion Preview，这款模型主要聚焦于代码生成领域，它的特别之处在于采用了离散状态扩散技术，在推理速度上表现出色。
扩散语言模型（Diffusion-based LLMs，简称 dLLMs）以其并行解码、双向上下文建模、灵活插入masked token进行解码的特性，成为一个重要的发展方向。
本文主要介绍 xML 团队的论文：Discrete Diffusion in Large Language and Multimodal Models: A Survey。
谁说扩散模型只能生成图像和视频？现在它们能高质量地写代码了，速度还比传统大模型更快！Inception Labs推出基于扩散技术的全新商业级大语言模型——Mercury。
最近，扩散语言模型（dLLM）有点火。现在，苹果也加入这片新兴的战场了。
本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生，导师为李崇轩副教授。
近段时间，已经出现了不少基于扩散模型的语言模型，而现在，基于扩散模型的视觉-语言模型（VLM）也来了，即能够联合处理视觉和文本信息的模型。今天我们介绍的这个名叫 LaViDa，继承了扩散语言模型高速且可控的优点，并在实验中取得了相当不错的表现。
首个用于加速扩散式大语言模型（diffusion-based Large Language Models, 简称 dLLMs）推理过程的免训练方法。