自回归（AR）范式凭借将语言转化为离散 token 的核心技术，在大语言模型领域大获成功 —— 从 GPT-3 到 GPT-4o，「next-token prediction」以简单粗暴的因果建模横扫语言领域。
自回归模型，首次生成2048×2048分辨率图像！来自Meta、西北大学、新加坡国立大学等机构的研究人员，专门为多模态大语言模型（MLLMs）设计的TokenShuffle，显著减少了计算中的视觉Token数量，提升效率并支持高分辨率图像合成。
最近，北京大学陈宝权教授带领团队在三维形状生成和三维数据对齐方面取得新的突破。在三维数据生成方面，团队提出了3D自回归模型新范式，有望打破3D扩散模型在三维生成方面的垄断地位。
视频生成领域，又出现一位重量级开源选手。
新国产AI视频生成模型横空出世，一夜间全网刷屏。Magi-1，首个实现顶级画质输出的自回归视频生成模型，模型权重、代码100%开源。整整61页的技术报告中还详细介绍了创新的注意力改进和推理基础设施设计，给人一种视频版DeepSeek的感觉。
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。
「一位顶尖科学家，有数千亿美元的资源，却仍然能把Meta搞砸了！」最近，圈内对LeCun的埋怨和批评，似乎越来越压不住了。有人批评说，Meta之所以溃败，LeCun的教条主义就是罪魁祸首。但LeCun却表示，自己尝试了20年自回归预测，彻底失败了，所以如今才给LLM判死刑！
基于Transformer的自回归架构在语言建模上取得了显著成功，但在图像生成领域，扩散模型凭借强大的生成质量和可控性占据了主导地位。
在人工智能技术日新月异的今天，语音合成（TTS）领域正经历着一场前所未有的技术革命。最新一代文本转语音系统不仅能够生成媲美真人音质的高保真语音，更实现了「只听一次」就能完美复刻目标音色的零样本克隆能力。
北京大学团队继VARGPT实现视觉理解与生成任务统一之后，再度推出了VARGPT-v1.1版本。该版本进一步提升了视觉自回归模型的能力，不仅在在视觉理解方面有所加强，还在图像生成和编辑任务中达到新的性能高度
