对于大模型的强化学习已在数学推理、代码生成等静态任务中展现出不俗实力，而在需要与开放世界交互的智能体任务中，仍面临「两朵乌云」：高昂的 Rollout 预算（成千上万的 Token 与高成本的工具调用）和极其稀疏的「只看结果」的奖励信号。
为此，北大、UC San Diego 和 BeingBeyond 联合提出一种新的方法——Being-VL 的视觉 BPE 路线。Being-VL 的出发点是把这一步后置：先在纯自监督、无 language condition 的设定下，把图像离散化并「分词」，再与文本在同一词表、同一序列中由同一 Transformer 统一建模，从源头缩短跨模态链路并保留视觉结构先验。
既然后训练这么重要，那么作为初学者，应该掌握哪些知识？大家不妨看看这篇博客《Post-training 101》，可以很好的入门 LLM 后训练相关知识。从对下一个 token 预测过渡到指令跟随； 监督微调（SFT） 基本原理，包括数据集构建与损失函数设计；
1.3千万亿，一个令人咂舌的数字。这就是谷歌每月处理的Tokens用量。据谷歌“宣传委员”Logan Kilpatrick透露，这一数据来自谷歌对旗下各平台的内部统计。那么在中文世界里，1.3千万亿Tokens约2.17千万亿汉字。换算成对话量，一本《红楼梦》的字数在70-80万左右，相当于一个月内所有人和谷歌AI聊了近30亿本《红楼梦》的内容。
什么AI应用公司和方向是OpenAI看好的？这不，OpenAI公布了30家Tokens消耗破万亿的“大金主”。榜单按每家公司接入OpenAI API挂名人的姓氏排序，排名不分先后，初创公司多数由联合创始人亲自挂名，而大型企业则由专门的AI部门负责人负责对接。
当所有人还在为参数内卷时，智能体真正的决胜点已经转向了速度与成本。浪潮信息用两款AI服务器直接给出了答案：一个将token生成速度干到10毫秒以内，一个把每百万token成本打到1元时代。
杜克大学团队发现，扩散大语言模型只需关注少量「中奖」token，就能在推理时把速度提升61-97倍，还能让模型更懂格式、更听话。新策略DPad不训练也能零成本挑出关键信息，实现「少算多准」的双赢。
LightVLA 是一个旨在提升 VLA 推理效率且同时提升性能的视觉 token 剪枝框架。当前 VLA 模型在具身智能领域仍面临推理代价大而无法大规模部署的问题，然而大多数免训练剪枝框架依赖于中间注意力输出，并且会面临性能与效率的权衡问题。
正所谓“得数据者得天下”，这家央企算是把高质量数据集给玩明白了——超过10万亿tokens的通用大模型语料数据，以及覆盖14个关键行业的专业数据集，总存储量高达350TB！
刚刚，Meta FAIR推出了代码世界模型！CWM（Code World Model），一个参数量为32B、上下文大小达131k token的密集语言模型，专为代码生成和推理打造的研究模型。这是全球首个将世界模型系统性引入代码生成的语言模型。
