RTP-LLM 是阿里巴巴大模型预测团队开发的高性能 LLM 推理加速引擎。它在阿里巴巴集团内广泛应用，支撑着淘宝、天猫、高德、饿了么等核心业务部门的大模型推理需求。在 RTP-LLM 上，我们实现了一个通用的投机采样框架，支持多种投机采样方法，能够帮助业务有效降低推理延迟以及提升吞吐。
根据官方介绍，Augment Agent 是首个转为大型代码库工作的专业软件工程师设计的 AI 编码助手，上下文支持 200K ，也就是 20 万的 token 啊。
代码截图泄露，满血版o3、o4-mini锁定下周！更劲爆的是，一款据称是OpenAI的神秘模型一夜爆红，每日处理高达260亿token，是Claude用量4倍。奥特曼在TED放话：将推超强开源模型，直面DeepSeek挑战。
在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
大模型聚合平台OpenRouter新推出的Optimus Alpha，已经处理了772亿Token，平均每天超过200亿。并且这个数字还在上升，日Token处理已超过340亿，排名第二，并在Trending榜单上位列第一。
刚刚，xAI 正式上线 Grok 3 API，一次性推出4种模型，以适配不同应用场景，定价策略灵活，用户可按需选择。同日，谷歌、Anthropic等也推出新的定价策略。
推理性能提升的同时，还大大减少Token消耗！
Attention 还在卷自己。
简单的任务，传统的Transformer却错误率极高。Meta FAIR团队重磅推出多token注意力机制（MTA），精准捕捉复杂信息，带来模型性能飞升！
视觉Token可以与LLMs词表无缝对齐了！
