今天上午，小米发布了其首个开源推理大模型-Xiaomi MiMo。通过 25 T 预训练 + MTP 加速 + 规则化 RL + Seamless Rollout，让 7 B 参数的 MiMo-7B 在数理推理和代码生成上赶超 30 B-32 B 大模型，并完整 MIT 开源全系列与工程链，给端-云一体 AI 落地提供了“以小博大”的新范例。
科技创新的终点，是服务于人。
近日，无问芯穹发起了一次推理系统开源节，连续开源了三个推理工作，包括加速端侧推理速度的 SpecEE、计算分离存储融合的 PD 半分离调度新机制 Semi-PD、低计算侵入同时通信正交的计算通信重叠新方法 FlashOverlap，为高效的推理系统设计提供多层次助力。下面让我们一起来对这三个工作展开一一解读：
在以 transformer 模型为基础的大模型中，键值缓存虽然用以存代算的思想显著加速了推理速度，但在长上下文场景中成为了存储瓶颈。为此，本文的研究者提出了 MILLION，一种基于乘积量化的键值缓存压缩和推理加速设计。
自从DeepSeek带火了蒸馏模型以后，更多人开始关注AI大模型在边缘端的部署。而在过去，TinyML一直也在MCU领域很火热。现在，边缘AI走得更快了，市场也正在走向爆发。
在人工智能迅猛发展的时代，AI 大模型已成为推动科技进步与社会变革的核心力量。回顾 AI 大模型的发展史，不难发现，AI 正逐渐从“快思考”转变为“慢思考”。
随着人工智能技术迅猛发展，大模型（如GPT-4、文心一言等）正逐步渗透至社会生活的各个领域，从医疗、教育到金融、政务，其影响力与日俱增。
多模态大模型（MLLMs）在视觉理解与推理等领域取得了显著成就。然而，随着解码（decoding）阶段不断生成新的 token，推理过程的计算复杂度和 GPU 显存占用逐渐增加，这导致了多模态大模型推理效率的降低。
大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。
“2月16日那一周，感觉全中国的政府企业都在上Deepseek，甚至很多单位原来一张卡都没有，突然就有了DeepSeek满血版。”金山办公Office产研事业部副总经理刘丹说道，“那段时间我认识的大部分领导也都在问，‘你们到底什么时候接，怎么样的节奏’，整个行业都特别火热。”
