近日，无问芯穹发起了一次推理系统开源节，连续开源了三个推理工作，包括加速端侧推理速度的 SpecEE、计算分离存储融合的 PD 半分离调度新机制 Semi-PD、低计算侵入同时通信正交的计算通信重叠新方法 FlashOverlap，为高效的推理系统设计提供多层次助力。下面让我们一起来对这三个工作展开一一解读：
在以 transformer 模型为基础的大模型中，键值缓存虽然用以存代算的思想显著加速了推理速度，但在长上下文场景中成为了存储瓶颈。为此，本文的研究者提出了 MILLION，一种基于乘积量化的键值缓存压缩和推理加速设计。
自从DeepSeek带火了蒸馏模型以后，更多人开始关注AI大模型在边缘端的部署。而在过去，TinyML一直也在MCU领域很火热。现在，边缘AI走得更快了，市场也正在走向爆发。
在人工智能迅猛发展的时代，AI 大模型已成为推动科技进步与社会变革的核心力量。回顾 AI 大模型的发展史，不难发现，AI 正逐渐从“快思考”转变为“慢思考”。
随着人工智能技术迅猛发展，大模型（如GPT-4、文心一言等）正逐步渗透至社会生活的各个领域，从医疗、教育到金融、政务，其影响力与日俱增。
多模态大模型（MLLMs）在视觉理解与推理等领域取得了显著成就。然而，随着解码（decoding）阶段不断生成新的 token，推理过程的计算复杂度和 GPU 显存占用逐渐增加，这导致了多模态大模型推理效率的降低。
大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。
“2月16日那一周，感觉全中国的政府企业都在上Deepseek，甚至很多单位原来一张卡都没有，突然就有了DeepSeek满血版。”金山办公Office产研事业部副总经理刘丹说道，“那段时间我认识的大部分领导也都在问，‘你们到底什么时候接，怎么样的节奏’，整个行业都特别火热。”
4月27日，字节跳动正式启动2026届Top Seed大模型顶尖人才校招计划，开放招募30位顶尖应届博士。大约一个月前，字节跳动开始推进一项名为“节节高”的招聘计划吸引年轻人，计划对毕业不到3年的人才进行大面积扩招，如果内推的社招候选人工作年限≤3年，将有额外奖金。
阿里Qwen3凌晨开源，正式登顶全球开源大模型王座！它的性能全面超越DeepSeek-R1和OpenAI o1，采用MoE架构，总参数235B，横扫各大基准。这次开源的Qwen3家族，8款混合推理模型全部开源，免费商用。
