Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。
LLM发展到今天，下一步该往哪个方向探索？
在“华为系”团队操盘下，智元机器人表现出不同于创业公司的风格和打法。不少行业人士对我们形容其“用运营大公司的方式创业”、“从DayOne就开启全要素竞争”。
大模型巨无霸体量，让端侧部署望而却步？华为联手中科大提出CBQ新方案，仅用0.1%的训练数据实现7倍压缩率，保留99%精度。
刚刚，全球规模最大的单细胞基础大模型来了，而且是纯国产！近日，中山大学杨跃东教授团队联合重庆大学、华为、新格元生物科技，研发单细胞基础大模型CellFM，成果发表在Nature Communications上。
在今年 2 月的 DeepSeek 开源周中，大模型推理过程中并行策略和通信效率的深度优化成为重点之一。在今年 2 月的 DeepSeek 开源周中，大模型推理过程中并行策略和通信效率的深度优化成为重点之一。
刚刚，昇腾两大技术创新，突破速度瓶颈重塑AI推理。FusionSpec创新的框架设计配合昇腾强大的计算能力，将投机推理框架耗时降至毫秒级，打破延迟魔咒。OptiQuant支持灵活量化，让推理性价比更高。
要问最近哪个模型最火，混合专家模型（MoE，Mixture of Experts）绝对是榜上提名的那一个。
部署超大规模MoE这件事，国产芯片的推理性能，已经再创新高了—— 不仅是“英伟达含量为0”这么简单，更是性能全面超越英伟达Hopper架构！
自回归（AR）范式凭借将语言转化为离散 token 的核心技术，在大语言模型领域大获成功 —— 从 GPT-3 到 GPT-4o，「next-token prediction」以简单粗暴的因果建模横扫语言领域。
