刚刚！华为首个开源大模型来了
刚刚！华为首个开源大模型来了刚刚，华为正式宣布开源盘古 70 亿参数的稠密模型、盘古 Pro MoE 720 亿参数的混合专家模型（参见机器之心报道：华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一 ）和基于昇腾的模型推理技术。
来自主题: AI资讯
7973 点击 2025-06-30 09:19
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
刚刚，华为正式宣布开源盘古 70 亿参数的稠密模型、盘古 Pro MoE 720 亿参数的混合专家模型（参见机器之心报道：华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一 ）和基于昇腾的模型推理技术。
华为正将「根深」的自研能力，转化为赋能千行万业智能化升级的「叶茂」。
你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译、甚至帮医生看 CT 片，这些能力背后离不开一个默默工作的 "超级大脑工厂"——AI 算力集群。
最近，华为在MoE训练系统方面，给出了MoE训练算子和内存优化新方案：三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%。
孙子兵法有云：“故其疾如风，其徐如林”，意指在行进迅速时，如狂风飞旋；而在行进从容时，如森林徐徐展开。
现在，请大家一起数一下“1”、“2”。OK，短短2秒钟时间，一个准万亿MoE大模型就已经吃透如何解一道高等数学大题了！而且啊，这个大模型还是不用GPU来训练，全流程都是大写的“国产”的那种。
Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。
LLM发展到今天，下一步该往哪个方向探索？
大模型巨无霸体量，让端侧部署望而却步？华为联手中科大提出CBQ新方案，仅用0.1%的训练数据实现7倍压缩率，保留99%精度。
在今年 2 月的 DeepSeek 开源周中，大模型推理过程中并行策略和通信效率的深度优化成为重点之一。在今年 2 月的 DeepSeek 开源周中，大模型推理过程中并行策略和通信效率的深度优化成为重点之一。