2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。
IPA 已经成了现代智能手机不可或缺的标配，近期的一篇综述论文更是认为「个人 LLM 智能体会成为 AI 时代个人计算的主要软件范式」。
华为盘古系列，带来架构层面上新！量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。
近日，来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构，尝试来构建更高效的大模型架构。
在即将过去的2023年里，“大模型”无疑是最能挑动神经的话题，AI还在进化但已经成为显学。“百模大战”让很多创业项目的估值水涨船高，行业直接进入大厂竞争时代。
2022 年 11 月，ChatGPT 横空出世。至今不过短短十三个月，世界就已经因它和其它大模型发生了翻天覆地的变化。在现如今的互联网上，我们能看到大模型生成的无数文本、图片、视频乃至代码和应用软件。尤其是在软件开发方面，使用 AI 的开发者的效率和质量可以远远胜过不使用 AI 的开发者。
有结构化推理和先验知识，智能体变得更加通用了。
从低清图像中提取认知特征，这样的超分辨率才更真实。
没想到，在ChatGPT爆火后的一年里，竟然出现了一个隐藏“Boss”——量子位获悉，百度、360等互联网大厂均已开始基于昇腾部署AI模型；而知乎、新浪、美图这样全速推进AI业务的公司，背后同样出现了华为云昇腾AI云服务的身影。
