最近，类 o1 模型的出现，验证了长思维链 (CoT) 在数学和编码等推理任务中的有效性。在长思考（long thought）的帮助下，LLM 倾向于探索、反思和自我改进推理过程，以获得更准确的答案。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
最近，一篇研究文章从数学理论上证实了AI模型可以完全模拟神经元和突触的信号，在更强算法、更大算力的加持下，可以精确模拟大脑及其功能系统，在无约束的情况下未来AI百分之一百会超越人类智能，甚至发明创造能力也是如此。
本次量子位MEET 2025智能未来大会上，智谱COO张帆热情分享了智谱大模型的发展、应用、商业化发展、未来方向，以及企业和个人的科技战略构建。
随着Gemini家族的日趋完善、阵容的发展壮大，谷歌大模型将可代表用户完成更多现实工作。
2024年大模型融资火热，全球超4000亿。2024年——大模型创企正与巨额融资深度绑定。仅在2024年最后一个月，就有xAI拿下60亿美元、阶跃星辰的数亿美元、Perplexity AI的5亿美元、智谱AI 30亿元、Liquid AI的2.5亿美元……
GPU新核弹B300，以及附带CPU的超级芯片GB300。 高算力，在产品层面上相比B200在FLOPS上提高50% 大显存，从192GB提升到288GB，也是提高了50%。
《智能涌现》独家获悉，前微软亚洲研究院研究员、阿里达摩院资深技术专家、支付宝中国首席数据官胡云华加入大模型独角兽智谱，担任C端应用“智谱清言”负责人。
12月26日，界面新闻独家获悉，小米正在着手搭建自己的GPU万卡集群，将对AI大模型大力投入。小米大模型团队在成立时已有6500张GPU资源。
o3在超难推理任务ARC-AGI上的成绩，属实给人类带来了不少震撼。 但有人专门研究了它不会做的题之后，有了更有趣的发现—— o3之所以不会做这些题，原因可能不是因为太难，而是题目的规模太大了。
