今天又得知咱们的老朋友，支付宝推出的智能体开发平台百宝箱，也悄悄接入了 DeepSeek！还一下子直接接入了 DeepSeek-R1 满血版、蒸馏版 32B、蒸馏版 7B、DeepSeek-V3 共四种尺寸。
DeepSeek火了之后，知名科技主播Lex Fridman，找了两位嘉宾，从 DeepSeek 及其开源模型 V3 和 R1 谈到了 AI 发展的地缘政治竞争，特别是中美在 AI 芯⽚与技术出⼝管制上的博弈。5 个小时的对谈，基于「赛博禅心」的翻译版本，我们精选出了5 万字，基本把 DeepSeek 的创新、目前 AI 的算力问题、AI 训练和蒸馏、以及产品落地等都聊透了。建议收藏后仔细阅读。
DeepSeek的含金量还在上升，一个半个周末过去发生这些大事：国家超算互联网平台上线DeepSeek-R1，最高支持671B的满血版。达摩院玄铁芯片成功适配DeepSeek-R1系列蒸馏模型，在RISC-V架构CPU和端侧平台打开新的应用空间。
DeepSeek带火知识蒸馏，原作者现身爆料：原来一开始就不受待见。称得上是“蒸馏圣经”、由Hinton、Oriol Vinyals、Jeff Dean三位大佬合写的《Distilling the Knowledge in a Neural Network》，当年被NeurIPS 2014拒收。
成本不到150元，训练出一个媲美DeepSeek-R1和OpenAI o1的推理模型？！这不是洋葱新闻，而是AI教母李飞飞、斯坦福大学、华盛顿大学、艾伦人工智能实验室等携手推出的最新杰作：s1。
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模型的准确性。迁移学习则通常通过预训练和微调，将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
刚刚发布的豆包大模型1.5，不仅多模态能力全面提升，霸榜多个基准；更难得的是，它在训练过程中从未使用过任何其他模型生成的数据，坚决不走蒸馏「捷径」。
模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。
昨天晚上，DeepSeek 又开源了 DeepSeek-R1 模型（后简称 R1），再次炸翻了中美互联网： R1 遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。 R1 上线 API，对用户开放思维链输出 R1 在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版，小模型则超越 OpenAI o1-mini
