早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
迄今，全球超 200 个模型基于来自 OpenBMB 开源社区的 Ultra Series 数据集（面壁 Ultra 对齐数据集）对齐，数据集包括 UltraFeedback 和 UltraChat，共计月均下载量超 100 万。
GraphEdit方法可以有效地去除图网络中的噪声连接，还能从全局视角识别节点间的依赖关系，在不同的实验设置中都被验证为有效且稳健。
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。
前段时间，种子轮融资3000万美元的日本公司Sakana AI，因为众多亮眼标签，受到很多关注——谷歌科学家、硅谷原班人马、总部扎根东京、小模型……
随着 Sora 的爆火，人们看到了 AI 视频生成的巨大潜力，对这一领域的关注度也越来越高。
北大团队联合兔展发起了一项Sora复现计划——Open Sora。
Reddit和OpenAI及谷歌，竟有着如此错综复杂的关系？最近，Reddit和谷歌双双官宣了一项6000万美元的合作协议，Reddit的数据将帮助谷歌训练AI模型。巧的是，Altman正是Reddit股东之一。
Google DeepMind首席执行官Hassabis最近在接受WIRED采访时表示，AI技术现在还有很大的改进空间，还远没有到只能拼算力的时候。谷歌的优势在于科研能力，未来智能体将改变AI的格局。
没想到，AI要是“够废”，也能爆火全网。一个“什么问题都回答不了”的AI，这几天成了圈内新星。Reddit、HackerNews上讨论热度持续升高。
