过去一段时间，“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进，预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law（规模定律）最忠实的倡导者，却宣称预训练要终结了、scaling law要失效。由此，引发了大量争议。
在 2024 年的 NeurIPS 会议上，Ilya Sutskever 提出了一系列关于人工智能发展的挑战性观点，尤其集中于 Scaling Law 的观点：「现有的预训练方法将会结束」，这不仅是一次技术的自然演进，也可能标志着对当前「大力出奇迹」方法的根本性质疑。
最引人注目四笔过亿（刀乐）投资，其中三家是依靠AI驱动业务，另外一家也是早就布局AI。还是要感谢生成式AI，2024年又开始有人愿意大笔投资法律科技了！
2024 年 12 月 10-15 日，今年度的 NeurIPS 已在加拿大温哥华成功举办。今年的会议上，我们看到了 Ilya Sutskever 关于预训练即将终结的预测，也看到了引发广泛争议的 MIT 教授 NeurIPS 演讲公开歧视中国学生的事件。
Ilya Sutskever（前 OpenAI 联合创始人兼首席科学家）在前几天召开的 NeurIPS 会议上表示，大模型的预训练已经走到了尽头。而 Noam Brown（OpenAI 研究员，曾带领团队开发出在德州扑克中战胜职业选手的 AI 系统 Pluribus）在近期关于 OpenAI O1 发布的采访中提到，提升 Test-Time Compute 是提升大模型答案质量的关键。
最近，语音人工智能初创公司 ElevenLabs，在他们的 ElevenReader 应用中推出了一个叫做 GenFM 的功能，这个功能能通过我们上传的内容，快速制作一期由两名 AI 对话交流的播客。
继李飞飞、Bengio、何恺明之后，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。
我们距离AGI还有多远？智能体、智能体自动化的5个级别与自主工作的6个level
Google研究院健康AI团队于近日推出了全新的开源模型套件——Health AI Developer Foundations（HAI-DEF）。在本次HAI-DEF的首次发布中，Google推出了三个专注于医疗影像应用的重要模型。首先是CXR Foundation胸部X光模型，其次是Derm Foundation皮肤影像模型，第三个是Path Foundation病理学模型，它基于ViT-S架构
AI做Excel表，现在next level了—— 北大团队ChatExcel最新升级，一句话搞定线性分析，图表、文字总结全都有。
