近期关于 scaling law 的讨论甚嚣尘上，很多观点认为 scale law is dead. 然而，我们认为，高质量的 “无监督” 数据才是 scaling law 的关键，尤其是教科书级别的高质量的知识语料。此外，尽管传统的语料快枯竭了，但是互联网上还有海量的视频并没有被利用起来，它们囊括了丰富的多种模态的知识，可以帮助 VLMs 更好好地理解世界。
AI训练即将进入语料比拼阶段 Reddit 在过去的 2024 年算得上是容光焕发。这家创立了近 20 年的社交平台，去年 3 月在纽交所完成上市，并在上市后的第三季度实现首次盈利，到目前股票已涨到上市首日开盘价的 350% 左右。
据工业和信息化部网站25日消息，工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会日前印发《制造业企业数字化转型实施指南》。
12月18日，记者从深圳市工业和信息化局了解到，深圳拟出台若干措施，积极建设国家新一代人工智能创新发展试验区和国家人工智能创新应用先导区，打造人工智能先锋城市。其中，在丰富生态要素供给方面，每年发放最高5亿元“训力券”，降低人工智能模型研发和训练成本。同时每年发放最高5000万元“语料券”，促进语料开放共享和交易，推动数据要素市场建设。
生成式AI（GenAI），尤其是以OpenAI的ChatGPT为代表，人们发现，这些大模型在一年多后的性能表现远不及刚发布时那样令人惊艳了。
这样一套组合拳打下去，AI厂商大概率就会乖乖向网站付费了。
在医疗领域中，大语言模型已经有了广泛的研究。然而，这些进展主要依赖于英语的基座模型，并受制于缺乏多语言医疗专业数据的限制，导致当前的医疗大模型在处理非英语问题时效果不佳。
如何处理小众数据，如何让这些模型高效地学习专业领域的知识，一直是一个挑战。斯坦福大学的研究团队最近提出了一种名为EntiGraph的合成数据增强算法，为这个问题带来了新的解决思路。
说好的AI给人类打工呢？ 为了拿到新数据、训练AI大模型，字节等互联网大厂正在亲自下场，以单次300元不等的价格招募“AI录音员”，定制语料库。
如今一场席卷人工智能圈的“石油危机”已经出现，几乎每一家AI厂商都在竭力寻求新的语料来源，但再多的数据似乎也填不满AI大模型的胃口。更何况越来越多的内容平台意识到了手中数据的价值，纷纷开始敝帚自珍。为此，“合成数据”也成为了整个AI行业探索的新方向。
