大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手
大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
来自主题: AI技术研报
4597 点击 2024-10-14 10:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
借助AI工具，研究人员有更多方法来快速筛选总结研究文献，他们又是如何正确/谨慎使用这些AI工具的？
今年的诺贝尔物理学奖颁给了两位享誉盛名的 AI 研究者 John J. Hopfield 和 Geoffrey E. Hinton，这确实让很多人感到意外。
00后国人一作登上Nature，这篇大模型论文引起热议。
AI 设计芯片的新纪元 近日，谷歌 DeepMind 在 Nature 上正式公布了其最新的芯片设计算法 AlphaChip，该方法致力于加速和优化计算机芯片的开发，已经历经多款 TPU 的产品考验，可在短短数小时内完成人类专家需要数周甚至数月的芯片布局设计。
2022年，AI大牛Ilya Sutskever曾预测：「随着时间推移，人类预期和AI实际表现差异可能会缩小」。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
2020 年，谷歌发表了预印本论文《Chip Placement with Deep Reinforcement Learning》，介绍了其设计芯片布局的新型强化学习方法。后来在 2021 年，谷歌又发表在 Nature 上并开源了出来。
谷歌的AlphaChip，几小时内就能设计出芯片布局，直接碾压人类专家！这种超人芯片布局，已经应用在TPU、CPU在内的全球硬件中。人类设计芯片的方式，已被AI彻底改变。
“通用人工智能（AGI）的设计和开发，需要进行根本性改变。” 人工智能（AI）模型的参数规模越大，生成的答案就越准确？就更加可信？ 还真不一定！