今年的诺贝尔物理学奖颁给了两位享誉盛名的 AI 研究者 John J. Hopfield 和 Geoffrey E. Hinton，这确实让很多人感到意外。
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton，另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer，从注意力模块入手，实现了Transformer的核心能力提升。
诺贝尔物理学奖公布第二天，争议依然未平息。诺奖官号都被愤怒的网友冲了：AI不是物理学！Hopfield网络和反向传播算法究竟与物理学有何关系？这要从Hinton和Ilya 12年前的那件事说起。
2024年诺贝尔物理学奖揭晓，今年颁给了约翰·霍普菲尔德（John J. Hopfield）和图灵奖得主、AI教父杰弗里·辛顿（Geoffrey E. Hinton），以表彰他们利用人工神经网络进行机器学习的基础发现和发明。
近日，来自 CMU 的 Catalyst Group 团队发布了一款 PyTorch 算子编译器 Mirage，用户无需编写任何 CUDA 和 Triton 代码就可以自动生成 GPU 内核，并取得更佳的性能。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
在这场访谈中，Jeff Dean讲了一些有趣的往事。
AI教母李飞飞的创业公司World Labs，正式官宣启动！
用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
