2024年诺贝尔物理学奖揭晓，今年颁给了约翰·霍普菲尔德（John J. Hopfield）和图灵奖得主、AI教父杰弗里·辛顿（Geoffrey E. Hinton），以表彰他们利用人工神经网络进行机器学习的基础发现和发明。
十天前的 Meta Connect 2024 大会上，开源领域迎来了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。两个版本都是纯文本模型，但也具备多语言文本生成和工具调用能力。Meta 表示，这些模型可让开发者构建个性化的、在设备本地上运行的通用应用 —— 这类应用将具备很强的隐私性，因为数据无需离开设备。
近日，机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文，主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。
新浪微博机器学习团队 AI Lab 负责人张俊林，针对OpenAI o1原理进行逆向工程图解。
科学技术的快速发展过程中，机器学习研究作为创新的核心驱动力，面临着实验过程复杂、耗时且易出错，研究进展缓慢以及对专门知识需求高的挑战。近年来，LLM 在生成文本和代码方面展现出了强大的能力，为科学研究带来了前所未有的可能性。然而，如何系统化地利用这些模型来加速机器学习研究仍然是一个有待解决的问题。
KAN的诞生，开启了机器学习的新纪元！而这背后，竟是MIT华人科学家最先提出的实践想法。从KAN到KAN 2.0，这个替代MLP全新架构正在打开神经网络的黑盒，为下一步科学发现打开速通之门。
作为谷歌 DeepMind 机器学习团队的重量级人物，Nando de Freitas 曾共同领导开发出了 Imagen 2、Gato、Genie、Griffin、Lyria 等名噪一时的大模型产品。
企业要用好 LLM 离不开高质量数据。和传统机器学习模型相比，LLM 对于数据需求量更大、要求更高，尤其是非结构化数据。而传统 ETL 工具并不擅长非结构化数据的处理，因此，企业在部署 LLM 的过程中，数据科学家们往往要耗费大量的时间精力在数据处理环节。这一环节既关系到 LLM 部署的效率和质量，也对数据科学家人力的 ROI 产生影响。
该论文作者均来自于华南理工大学马千里教授团队，所在实验室为机器学习与数据挖掘实验室。论文的三位共同第一作者为博士生郑俊豪、硕士生邱圣洁、硕士生施成明，主要研究方向包括大模型和终生学习等，通讯作者为马千里教授（IEEE/ACM TASLP 副主编）。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
