Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。
大数据巨头Databricks与哥伦比亚大学最新研究发现，在数学和编程任务上，LoRA干不过全量微调。
当计算预算低时，重复使用高质量数据更好；当不差钱时，使用大量数据更有利。
前几天，普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型，论文提出构建完全可微的MoE模型，是一种预训练自回归语言模型的新方法。
大语言模型可谓是迄今为止对人类行为最大的建模，如何借助大语言模型工具，让科技发展更好地应用到真实人类社会中去？从哈佛物理系到大语言模型结合社会学和经济学的研究，朱科航的思考路径，聚焦在对人类行为的深度学习和理解。在开始今天阅读之前，大家不妨先猜一猜，大语言模型之前人类应用最广的 TOP2 机器学习是什么？Enjoy
本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。
在线和离线对齐算法的性能差距根源何在？DeepMind实证剖析出炉
“Scaling Law不是万金油”——关于大模型表现，华为又提出了新理论。
近年来，定制化的人物生成技术在社区中引起了广泛关注。
谷歌表示，Gemini 1.5 相比 Claude 3.0 和 GPT-4 Turbo 实现了代际提升。
