众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。
一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。
Scaling law发展到最后，可能每个人都站在一个数据孤岛上。
首个“脑PU”来了！由“16核”类人脑器官（human brain organoids）组成。
在脑机接口领域取得突破性进展的公司不止Neuralink一家。Precision Neuroscience发布公告称，他们采用与Neuralink不同的技术路径，在人脑上成功放置了4096个电极，打破了去年2048个电极的最高纪录。
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。
AlphaFold3的横空出世再次震撼了整个学术界，然而谷歌DeepMind的「不开源」引起学界不满，AlphaFold服务器遭到黑客攻击，开源项目也开始发力。
刚刚，苹果和OpenAI曝出价值数十亿美元的合作，这也让微软CEO纳德拉直接急眼了！根据内部消息，纳德拉已经紧急约谈了Altman，对新合作可能对微软业务产生的影响表示了担忧。好在，据悉苹果AI Siri跳票至2025年，纳德拉可以暂时先别急。
开放但禁止商用用途。
猫头鹰的大脑约有11.5亿个神经元、1280亿个突触。 全部塞进一个微波炉大小的机箱——就成了世界上最大的神经拟态系统，英特尔Hala Point。
