在大模型浪潮中，训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战，尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战，稀疏模型，如专家混合模型（MoE），已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」，提供了一种经济上更可行的替代方案，有可能以极低的资源需求达到甚至超过密集型模型的性能。
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。
在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
机器翻译 (MT) 的最新进展显着提高了各个领域的翻译质量。然而，由于其复杂的语言、比喻表达和文化差异，文学文本的翻译仍然是一个艰巨的挑战。
LLM有记忆能力吗？有，也没有。虽然ChatGPT聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。
刚刚，谷歌DeepMind、JHU、牛津等发布研究，证实GPT-4的心智理论已经完全达到成年人类水平，在更复杂的第6阶推理上，更是大幅超越人类！此前已经证实，GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上，人类是彻底被LLM甩在后面了。
第一批AI音乐的听众群，正在Suno的社区中被培养出来。
以科技伦理视角，应对不确定性的底线。
即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。
由业内大佬Amnon Shashua创立的Mentee Robotics，突然放出大招，将AI的能力嵌入到机器人的各个层面，实现了与世界的动态交互。
