从大规模网络爬取、精细过滤到去重技术，通过FineWeb的技术报告探索如何打造高质量数据集，为大型语言模型（LLM）预训练提供更优质的性能。
让语言模型「轻装上阵」。
不使用外部工具也能让大语言模型（LLMs）实现严谨可信的推理，新国立提出 SymbCoT 推理框架：结合符号化逻辑（Symbolic Logical）表达式与思维链，极大提升推理质量，鲁棒性与可信度。
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。
研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。
在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
时空预测技术，迎来ChatGPT时刻。
3D生成也有自个儿的人工评测竞技场了～ 来自复旦大学和上海AI lab的研究人员搞了个3DGen-Arena，和大语言模型的Chatbot-Arena、GenAI-Arena等一脉相承，要让大伙儿对3D生成模型来一场公开、匿名的评测
随着大语言模型（LLM）的快速发展，其在文本生成、翻译、总结等任务中的应用日益广泛。如微软前段时间发布的Copilot+PC允许使用者利用生成式AI进行团队内部实时协同合作，通过内嵌大模型应用，文本内容可能会在多个专业团队内部快速流转，对此，为保证内容的高度专业性和传达效率，同时平衡内容追溯、保证文本质量的LLM水印方法显得极为重要。
