从大规模网络爬取、精细过滤到去重技术，通过FineWeb的技术报告探索如何打造高质量数据集，为大型语言模型（LLM）预训练提供更优质的性能。
让语言模型「轻装上阵」。
极限量化，把每个参数占用空间压缩到1.1bit！
DeepMind发表了一篇名为「To Believe or Not to Believe Your LLM」的新论文，探讨了LLM的不确定性量化问题，通过「迭代提示」成功将LLM的认知不确定性和偶然不确定性解耦。研究还将新推导出的幻觉检测算法应用于Gemini，结果表明，与基线方法相比，该方法能有效检测幻觉。
大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。
一夜之间，全球最强开源模型再次易主。万众瞩目的Qwen2-72B一出世，火速杀进开源LLM排行榜第一，美国最强开源模型Llama3-70B直接被碾压！全球开发者粉丝狂欢：果然没白等。
不使用外部工具也能让大语言模型（LLMs）实现严谨可信的推理，新国立提出 SymbCoT 推理框架：结合符号化逻辑（Symbolic Logical）表达式与思维链，极大提升推理质量，鲁棒性与可信度。
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。
Rabbit R1 又被扒出了更多伪AI产品的实锤。
请想象这样一个场景。你坐在公交车上靠窗的位置，这时你的朋友突然对你说：“今天好像有点热”。你会怎么回应？大多数人的做法应该是立即打开窗户，因为他们巧妙地理解了朋友的言外之意：他是在礼貌地请求自己打开窗户，而不是单纯因为无聊而谈论天气。
