在代码大模型（Code LLMs）的预训练中，行业内长期存在一种惯性思维，即把所有编程语言的代码都视为同质化的文本数据，主要关注数据总量的堆叠。然而，现代软件开发本质上是多语言混合的，不同语言的语法特性、语料规模和应用场景差异巨大。
鹏城实验室与清华大学PACMAN实验室联合发布了鹏城脑海‑2.1‑开元‑2B（PCMind‑2.1‑Kaiyuan‑2B，简称开元‑2B）模型，并以全流程开源的方式回应了这一挑战——从训练数据、数据处理框架、训练框架、完整技术报告到最终模型权重，全部开源。
压缩即智能，又有新进展！
如果说大模型的预训练（Pre-training）是一场拼算力、拼数据的「军备竞赛」，那么测试时扩展（Test-time scaling, TTS）更像是一场在推理阶段进行的「即时战略游戏」。
近日，北京大学团队提出一个直接基于已有预训练模型进行极低比特量化的通用框架——Fairy2i。该框架通过广泛线性表示将实数模型无损转换为复数形式，再结合相位感知量化与递归残差量化，实现了在仅2比特的情况下，性能接近全精度模型的突破性进展。
三年河东三年河西，曾经逼疯谷歌的奥特曼，如今也被谷歌逼得拉响了「红色警报」，AI王座之下已是刀光剑影。更劲爆的是，最强「Garlic」在预训练取得重大突破，正面硬刚Gemini 3.
OpenAI，亟需一场翻身仗！今天，全网最大的爆料：GPT-5基石实为GPT-4o。自4o发布之后，内部预训练屡屡受挫，几乎沦为「弃子」。
视觉-语言-动作模型（VLA）在机器人操控领域展现出巨大潜力。通过赋予预训练视觉-语言模型（VLM）动作生成能力，机器人能够理解自然语言指令并在多样化场景中展现出强大的泛化能力。然而，这类模型在应对长时序或精细操作任务时，仍然存在性能下降的现象。
AI正从「规模时代」，重新走向「科研时代」。这是Ilya大神在最新采访中发表的观点。这一次，Ilya一顿输出近2万字，信息量爆炸，几乎把当下最热门的AI话题都聊了个遍：Ilya认为，目前主流的「预训练 + Scaling」路线已经明显遇到瓶颈。与其盲目上大规模，不如把注意力放回到「研究范式本身」的重构上。
在视觉处理任务中，Vision Transformers（ViTs）已发展成为主流架构。然而，近期研究表明，ViT 模型的密集特征中会出现部分与局部语义不一致的伪影（artifact），进而削弱模型在精细定位类任务中的性能表现。因此，如何在不耗费大量计算资源的前提下，保留 ViT 模型预训练核心信息并消除密集特征中的伪影？
