2 月 18 日，月之暗面发布了一篇关于稀疏注意力框架 MoBA 的论文。MoBA 框架借鉴了 Mixture of Experts（MoE）的理念，提升了处理长文本的效率，它的上下文长度可扩展至 10M。并且，MoBA 支持在全注意力和稀疏注意力之间无缝切换，使得与现有的预训练模型兼容性大幅提升。
在大语言模型领域中，预训练 + 微调范式已经成为了部署各类下游应用的重要基础。在该框架下，通过使用搭低秩自适应（LoRA）方法的大模型参数高效微调（PEFT）技术，已经产生了大量针对特定任务、可重用的 LoRA 适配器。
DeepSeek热潮将在预训练、后训练（二次训练）和推理三大细分市场都带来巨大改变。
自然语言 token 代表的意思通常是表层的（例如 the 或 a 这样的功能性词汇），需要模型进行大量训练才能获得高级推理和对概念的理解能力，
Ilya Sutskever 在 NeurIPS 会上直言：大模型预训练这条路可能已经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在继续，所有新 RTX 显卡都在遵循三个新的扩展维度：预训练、后训练和测试时间（推理），提供了更佳的实时视觉效果。
知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模型的准确性。迁移学习则通常通过预训练和微调，将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
2024又是AI精彩纷呈的一年。LLM不再是AI舞台上唯一的主角。随着预训练技术遭遇瓶颈，GPT-5迟迟未能问世，从业者开始从不同角度寻找突破。以o1为标志，大模型正式迈入“Post-Training”时代；开源发展迅猛，Llama 3.1首次击败闭源模型；中国本土大模型DeepSeek V3，在GPT-4o发布仅7个月后，用 1/10算力实现了几乎同等水平。
Uni-AdaFocus 是一个通用的高效视频理解框架，实现了降低时间、空间、样本三维度冗余性的统一建模。代码和预训练模型已开源，还有在自定义数据集上使用的完善教程，请访问项目链接。
OpenAI 接连发布 o1 和 o3 模型，大模型的高阶推理能力正在迎来爆发式增强。在预训练 Scaling law “撞墙” 的背景下，探寻新的 Scaling law 成为业界关注的热点。高阶推理能力有望开启新的 Scaling law，为大模型的发展注入新的活力。
今天，银河通用机器人发布了端到端具身抓取基础大模型「GraspVLA」，全球第一个预训练完全基于仿真合成大数据的具身大模型，展现出了比OpenVLA、π0、RT-2、RDT等模型更全面强大的泛化性和真实场景实用潜力。
