开源微调神器Unsloth带着黑科技又来了：短短两周后，再次优化DeepSeek-R1同款GRPO训练算法，上下文变长10倍，而显存只需原来的1/10！
由于语言泛化，今天出现了很有趣的现象：「Agent 是什么」，这个问题没有了标准的定义。一个常见的观点是：Agent 是一种让 AI 以类似人的工作和思考方式，来完成一系列的任务。一个 Agent 可以是一个 Bot，也可以是多个 Bot 的协同。
AI21Labs 近日发布了其最新的 Jamba1.6系列大型语言模型，这款模型被称为当前市场上最强大、最高效的长文本处理模型。与传统的 Transformer 模型相比，Jamba 模型在处理长上下文时展现出了更高的速度和质量，其推理速度比同类模型快了2.5倍，标志着一种新的技术突破。
LLM一个突出的挑战是如何有效处理和理解长文本。就像下图所示，准确率会随着上下文长度显著下降，那么究竟应该怎样提升LLM对长文本理解的准确率呢？
Phi-4系列模型上新了！56亿参数Phi-4-multimodal集语音、视觉、文本多模态于一体，读图推理性能碾压GPT-4o；另一款38亿参数Phi-4-mini在推理、数学、编程等任务中超越了参数更大的LLM，支持128K token上下文。
谷歌Gemini 2.0代码助手免费，每月18万次代码补全，支持超大上下文窗口。微软Copilot语音与深度思考功能，同样免费！OpenAI也免费推出了GPT-4o mini高级语音模式。
Zep，一个为大模型智能体提供长期记忆的插件，能将智能体的记忆组织成情节，从这些情节中提取实体及其关系，并将它们存储在知识图谱中，从而让用户以低代码的方式为智能力构建长期记忆。
2 月 18 日，月之暗面发布了一篇关于稀疏注意力框架 MoBA 的论文。MoBA 框架借鉴了 Mixture of Experts（MoE）的理念，提升了处理长文本的效率，它的上下文长度可扩展至 10M。并且，MoBA 支持在全注意力和稀疏注意力之间无缝切换，使得与现有的预训练模型兼容性大幅提升。
仅需简单提示，满血版DeepSeek-R1美国数学邀请赛AIME分数再提高。
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。
