重塑记忆架构：LLM正在安装「操作系统」
重塑记忆架构：LLM正在安装「操作系统」超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。
来自主题: AI技术研报
8256 点击 2025-07-16 16:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。
ChatGPT的对话流畅性、Gemini的多模态能力、DeepSeek的长上下文分析……
虽然旋转位置编码（RoPE）及其变体因其长上下文处理能力而被广泛采用，但将一维 RoPE 扩展到具有复杂时空结构的视频领域仍然是一个悬而未决的挑战。
如今的视觉语言模型 (VLM, Vision Language Models) 已经在视觉问答、图像描述等多模态任务上取得了卓越的表现。然而，它们在长视频理解和检索等长上下文任务中仍表现不佳。
本文深入剖析 MiniCPM4 采用的稀疏注意力结构 InfLLM v2。作为新一代基于 Transformer 架构的语言模型，MiniCPM4 在处理长序列时展现出令人瞩目的效率提升。传统Transformer的稠密注意力机制在面对长上下文时面临着计算开销迅速上升的趋势，这在实际应用中造成了难以逾越的性能瓶颈。
豆包大模型1.6惊艳亮相，成为国内首款多模态SOTA模型，256k对话窗口，深度思考最长上下文。它不仅能看会想，还能动手操作GUI，国内最有潜力考清北。
上下文长度达 13 万 token，适用于多段文档综合分析、金融、法律、科研等复杂领域任务。
GPT-4.1，在ChatGPT中可用了！现在，它不仅在API中开放，Plus、Pro和Team用户都可以使用。网友们兴奋地展开实测后，纷纷吐槽：OpenAI这是诈骗吧，说好的一百万超长上下文呢？
来自英伟达和UIUC的华人团队提出一种高效训练方法，将LLM上下文长度从128K扩展至惊人的400万token SOTA纪录！基于Llama3.1-Instruct打造的UltraLong-8B模型，不仅在长上下文基准测试中表现卓越，还在标准任务中保持顶尖竞争力。
在以 transformer 模型为基础的大模型中，键值缓存虽然用以存代算的思想显著加速了推理速度，但在长上下文场景中成为了存储瓶颈。为此，本文的研究者提出了 MILLION，一种基于乘积量化的键值缓存压缩和推理加速设计。