谷歌爆改Transformer，“无限注意力”让1B小模型读完10部小说，114倍信息压缩
谷歌爆改Transformer，“无限注意力”让1B小模型读完10部小说，114倍信息压缩它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
来自主题: AI资讯
8174 点击 2024-04-13 20:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
OpenAI的竞争对手Anthropic发现了一种称为"多样本越狱攻击"的漏洞，可以绕过大型语言模型的安全防护措施。这种攻击利用了模型的长上下文窗口，通过在提示中添加大量假对话来引导模型产生有害的反应。虽然已经采取了一些缓解措施，但该漏洞仍然存在。
就在刚刚，Anthropic发现了大模型的惊人漏洞。经过256轮对话后，Claude 2逐渐被「灌醉」，开始疯狂越狱，帮人类造出炸弹！谁能想到，它的超长上下文，反而成了软肋。
大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。
【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。
【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。
本文讨论了AI大模型的长上下文在生成式人工智能中的意义和影响。通过对Gemini 1.5和RAG技术的对比和分析，文章指出Gemini在处理长文档和长上下文方面表现出色，因此有人认为RAG技术已经过时。
半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。
3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。