直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争
直接扩展到无限长，谷歌Infini-Transformer终结上下文长度之争谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。
来自主题: AI技术研报
9001 点击 2024-04-13 16:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。
今天起，最新版的GPT-4 Turbo，正式向ChatGPT Plus用户开放了
laude 3 具有非常大的内存（ 200k 上下文窗口）和很强的调用准确性，它的上下文能力也因此成为最受欢迎、应用最广的技能。我们介绍过如何利用这种能力，没时间收听播客也能获取核心内容。今天，我们再介绍一个新技能，帮助技术小白快速 get 最新、最前沿的科技成果
谷歌最强大模型Gemini 1.5 Pro今天起，“全面”对外开放。 目前完全免费，开发者可以通过API调用的方式使用，普通玩家也可以在谷歌AI Studio中直接体验。
在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。
模仿人类阅读过程，先分段摘要再回忆，谷歌新框架ReadAgent在三个长文档阅读理解数据集上取得了更强的性能，有效上下文提升了3-20倍。
来自UC berkeley的研究人员开源了首个世界模型，多模态性能优秀，长视频理解吊打GPT-4，同时将上下文长度增加到百万级别
OpenAI的竞争对手Anthropic发现了一种称为"多样本越狱攻击"的漏洞，可以绕过大型语言模型的安全防护措施。这种攻击利用了模型的长上下文窗口，通过在提示中添加大量假对话来引导模型产生有害的反应。虽然已经采取了一些缓解措施，但该漏洞仍然存在。
Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。
苹果公司发布了一款参数量仅为80M的最新模型——ReALM，能够将各种形式的上下文转换为文本进行理解，包括解析屏幕、多轮对话以及上下文引用，提升了Siri等智能助手的反应速度和智能程度。