长文本之罪：Claude团队新越狱技术，Llama 2到GPT-4无一幸免
长文本之罪：Claude团队新越狱技术，Llama 2到GPT-4无一幸免Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。
来自主题: AI技术研报
8377 点击 2024-04-03 17:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。
苹果公司发布了一款参数量仅为80M的最新模型——ReALM，能够将各种形式的上下文转换为文本进行理解，包括解析屏幕、多轮对话以及上下文引用，提升了Siri等智能助手的反应速度和智能程度。
就在刚刚，Anthropic发现了大模型的惊人漏洞。经过256轮对话后，Claude 2逐渐被「灌醉」，开始疯狂越狱，帮人类造出炸弹！谁能想到，它的超长上下文，反而成了软肋。
世界首个AI程序员Devin诞生不足一个月，普林斯顿就推出了全新的「开源版本」——SWE-agent！在GPT-4的加持下，debug只需93秒，准确率几乎不相上下。
用GPT-4打造的AI程序员，结果轻松追平Devin！普林斯顿打造的开源SWE-agent，直接开箱即用——修复GitHub存储库中真实bug。在25%的SWE-bench测试集上，它实现了与Devin相似的准确度—— 解决了12.29%的问题。
大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。
AI音乐大模型最近有多火，不用多介绍了吧？不过，海外版应用别的先不说，奇奇怪怪的中文AI发音就能把人难受死……好在卷应用嘛，国产大模型厂商没在怕的，这不，国产版音乐“ChatGPT”这就来了~
今天，特工女巫将为大家带来 ThinkAny，这是一款由个人独立开发但小而美的 AI 搜索产品，一起看看它的产品功能设计和技术实现。
上一期我们分享了吴恩达教授，在红杉 AI 峰会的分享内容：Agent > GPT5？吴恩达最新演讲：四种 Agent 设计范式（通俗易懂版），分享后，吴恩达教授介绍了 Harrison 大佬，即 Langchain 的作者。
AI被所有人使用的时代，正越来越近。如果说AI大模型之前已经用ChatGPT多轮的技术进展、国内的百模大战、Sora在视频大模型领域的突破，以及其他一系列大模型初步的应用探索证明了全新的AI更强大；那么最近悄然吹起的、厂商纷纷将最日常使用的消费电子终端套上AI之名的占位之风，则进一步宣告了AI普惠时代的加速到来。