长文本之罪：Claude团队新越狱技术，Llama 2到GPT-4无一幸免
长文本之罪：Claude团队新越狱技术，Llama 2到GPT-4无一幸免Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。
来自主题: AI技术研报
6969 点击 2024-04-03 17:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。
就在刚刚，Anthropic发现了大模型的惊人漏洞。经过256轮对话后，Claude 2逐渐被「灌醉」，开始疯狂越狱，帮人类造出炸弹！谁能想到，它的超长上下文，反而成了软肋。
大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。
【新智元导读】Claude 3在通用任务上是全球最强已经毋庸置疑。更令人惊叹的是，它在专业领域的表现，比如化学任务，也能远远领先GPT-4。
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
本文介绍了OpenAI和Anthropic两家AI公司在公司治理方面的不同做法。OpenAI在2019年改变了公司性质，由非营利性组织变成了营利性组织，引发了关于公司治理的争议。Anthropic则采用了公益公司和长期利益信托基金的治理结构，旨在平衡股东利益和公众利益。
Claude 3 一经推出，AI 初创公司 Anthropic 被推上了大模型浪潮顶端。这一波压力立马给到了 OpenAI。不少网友调侃，GPT-5 呢？
已经第一时间氪金到了 claude 3 Pro，准备接下来停用GPT-4（直到GPT-4.5出来），日常工作完全用Claude 3 Opus。
智东西3月5日报道，今天AI界的“炸圈”新闻，当属OpenAI劲敌Anthropic推出Claude 3系列模型，真正做到与GPT-4全面掰手腕。
昨晚，OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 ——Claude 3。