250份文档就能给大模型植入后门：不分参数规模
250份文档就能给大模型植入后门：不分参数规模大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
来自主题: AI技术研报
9004 点击 2025-10-11 12:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
本次新研究是迄今为止规模最大的大模型数据投毒调查。Anthropic 与英国人工智能安全研究所（UK AI Security Institute）和艾伦・图灵研究所（Alan Turing Institute）联合进行的一项研究彻底打破了这一传统观念：只需 250 份恶意文档就可能在大型语言模型中制造出「后门」漏洞，且这一结论与模型规模或训练数据量无关。
Meta 超级智能实验室、伦敦大学学院、Mila、Anthropic 等机构的研究者进行了探索。从抽象层面来看，他们将 LLM 视为其「思维」的改进操作符，实现一系列可能的策略。研究者探究了一种推理方法家族 —— 并行 - 蒸馏 - 精炼（Parallel-Distill-Refine, PDR），
清华物理系传奇特奖得主姚顺宇离职Anthropic，正式加盟谷歌DeepMind！他在Anthropic仅工作一年，离职原因中约40%与公司「价值观」不合。他指出现阶段AI研究如同17世纪热力学探索：虽缺乏完整理论，却充满规律发现的契机。
Anthropic宣布任命前Stripe CTO Rahul Patil为新任首席技术官，此次换帅旨在强化Anthropic的AI基础设施，以应对Claude产品快速增长带来的算力和能耗压力。同时，也是为了面对OpenAI和Meta数千亿美元级的基础设施投入而进行的一次战略调整。
最强编程模型让位了。 但没有换人，依然是Claude。 新发布的Claude Sonnet 4.5，在SWE-bench上的成绩比Sonnet 4提升了1.8个百分点，而且提质不加价。
今天凌晨，Claude Sonnet 4.5发布了！新模型在编码、计算机使用、推理、长任务能力、安全对齐上的水平全面拔高，成为新一代编程模型王者。新一轮围绕编程展开的百模大战即将展开，而Claude Sonnet 4.5即将成为大家争相对标的新对象
Anthropic、OpenAI等大厂，正计划每年投入10亿美元，教会AI像人类一样工作。他们不仅为AI提供强化学习环境（RL environment，简称gym），还让AI「偷师」各领域专家。OpenAI高管预言，未来「整个经济」，将在某种程度上变成一台「RL机器」。
“未来 1-5 年，可能有一半的白领岗位会消失，失业率会飙升至 10% 到 20%，无论这项技术能带来多少好处”。Anthropic 联合创始人 Dario Amodei 此前曾在采访中表示。这个观点一时引起了大家的广泛关注。
在 AI 辅助编程领域，Anthropic 推出的 Claude Code 命令行工具已成为开发者常用的助手。它允许从终端直接调用 Claude Sonnet 等模型，处理脚本编写、代码调试和系统命令执行等任务。