
速递|Anthropic仅收购Humanloop创始团队及工程师,曾融资790万美金,AI安全“特种部队”就位
速递|Anthropic仅收购Humanloop创始团队及工程师,曾融资790万美金,AI安全“特种部队”就位Anthropic 已收购 Humanloop 的联合创始人和大部分团队成员,该公司是一个专注于提示管理、LLM 评估和可观测性的平台,此举旨在强化其企业战略。
Anthropic 已收购 Humanloop 的联合创始人和大部分团队成员,该公司是一个专注于提示管理、LLM 评估和可观测性的平台,此举旨在强化其企业战略。
一面是Meta豪掷143亿美元下注Scale AI,一面是OpenAI紧急切断合作——当全球目光聚焦硅谷之时,一家藏身首尔的初创公司悄然撕开了AI安全市场的裂口。
强化学习(RL)是锻造当今顶尖大模型(如 OpenAI o 系列、DeepSeek-R1、Gemini 2.5、Grok 4、GPT-5)推理能力与对齐的核心 “武器”,但它也像一把双刃剑,常常导致模型行为脆弱、风格突变,甚至出现 “欺骗性对齐”、“失控” 等危险倾向。
危险!ChatGPT存在“零点击攻击”安全问题。 用户无需点击,攻击者也能从ChatGPT连接的第三方应用窃取敏感数据,甚至窃取API密钥。
面对对抗攻击,具身智能体除了被动防范,也能主动出击! 在人类视觉系统启发下,清华朱军团队在TPMAI 2025中提出了强化学习驱动的主动防御框架REIN-EAD。
生成式AI安全风险:注入攻击、隐私泄露、供应链隐患;防御需零信任、红队演练。
日前有网友发现沉浸式翻译扩展程序的部分用户数据暴露在互联网上,这些数据包含部分敏感内容例如加密货币钱包私钥甚至是企业 / 机构的商业合同等。严格来说此次问题并非安全漏洞而是沉浸式翻译提供的功能存在缺陷,即没有对快照链接进行保护导致搜索引擎爬虫可以直接抓取内容并将其放置互联网上公开索引。
Tavily,一家为AI提供企业级安全搜索API的初创公司,于近日完成2000万美元的A轮融资,由Insight Partners领投,公司累计融资额达2500万美元。Tavily源自其创始人在2023年创建的、在GitHub上广受欢迎的开源项目GPT Researcher,专注于解决AI智能体在访问互联网时面临的合规与安全挑战。
一波未平,一波又起。 英伟达Triton推理服务器,被安全研究机构Wiz Research曝光了一组高危漏洞链。
字节跳动在 Trae IDE(Visual Studio Code 的分支)中发现的令人担忧的性能和隐私问题。主要发现包括:资源消耗过高(33 个进程 vs. VSCode 中为 9 个进程)、无论用户如何设置,遥测数据都会持续传输,以及令人担忧的社区管理实践。