OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错你以为AI答错就一定是幻觉？不，它也可能是在故意骗你。
来自主题: AI技术研报
9100 点击 2026-03-26 10:50
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
你以为AI答错就一定是幻觉？不，它也可能是在故意骗你。
AI最强幻觉，原来不是不会，而是太会「装会」。 「你是专家」这句咒语，可能骗了整个AI圈一年。
大语言模型（LLM）的幻觉问题一直是阻碍其在关键领域部署的核心难题。近日，研究人员提出了一种名为行为校准强化学习（Behaviorally Calibrated Reinforcement Learning）的新方法，通过重新设计奖励函数，让模型学会「知之为知之，不知为不知」。
近日，清华大学团队从 AI 里找到了与幻觉产生高度关联的少数“脑细胞”，并给它们起了一个名字 H-神经元（幻觉神经元）。他们发现拨动这些小开关能显著调节 AI 的行为倾向——例如影响它是否会盲目听从错误指令、甚至是否会产生有害回答。
FaithLens 模型在忠实性幻觉检测任务上，达到了当前最优效果。
关于如何避免让大语言模型产生幻觉，一直以来的相关研究都非常多。
《Science》的一篇新文章指出，大模型存在一个先天难解的软肋：幻觉难以根除。AI厂商让大模型在不确定性情况下说「我不知道」，虽然有助于减少模型幻觉，但可能因此影响用户留存与活跃度，动摇商业根本。
十月，《纽约时报》发表了题为《The A.I. Prompt That Could End the World》（《那个可能终结世界的 AI 提示词》）的文章。作者 Stephen Witt 采访了多位业内人士：有 AI 先驱，图灵奖获奖者 Yoshua Bengio；以越狱测试著称的 Leonard Tang；以及专门研究模型欺骗的 Marius Hobbhahn。
幻觉不是 bug，是数学上的宿命。 谢菲尔德大学的最新研究证明，大语言模型的幻觉问题在数学上不可避免—— 即使用完美的训练数据也无法根除。 而更为扎心的是，OpenAI 提出的置信度阈值方案虽能减少幻
幻觉并非什么神秘现象，而是现代语言模型训练和评估方式下必然的统计结果。它是一种无意的、因不确定而产生的错误。根据OpenAI9月4号论文的证明，模型产生幻觉(Hallucination)，是一种系统性缺陷。