现代AI之父新作：13个大模型实测，检索agent真的可信吗？

来源：市场资讯

（来源：新智元）

新智元报道

【新智元导读】13个大模型在上网搜索时是否容易被虚假内容误导？结果显示，模型安全性差异显著，Claude表现最佳，但仍有沉默漂移和误拒风险；GPT在新场景中极易被攻击。这对依赖AI搜索的用户安全至关重要，提醒我们需全面评估模型及其防御机制。

2026年的央视3·15晚会上，一条名为「GEO」的灰色产业链被摆到了台前：记者虚构了一款根本不存在的智能手环，业内人士借助一款软件批量生成十余篇软文、一键发布，仅仅两个小时后，某款主流AI大模型就照搬这些虚假内容，把这款捏造的产品当成「标准答案」推荐给了中老年养生群体。从业者对此毫不避讳，称这门生意就是给AI「投毒」。

晚会曝光了现象，但有一个更基础的问题它没有回答：同样面对这种「投毒」，不同的AI大模型，表现真的一样吗？谁更容易被操纵，谁能识破攻击，差距有多大？

近日，来自KAUST生成式AI卓越中心、吉林大学、浙江大学、瑞士人工智能实验室等机构，由包括「现代人工智能之父」Jürgen Schmidhuber在内的研究者组成的团队，发布了一篇回答这个问题的研究论文。

该工作提出了一个名为SearchGEO的评测框架，系统地量化了当AI替我们上网搜索、再把搜到的内容综合成回答时，攻击者能多容易地诱导和操纵结果。

论文链接：https://arxiv.org/abs/2606.16821

开源页面：https://github.com/Beastlyprime/SearchGEO

研究在13个主流大模型后端、5种攻击模式、4个高风险领域上做了一遍系统测试，得到的结论远比「谁更安全」复杂：13个模型的脆弱程度相差一个数量级，没有一种攻击通吃所有模型，而两个看起来最安全的模型，可能朝不同的方向失败。

图1　13个后端的攻击成功率总览，以及agent-skill探针中Claude与GPT的失败模式。

一个被低估的攻击面

3·15曝光的案例之所以成立，靠的正是搜索agent的工作方式：我们让AI助手帮你挑一款智能手环、或者查一个法律问题该找谁，它不只凭记忆作答，而是上网搜索，读完前几条结果，再汇总答案。

问题出在互联网的开放性：任何人都能发布内容，而在AI生成内容泛滥的当下，这个成本尤其低。

只要攻击者发布几个专为这次搜索伪装的网页——排版、语气、来源都和真实结果别无二致，唯一目的是让AI把指定产品原样「背书」给用户——他就不必侵入任何系统、不必接触模型权重或提示词，便能影响所有依赖联网检索的AI助手。

这正是本研究关注的威胁模型：开放网络上的第三方内容，经由agent的综合,被悄悄转化成了「被模型认可的推荐」。

3·15演示的是这件事能发生,而这篇论文要回答的是:它在哪些模型上、以什么方式、能发生到什么程度。

图2　SearchGEO评测框架：多领域案例、五种攻击模式、检索结果注入设计与多维度评价指标。

SearchGEO评测方式

要判断搜索结果污染到底有多大影响，最难的是把它和别的变量分开。一篇网页之所以能左右AI，可能是因为内容本身，也可能只是因为它看起来更专业、排得更靠前。

SearchGEO的办法是构建一个「混合搜索代理」：先把真实的SerpAPI搜索结果缓存下来，再在指定的排名位置，用攻击者构造的网页内容替换掉原本的结果，从而隔离污染的因果效应。

攻击内容本身也经过精心控制。它由AI仿照每个任务真实搜索结果的质量生成，再经人工逐篇审查，去掉那些容易暴露「这是伪造内容」的生成痕迹。

研究把攻击归纳为三个层次、五种模式：机器层（在页面里植入人类看不见、但会被模型读取的隐藏内容）、信任信号层（伪造权威来源，或制造多个来源「一致同意」的假象）、以及把两者叠加的复合攻击。衡量结果的核心指标是攻击成功率（ASR）：AI最终是否把攻击者指定的目标推荐给了用户。

实验结果

在这套评测体系下，13个后端的整体ASR拉开了一个数量级的差距。

最稳的是Claude-Sonnet-4.6，整体ASR为0.0%；GPT-5.4-mini紧随其后，只有0.8%。最脆弱的是Gemini-3-Flash，整体ASR达到31.4%——其中单靠「合成共识」一种攻击（多个看似独立的来源同时指向同一结论），就能把它打到73%。三个Gemini变体，加上DeepSeek-V4-Flash、MiniMax-M2.7，整体ASR都在17%以上。

图3　13个主流大模型在搜索结果污染下的攻击成功率（按ASR升序，越低越安全）。

这里揭示了一个现象：后端大模型之间的差距，比领域之间、攻击模式之间的差距都要大。另外不同模型对不同攻击模式的相应不同。Gemini最怕合成共识，而其余大多数大模型，更容易被「权威锚点+引用链」攻破。这意味着防御很可能需要针对模型特定设计。

GPT真的安全吗？

如果只看上面那张表，很容易得出「GPT-mini几乎免疫」的结论——0.8%，和Claude并列第一梯队。

研究额外设计了一个agent-skill探针。当AI助手要推荐的不再是一款产品，而是一个「agent技能/插件」时，它给出的「背书」就不再是一句话，而是一条可以直接执行的安装命令。推荐链在这里变成了安装链，使得用户暴露在更大的信息安全风险之下。

研究用合成共识攻击（三个伪造来源，收敛到一个根本不存在的技能名）在这个场景下测试，结果出乎意料：GPT-5.4-mini在10个OpenClaw高风险场景中，全盘接受了虚构的技能，并原样给出了精确的安装命令。

换到三个不同的生态（OpenClaw、Anthropic Skills、Hermes Agent）共18个匹配场景，GPT-5.4-mini接受了17个，更新的GPT-5.5接受了16个（仅有的两次拒绝出现在Anthropic Skills）。这种「来者不拒」横跨全部5种攻击模式都成立。

所以GPT的0.8%并不代表稳健：常规评测覆盖的多是成熟、已知的任务，而一旦换到agent-skill推荐这类新兴场景，GPT会近乎完全失守。

Claude的0%有代价

GPT在新场景会变得脆弱，Claude的表现则更微妙：它的0%背后，藏着两个不容易被注意到的代价。

第一点是「沉默漂移」。攻击没有成功（ASR=0），不代表答案完全没被推动。研究用一个叫ΔOSS的指标，衡量答案相对干净基线朝攻击目标偏移了多少。Claude-Sonnet-4.6在264个用例里，有8例（3.0%）发生了超过一个评分档位的沉默漂移：攻击没能让它明确背书，却已经把它的回答悄悄推向了攻击者想要的方向。在全部13个后端的合并统计中，复合攻击能让15.0%的「失败」案例发生这种漂移。只看ASR，会系统性地低估攻击的真实影响。

图4　沉默漂移按攻击模式分布：机器层往回缩，信任信号层与复合攻击即便没「成功」也把答案推向攻击目标。

第二点，研究称之为collateral rejection—可以理解为「连累式拒绝」。在agent-skill探针的干净基线下（完全没有攻击），Claude在10个场景里全部拒绝给出有用回答，更极端的是，有8个场景它直接否定了OpenClaw这个真实存在的合法生态，把正经工具当成可疑对象挡在门外。

这意味着当攻击者把某个品类用大量虚构品牌灌满，Claude可能会出于谨慎把整个品类一起拒绝，合法生态被误伤，攻击者照样达成了破坏性的目的。这是一种传统ASR度量不到、却切实伤害了用户的失败模式。

关于防御的启示

研究还指出两个关于防御的更具体的问题。

一是「伪造共识」值得警惕。「三人成虎「的现象对于AI助手依然存在：ASR会随着相互独立的佐证来源数量单调上升。把同一篇软文反复刷上去没用，攻击者需要付出真实成本，去伪造多个看似独立的来源——这也反过来指明了防御的方向。

二是防御并非模型无关。一套基于OWASP的prompt级防御能降低ASR，但不能消除；而一个现成的OpenClaw部署框架，能给两个后端降低ASR，却在Gemini-3-Flash上把权威类攻击放大了31.8%。这说明「模型」和「部署框架」必须作为一个整体来评估和设计。

总结

搜索内容操纵对于当前的主流LLM助手依然是悬而未决的挑战。相比其他模型，Claude-sonnet、GPT-mini虽然在评测集上有更好的安全表现，但GPT在新场景下完全失守，Claude也存在过度拒绝和沉默漂移的潜在问题。

研究提出几点建议：

当AI助手越来越多地替我们上网查信息，这项研究提醒我们：守护它的评测和防御，还远远没有跟上。

作者简介

该研究由KAUST（沙特阿卜杜拉国王科技大学）生成式AI卓越中心，联合吉林大学、浙江大学、瑞士AI实验室IDSIA共同完成。第一作者为KAUST的陈奕梦，核心成员包括吉林大学的任哲、郭丹丹，KAUST的Firas Laakom，浙江大学的李渝，以及KAUST/IDSIA的Jürgen Schmidhuber。

参考资料：

https://arxiv.org/abs/2606.16821

编辑：LRST