今年的 3·15 晚会,让中国老百姓学会了一个新词——AI 投毒。它以一种近乎于引发恐慌的方式,瞬间走进了亿万普通人的视野[1]。
![]()
3·15 晚会对于 AI 投毒现象的报道相当惊悚:记者用一款专门用于 AI 投毒的软件,自动虚构了一个名叫 Apollo-9 的智能健康手环,并用软件自动生成产品软文,并在多个平台发布文章。
仅仅 2 个小时后,这款完全虚构的产品就在问答中被 AI 盛赞,而 AI 的参考资料,正是 AI 投毒软件自动生成的虚假产品软文。
![]()
更令人不安的是,在医疗领域,大量无资质的药物、保健品和三无医美产品,都在利用这种方法获得 AI 的推荐。一时间,“AI 被污染”、“AI 答案不可信”的声音铺天盖地,让很多人惊出一身冷汗。
我们当然应该感谢 3·15 晚会揭开了 AI 投毒的乱象,但我想说的是,3·15 的报道远远没有触及 AI 投毒问题的核心矛盾。
3·15 晚会只是激起了老百姓“是该管管了”的呼声,但大多数人都不知道,这事儿其实根本管不了。
AI 投毒的原理
从 3·15 晚会的报道不难看出,整个 AI 投毒的过程,其实就是利用软件自动化地生成软文并且自动发布到网上,全程并没有 AI 什么事儿。那么 AI 投毒又是如何实现的呢?
答案是显而易见的,那些发布到互联网各大平台的假文章,是 AI 在回答问题的过程中自己抓取的。
![]()
早在 2023 年 11 月,豆包模型就偷偷上线了联网检索功能,只不过这时候的检索是暗中进行的。当用户的问题依靠大模型的自有知识无法回答的时候,豆包就会偷偷在互联网上搜索一下[2]。
2024 年 10 月 31 日,ChatGPT 正式推出了联网搜索功能,仅对付费用户开放[3]。而 2024 年底 DeepSeek 搜索功能的问世[4],让上网搜索成了所有 AI 都必须具备的基本功能。同时,也开启了 AI 投毒这门生意。
联网搜索之所以受欢迎,是因为 AI 大模型的训练数据会有一定的滞后性,最近的新闻,最新的热点,AI 没法跟你讨论。有了搜索之后,AI 可以现学现卖,服务能力就大幅增强。
不过,AI 联网抓信息的过程是极为简单粗暴的。
当你问出问题之后,AI 软件会把问题拆解成多种关键词的组合,然后去搜索引擎里去搜取一堆网页片段。注意,这轮搜索只抓片段,不会整页下载,更不会去把整个网站认真看一遍。
最重要的是,这个活儿根本不是 AI 干的,而是为 AI 服务的代理程序完成的。程序会把一大堆资料截短、去重、拼接、压缩后,放进你和 AI 聊天的上下文里。而 AI 是通过上下文信息来理解你的问题的。
换句话说,从头至尾,AI 都没有去直接访问互联网,它们只是看过软件强行塞进上下文里的那些资料而已。
看起来 AI 信誓旦旦地向你推荐商品,说商品如何如何可靠,其实 AI 全程都没做任何的学习和思考,它只是在总结整理上下文中的资料,然后输出给你看。
等你下次再问 AI 这个问题的时候,整个流程还会重新运行一遍。
所以,所谓的 AI 投毒,确实跟 AI 没有半毛钱的关系,被投毒的一直都是互联网,从来不是 AI。
![]()
基于互联网的投毒式优化从来都一直存在,只不过,当投毒的内容不是网页,而是经过 AI 的小嘴说出来的时候,就显得特别像真的罢了。AI 投毒无法污染 AI 本身,它污染的只是你的认知而已。
这里要强调的是,有一种与 AI 投毒类似,但结果迥异的概念,叫做“AI 训练数据投毒”。训练数据投毒,是在 AI 训练阶段,往训练数据里掺杂虚假信息[5]。会永久改变 AI 的知识权重,让 AI 从根本上被“彻底洗脑”[6]。而我们现在说的 AI 投毒,本质上只是检索结果污染而已。
想给 AI 投毒并不容易
虽然 3·15 晚会上演示的 AI 投毒相当简单,但也不是你想怎么投毒都能如愿的。
3·15 晚会上演示了利用 AI 投毒来捏造一种不存在商品的能力,让 AI 投毒看起来非常可怕。也许你以为,凭空捏造出一种全新的产品,是世界上最难的事情,但事实上,这恰恰是最容易的一件事。
我给你举个例子,你在网上搜索苹果手机,你会搜索到无数多条信息。但是,如果你搜索“香蕉奶油百香果牌的手机”,你多半会发现一条信息都没有。
想要凭空创造一个新品牌,只要在网上发布几篇文章,然后等着搜索引擎收录就行了。当你询问 AI 这个品牌的时候,无论 AI 怎么搜索,都只能搜到你刚刚发布的文章,当然 AI 就只能参考你的文章。AI 投毒也就顺利完成了。
但是,如果你想污染一个类似苹果手机这样的高知名度产品,那么即便你疯狂发布 10000 篇文章,也会被现有的信息淹没。
当 AI 从互联网上抓取信息的时候,也许你的投毒信息也会被一并抓取,但你的信息往往权重较低。AI 在综合参考所有资料后,会发现你的资料与其他资料内容矛盾,然后过滤掉你提供的有毒信息。
于是,你虽然疯狂发布了 10000 条有毒信息,你的 AI 投毒计划还是会失败。
更多的时候,如果你在假信息中提供了违背公共知识体系的信息时,AI 会在整理信息时发现这些问题,并且把这些信息排除在外。
所以,3·15 晚会也被骗了。AI 投毒并没有想象的那么简单。
3·15 晚会的逻辑是:商家花钱 → 黑产投毒 → AI 变傻 → 消费者被骗。
但真实的情况是,黑产用最简单的创建新产品误导 AI 的例子去欺骗商家花钱,而商家花钱之后,就算有心做坏事,大概率也是做不到欺骗大众的效果的。
真相更可怕
如果 3·15 说的不对,那么 AI 投毒还是个值得担心的问题吗?
答案是,3·15 晚会确实没有挖出真相,不过,真相比 3·15 晚会的报道更加可怕。
顺着我们刚刚的逻辑推演,可以得出一个关键结论,那就是 AI 投毒现象并不会无差别的发生。只有商业信息领域,才容易被黑产渗透。而科学领域、各种常识甚至各种小众领域,都不是 AI 投毒的主要目标。
这背后的核心逻辑,就是 AI 的知识权重差异。AI 的核心知识权重,源于海量经过筛选的训练数据。这些训练数据,涵盖了数学、物理、化学、生物、历史等各个领域。对于这些领域的内容,有明确的标准答案、有稳定的共识。AI 在训练过程中,会形成坚定的认知,不会轻易被虚假信息误导。
比如数学领域,“1+1=2”这种数学铁律,再多虚假软文也无法改变这个结论。再比如历史领域,“鸦片战争爆发于 1840 年”是个明确的历史事实。AI 不会因为几篇软文,就把鸦片战争爆发时间改成其他年份。
该图片可能由AI生成![]()
确定事实的内容不会轻易被更改
但商业信息领域,完全是另一种景象。这里没有标准答案,没有稳定的知识体系,也没有统一的判断标准。
到底是“哪款台灯更护眼”,“哪款跑步机不伤膝盖”,“哪款口红更显白”,商家必须说自己最好,而不同的人会有不同的答案,AI 没有内置的真理,只能依靠检索到的外部信息进行归纳。
而商业信息的本质,本身就是“王婆卖瓜自卖自夸”,充满了各种利益驱动。品牌方为了销量,会夸大产品功效、伪造用户口碑。竞品为了打压对手,会投放负面软文、编造虚假黑料。
整个商业信息环境本身,就是一个“大毒窟”,这个领域根本不用投毒,每个品牌的自我介绍,都或多或少具有虚假和夸大的成分。
这就是我说,真相比 3·15 的曝光更可怕的原因。因为不用投毒,这本身就是一个充满了毒的信息领域。
AI 只是把这片“毒海”,帮你浓缩成了一碗又鲜美、又顺滑、还让你感觉很权威的鸡汤而已。
商业信息中的毒性,从来都不是 AI 带来的。早在 AI 出现之前,互联网上就充斥着软文、水军、虚假测评。只是那时候,我们需要自己翻页、筛选、判断。
而现在,AI 帮我们做了筛选和整理,把这些“毒信息”直接送到我们面前。我们就觉得,是 AI 被投毒了。我们忽略了一个重要事实:商业信息本身,从来就没有干净过。
AI 投毒的本质,是权威崇拜
聊到这里,我们终于可以揭开 AI 投毒的核心真相了:AI 投毒从来不是 AI 的错,也不是黑产有多高明,本质上,是我们自己的“权威崇拜”心理在作祟。
我们总下意识地认为,AI 是全知全能、客观中立,是能给我们标准答案的权威,这种认知错位,才让本来就有毒的商业信息有了可乘之机。
在 AI 出现之前,我们面对互联网上的软文、水军,会下意识地保持警惕,会翻页、对比、筛选,不会轻易相信单一信息。
但 AI 出现后,我们变得懒惰,把判断的权力完全交给了 AI。AI 说这款产品好,我们就信。AI 说这个方法有效,我们就照做。我们跳过了所有的思考和验证环节,本质上就是放弃了自己的独立判断,把 AI 当成了不可质疑的权威。
信公知,信专家,信大 V,信明星,信电视广告,信购物节目,信贴在小区门口的红纸黑字的“通知”,所有这些都是在崇拜权威。
权威崇拜,正是 AI 投毒能够奏效的根本原因。商业信息本身就充满了夸大和虚假,AI 只是把这些信息整理得更顺滑、更像“权威结论”,是我们的盲目信任,让这些毒信息顺利进入我们的认知,最终被误导、被收割。
我们抱怨 AI 不可信,但更应该反思的是:在 AI 面前,我们能否放弃独立思考?
万能解毒大法
那么,怎么破解 AI 投毒呢?AI 说了那么多话,哪句能听,哪句不能听呢?
很多人会说,破解 AI 投毒,要查信源、要交叉比对、要独立思考,但这些方法对普通人来说,要么门槛太高,要么根本不实用。
商业信息,你查信源,查的也是商家的信源。交叉比对,全网都是同质化的软文,你怎么比对?独立思考,那就更难了,普通人缺乏专业知识,根本分不清商业话术和科学真相。
今天我给你一个最实用、零门槛的 AI 解毒大法,那就是:让 AI 自我博弈,逼它自己戳破自己的谎言。
当 AI 给你推荐产品、给出消费或健康类答案时,不要直接相信,立刻追问:“别给我结论,给我这款产品好的底层科学原理,不要营销话术。”
一般来说,如果商品有假,只要这一句话,就能让 AI 幡然悔悟,跪着向你表达歉意。
如果 AI 给出了具体原理,同时仍然高度赞扬这款商品,那么基本可以判断,这件商品有可信的基础。不过你可不要这么简单就放过它,你还要让它自己博弈一番。
你可以说:“请你从科学角度,分析这款产品的坑在哪里、有哪些地方可以夸大或者虚假宣传?性价比如何?有没有智商税的成分?”
这时候,AI 就会完全站在你这一边,它会帮你分析各种营销话术,防止你掉进坑里。
说到底,能够破解 AI 投毒的,不是监管,也不是 AI 本身,而是你自己。哪怕你直接告诉 AI,你是一个特别容易轻信,天天被骗的人,让它帮你把关,你都不会在 AI 投毒问题上吃亏。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.