网易首页 > 网易号 > 正文 申请入驻

别顾着吃315的瓜!大厂打响「数据保卫战」:三张底牌破解AI投毒

0
分享至

又是一年3.15,当天的央视315晚会上,AI大模型被投毒的现象摆到了台面上。具体而言,就是GEO(生成式引擎优化)技术被滥用,部分商业营销公司按照客户需求,编造大量虚假内容,发布到各类平台上,系统性地去影响AI。

在央视记者的探访视频中,业内人士用「力擎GEO优化系统」虚构了一款名为「Apollo-9」的智能手环。围绕这款手环,该公司编造了大量营销文章发布到自媒体平台上,很快,部分大模型就误信了这些内容,甚至正儿八经地推荐起了这款「手环」。更夸张的是,该公司后续发布10余篇评测文章后,就出现了部分大模型优先推荐这款产品的情况。



(图源:央视)

总的来说,AI投毒本质上就是用虚假信息来欺骗AI,再让AI把错误信息展露在用户面前,达到误导用户的目的。AI投毒,背后的动力说白了还是虚假营销。比如,一家企业要推广自家的商品,如果要走「捷径」,就可能会购买这类GEO服务。

现状已经摆在面前了,我们最关心的问题则是:如何破解?面对海量的编造出来的虚假信息,大模型们要如何过滤?面对AI生成的错误答案,普通人又要如何辨别?

AI大厂的反击:为大模型建立免疫系统

其实AI投毒的问题,从大模型诞生的那一刻起就出现了。很多AI大厂,很早就意识到了这个问题,并且也开启了相应的反制措施。

小雷在查询了相关资料后,总结了AI大厂构建免疫系统的手段,具体包括给数据打「数字水印」、建立语料溯源机制、增强信息源交叉验证等。

首先,来看下数据「数字水印」。AI投毒行为往往有个特点,就是先用AI生成批量内容,再用这些内容去投毒。灰产商家这么做很好理解,毕竟人工一篇一篇去写文章的话,人力成本太高了,而且效率太低。

而用AI生成,成本很低,顶多消耗一点付费的Tokens。更何况,这些虚假内容,本质上不是给真人看的,而是拿去欺骗AI的,所以对内容质量没要求。

而给数据打「数字水印」,就是在AI生成内容这一环节提前打下的补丁。说得更具体点,就是在大模型生成文字、图片等内容时,刻意在底层算法上留下痕迹,比如AI在预测下一个Token的概率分布时,故意偏向一组特定词语组合。这样一来,读者阅读这段AI生成文字时,不会觉得有什么问题,但回流到AI这里时,它就能瞬间识别出它不是真人撰写的文字。

有了这项技术,大模型的爬虫在互联网上获取信息时,就能识别出哪些是「有毒」的,并且主动过滤。

关于数字水印,目前比较有代表性的是谷歌的SynthID技术。它不仅能给文字打水印,还能给图片、音频、视频打水印。文字方面,谷歌AI生成的文本在输出前会加入一组伪随机函数,调整特定词语的分布概率。



(图源:Google)

针对图片和视频,大模型则会把水印以像素点阵的方式打上去,人肉眼看不出来,但AI能识别出来。针对音频,AI可以加入特定的声波频率,人耳听不见,完全是作为标识留下的。

然后,我们再来聊聊语料溯源机制。它的核心逻辑,就是给内容在源头上建立档案机制,写入不能篡改的加密元数据,比如内容是谁生成的、具体时间是什么时候、最早在什么设备上出现。

2021年,Adobe、微软、ARM、BBC、英特尔等企业倡导成立了C2PA联盟(Coalition for Content Provenance and Authenticity,内容来源和真实性联盟),旨在抵制虚假信息,为可靠的互联网数字内容颁发「证件」。



(图源:C2PA)

通过它和类似的机制,AI就能在吸收原始资料时主动筛选可靠性更高、更权威的内容,降低野生论坛等可靠性低的内容占比。

最后,再说增强信息交叉验证这部分。理论上,AI在生成内容时,会先去搜索资料,为了保证真实性,会对资料进行事实核查。当然,这一步毫无疑问会增加算力和时间成本,如果AI偷懒就可能会导致容易被骗。

比如315晚会上那个虚假手环,如果大模型有完善的信息验证机制,就会发现,虽然相关文章多,但发布时间密集、内容重复度高等,可信度低。

总的来说,以上提到的手段,都可以在很大程度上遏制AI投毒的现象。当然,让这些手段落地,一方面需要AI厂商有较强的技术能力,另一方面需要增加投入成本,容易被厂商在商业层面上的考量所左右。

大模型之争,已经来到新阶段

早先几年,大模型之间的竞争仍然是在拼参数,头部大模型的参数量早已从亿、十亿级卷到百亿、千亿甚至万亿级。互联网大厂之间的AI军备竞赛还在持续,不断将海量的资金投入到AI基础设施建设上。与此同时,AI Agent、具身智能等相关技术和应用在快速发展,引导大模型快速场景化落地,寻找到更多商业价值。

不过,大模型充当着大脑核心,决定了智能体、具身智能的上限。因此,未来的AI之争,大模型仍然是重点。而从AI投毒的现象来看,GEO相关的行为已经形成了一条完整的灰色产业链,AI已经变成了不法营销的重要入口。



(图源:央视)

AI被盯上,也说明大模型在国内的普及水平已经相当高了。就小雷之前的观察来看,国产大模型产品在普通用户中已经很流行了。和刻板印象不同的是,如今即便是不熟悉科技互联网、文化程度偏低的普通人,也在大规模使用AI。

原因很简单,国产大模型的上手门槛很低,用自然语言对话的模式比传统搜索引擎的关键字搜索更易用。而且,国产AI应用场景化迅速,不仅能给用户答疑解惑,还能与其他互联网服务打通,具备点奶茶、订电影票之类的实用功能。

AI GEO投毒能形成产业链,本质上还是因为AI用户规模足够大,大到能附着大量的商业利益。在这个大背景下,大模型之间的竞争重点,有变化了。

大模型的参数量还在增加,但边际递减效应明显。在很多应用场景里,并不是模型越大越好,而是合适的更好。

同时,模型技术的进化重点之一,将会是如何对抗AI投毒。相比参数、跑分,未来大模型的核心竞争力将变成高质量纯净数据,干净的语料,将会是AI厂商的宝贵资产。

国内头部AI大厂,包括阿里、字节、DeepSeek等,都在数据纯净度方面下了大功夫。阿里2025年就发布了「AI安全护栏」,防范数据污染问题;字节2024年就全面加强了模型训练环节的权限隔离与零信任架构,防止代码和数据池污染;2024年,DeepSeek就宣布在训练阶段采用「正则表达式+AI脱敏工具」双重校验,强力过滤公开数据集中的污染信息和敏感数据。



(图源:阿里)

AI投毒和反投毒,将是一场持久战

看到AI投毒的相关新闻中提到的GEO技术时,小雷瞬间就想到了搜索引擎时代的SEO广告。PC互联网时代,搜索引擎是极为关键的入口,是互联网营销的重点。因此,很多品牌、商家为了增加自己在互联网上的曝光度,会主动进行SEO优化。

搜索引擎品牌也把SEO视作一门生意,搞出了竞价排名,当用户的搜索关键词触发相应的商业项目时,付费品牌排名会靠前。竞价排名这种商业模式引发了巨大的争议,以至于后来搜索品牌不得不特意给SEO广告打上「推广」标签,以和正常算法下的搜索结果相区分。

GEO和SEO一字之差,技术原理和商业链条上高度相似。只能说,技术本身没有原罪,但很难完全避免被恶意利用。随着AI技术的持续发展和落地,与之伴随的商业利益也会滚雪球般越滚越大。

尽管AI大厂们会持续加强防范治理手段,以遏制AI投毒行为,但巨大的利益面前,灰产也会继续不断升级手段、寻找新的漏洞。

就像前文提到的文字水印技术,深谙AI技术的投毒者就会通过将文字翻译成外文再翻回中文的手段来破解。这场猫鼠游戏,将会是一场旷日持久的攻防大战,很难以某种手段一劳永逸地解决。

截至小雷这篇文章完成时,开头我们提到的「Apollo-9」虚假手环,已经在主流大模型产品上被识别出来。由此可以发现,AI大厂针对AI投毒已经有一套防范和纠错机制。



(图源:雷科技)

当然,这起AI投毒案例,也是对作为普通人的我们的一次提醒:AI很强大、很好用,但不是全知全能的,大模型会有幻觉,也可能犯错。

当我们要做重大决策,尤其是涉及到财务资金相关的决策时,要对AI给出的方案慎之又慎。这个过程里,我们不仅要看AI生成的结果,更要看它思考的过程,查证信息源头是否可靠。还有另一个更简单但有效的手段,那就是多用几家AI,相互交叉验证,不要单独依赖某款大模型,货比三家永远是最好的选择。

最后,我们也呼吁相关部门,针对AI投毒完善相应的法律法规,对整条灰色产业链形成威慑。AI投毒,加害者的实施成本很低,但危害很大,而且就像环境污染一样,治理成本很高。在一个AI高速进化的时代里,我们每一个人都期望AI向善而非作恶。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国总统特朗普表示将于5月中旬访华,外交部:元首外交对中美关系发挥着不可替代的战略引领作用,中美双方就特朗普总统访华事保持着沟通

美国总统特朗普表示将于5月中旬访华,外交部:元首外交对中美关系发挥着不可替代的战略引领作用,中美双方就特朗普总统访华事保持着沟通

潇湘晨报
2026-03-26 16:25:20
已经抵达东莞?曝广东宏远大外援到位,NBA首轮秀,身高2米13

已经抵达东莞?曝广东宏远大外援到位,NBA首轮秀,身高2米13

篮球大陆
2026-03-26 14:01:14
游戏结束,国债突破39万亿,美联储通知全世界,中方分批运回金条

游戏结束,国债突破39万亿,美联储通知全世界,中方分批运回金条

涵豆说娱
2026-03-26 11:46:21
曝张雪峰3段婚姻都是闪婚,前妻缅怀满是惋惜,疯狂健身疑为备孕

曝张雪峰3段婚姻都是闪婚,前妻缅怀满是惋惜,疯狂健身疑为备孕

古希腊掌管松饼的神
2026-03-25 12:00:46
白发“师妃暄”,为何变成“金刚芭比”

白发“师妃暄”,为何变成“金刚芭比”

凹凹滴
2026-03-26 12:52:16
春天,这碱性菜再贵也要多吃,杀菌强免疫,补钙补钾两不误,好吃

春天,这碱性菜再贵也要多吃,杀菌强免疫,补钙补钾两不误,好吃

阿龙美食记
2026-03-25 10:38:40
横店巨变!20万群演困境:美女泛滥懒汉遍地,降薪后路在何方?

横店巨变!20万群演困境:美女泛滥懒汉遍地,降薪后路在何方?

网络易不易
2026-03-25 10:31:12
从欧尔班行为,看北约当年拒绝俄罗斯的远见

从欧尔班行为,看北约当年拒绝俄罗斯的远见

民间胡扯老哥
2026-03-23 18:53:38
神笔警探林宇辉再绘“梅姨”老年画像:她年龄增大,精神也受折磨,面貌应该变化很大

神笔警探林宇辉再绘“梅姨”老年画像:她年龄增大,精神也受折磨,面貌应该变化很大

极目新闻
2026-03-26 11:14:21
地平线员工撕开窗户纸,小鹏智驾成了"皇帝新衣"?

地平线员工撕开窗户纸,小鹏智驾成了"皇帝新衣"?

汽车大事记
2026-03-24 20:48:45
利空突袭,全线杀跌!

利空突袭,全线杀跌!

中国基金报
2026-03-26 13:16:51
日本企业未受邀参加重要论坛?商务部回应

日本企业未受邀参加重要论坛?商务部回应

澎湃新闻
2026-03-26 15:28:26
不可错过!3月26日晚间18:30比赛!中央5套CCTV5、CCTV5+直播表

不可错过!3月26日晚间18:30比赛!中央5套CCTV5、CCTV5+直播表

皮皮观天下
2026-03-26 15:32:21
伊朗重要人事任命,释放强烈信号!

伊朗重要人事任命,释放强烈信号!

斐君观点
2026-03-25 21:08:16
流量退去之后|南京“10元手冲咖啡”阿姨:火过,就很满足

流量退去之后|南京“10元手冲咖啡”阿姨:火过,就很满足

澎湃新闻
2026-03-26 07:06:31
拼了!第80波打击,拒绝停战伊朗越打越狠,美军航母基地集体被揍

拼了!第80波打击,拒绝停战伊朗越打越狠,美军航母基地集体被揍

卷史
2026-03-26 09:34:56
《奔跑吧14》录制:孟子义的腰比名牌还细,和李昀锐同框避嫌

《奔跑吧14》录制:孟子义的腰比名牌还细,和李昀锐同框避嫌

椰黄娱乐
2026-03-26 15:45:32
快讯!美军拒绝为以色列作战!

快讯!美军拒绝为以色列作战!

达文西看世界
2026-03-26 09:54:51
美军合作商CEO急眼,竟狂言“终将破解并瘫痪北斗信号”

美军合作商CEO急眼,竟狂言“终将破解并瘫痪北斗信号”

观察者网
2026-03-25 14:58:54
广州市一栋三层别墅拍卖,被人捡漏170.6万就竞得,还要啥套间

广州市一栋三层别墅拍卖,被人捡漏170.6万就竞得,还要啥套间

天天话事
2026-03-26 09:30:14
2026-03-26 17:59:00
雷科技 incentive-icons
雷科技
专注AI硬科技
36595文章数 811953关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

男子从四家公司贷出共计356万元 实际到手却仅8万多元

头条要闻

男子从四家公司贷出共计356万元 实际到手却仅8万多元

体育要闻

申京努力了,然而杜兰特啊

娱乐要闻

张雪峰家人首发声 不设追思会丧事从简

财经要闻

长护险谁能享受?享受多少?解答来了

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

游戏
家居
亲子
艺术
本地

又一经典最终幻想游戏将停运!开服至今已六年有余

家居要闻

傍海而居 静观蝴蝶海

亲子要闻

售卖“增高神药”让孩子“猛长20厘米”?多家店铺被立案调查!

艺术要闻

哪一座桥不是风景?

本地新闻

救命,这只酱板鸭已经在我手机复仇了一万遍

无障碍浏览 进入关怀版