网易首页 > 网易号 > 正文 申请入驻

别顾着吃315的瓜!大厂打响「数据保卫战」:三张底牌破解AI投毒

0
分享至

又是一年3.15,当天的央视315晚会上,AI大模型被投毒的现象摆到了台面上。具体而言,就是GEO(生成式引擎优化)技术被滥用,部分商业营销公司按照客户需求,编造大量虚假内容,发布到各类平台上,系统性地去影响AI。

在央视记者的探访视频中,业内人士用「力擎GEO优化系统」虚构了一款名为「Apollo-9」的智能手环。围绕这款手环,该公司编造了大量营销文章发布到自媒体平台上,很快,部分大模型就误信了这些内容,甚至正儿八经地推荐起了这款「手环」。更夸张的是,该公司后续发布10余篇评测文章后,就出现了部分大模型优先推荐这款产品的情况。

(图源:央视)

总的来说,AI投毒本质上就是用虚假信息来欺骗AI,再让AI把错误信息展露在用户面前,达到误导用户的目的。AI投毒,背后的动力说白了还是虚假营销。比如,一家企业要推广自家的商品,如果要走「捷径」,就可能会购买这类GEO服务。

现状已经摆在面前了,我们最关心的问题则是:如何破解?面对海量的编造出来的虚假信息,大模型们要如何过滤?面对AI生成的错误答案,普通人又要如何辨别?

AI大厂的反击:为大模型建立免疫系统

其实AI投毒的问题,从大模型诞生的那一刻起就出现了。很多AI大厂,很早就意识到了这个问题,并且也开启了相应的反制措施。

小雷在查询了相关资料后,总结了AI大厂构建免疫系统的手段,具体包括给数据打「数字水印」、建立语料溯源机制、增强信息源交叉验证等。

首先,来看下数据「数字水印」。AI投毒行为往往有个特点,就是先用AI生成批量内容,再用这些内容去投毒。灰产商家这么做很好理解,毕竟人工一篇一篇去写文章的话,人力成本太高了,而且效率太低。

而用AI生成,成本很低,顶多消耗一点付费的Tokens。更何况,这些虚假内容,本质上不是给真人看的,而是拿去欺骗AI的,所以对内容质量没要求。

而给数据打「数字水印」,就是在AI生成内容这一环节提前打下的补丁。说得更具体点,就是在大模型生成文字、图片等内容时,刻意在底层算法上留下痕迹,比如AI在预测下一个Token的概率分布时,故意偏向一组特定词语组合。这样一来,读者阅读这段AI生成文字时,不会觉得有什么问题,但回流到AI这里时,它就能瞬间识别出它不是真人撰写的文字。

有了这项技术,大模型的爬虫在互联网上获取信息时,就能识别出哪些是「有毒」的,并且主动过滤。

关于数字水印,目前比较有代表性的是谷歌的SynthID技术。它不仅能给文字打水印,还能给图片、音频、视频打水印。文字方面,谷歌AI生成的文本在输出前会加入一组伪随机函数,调整特定词语的分布概率。

(图源:Google)

针对图片和视频,大模型则会把水印以像素点阵的方式打上去,人肉眼看不出来,但AI能识别出来。针对音频,AI可以加入特定的声波频率,人耳听不见,完全是作为标识留下的。

然后,我们再来聊聊语料溯源机制。它的核心逻辑,就是给内容在源头上建立档案机制,写入不能篡改的加密元数据,比如内容是谁生成的、具体时间是什么时候、最早在什么设备上出现。

2021年,Adobe、微软、ARM、BBC、英特尔等企业倡导成立了C2PA联盟(Coalition for Content Provenance and Authenticity,内容来源和真实性联盟),旨在抵制虚假信息,为可靠的互联网数字内容颁发「证件」。

(图源:C2PA)

通过它和类似的机制,AI就能在吸收原始资料时主动筛选可靠性更高、更权威的内容,降低野生论坛等可靠性低的内容占比。

最后,再说增强信息交叉验证这部分。理论上,AI在生成内容时,会先去搜索资料,为了保证真实性,会对资料进行事实核查。当然,这一步毫无疑问会增加算力和时间成本,如果AI偷懒就可能会导致容易被骗。

比如315晚会上那个虚假手环,如果大模型有完善的信息验证机制,就会发现,虽然相关文章多,但发布时间密集、内容重复度高等,可信度低。

总的来说,以上提到的手段,都可以在很大程度上遏制AI投毒的现象。当然,让这些手段落地,一方面需要AI厂商有较强的技术能力,另一方面需要增加投入成本,容易被厂商在商业层面上的考量所左右。

大模型之争,已经来到新阶段

早先几年,大模型之间的竞争仍然是在拼参数,头部大模型的参数量早已从亿、十亿级卷到百亿、千亿甚至万亿级。互联网大厂之间的AI军备竞赛还在持续,不断将海量的资金投入到AI基础设施建设上。与此同时,AI Agent、具身智能等相关技术和应用在快速发展,引导大模型快速场景化落地,寻找到更多商业价值。

不过,大模型充当着大脑核心,决定了智能体、具身智能的上限。因此,未来的AI之争,大模型仍然是重点。而从AI投毒的现象来看,GEO相关的行为已经形成了一条完整的灰色产业链,AI已经变成了不法营销的重要入口。

(图源:央视)

AI被盯上,也说明大模型在国内的普及水平已经相当高了。就小雷之前的观察来看,国产大模型产品在普通用户中已经很流行了。和刻板印象不同的是,如今即便是不熟悉科技互联网、文化程度偏低的普通人,也在大规模使用AI。

原因很简单,国产大模型的上手门槛很低,用自然语言对话的模式比传统搜索引擎的关键字搜索更易用。而且,国产AI应用场景化迅速,不仅能给用户答疑解惑,还能与其他互联网服务打通,具备点奶茶、订电影票之类的实用功能。

AI GEO投毒能形成产业链,本质上还是因为AI用户规模足够大,大到能附着大量的商业利益。在这个大背景下,大模型之间的竞争重点,有变化了。

大模型的参数量还在增加,但边际递减效应明显。在很多应用场景里,并不是模型越大越好,而是合适的更好。

同时,模型技术的进化重点之一,将会是如何对抗AI投毒。相比参数、跑分,未来大模型的核心竞争力将变成高质量纯净数据,干净的语料,将会是AI厂商的宝贵资产。

国内头部AI大厂,包括阿里、字节、DeepSeek等,都在数据纯净度方面下了大功夫。阿里2025年就发布了「AI安全护栏」,防范数据污染问题;字节2024年就全面加强了模型训练环节的权限隔离与零信任架构,防止代码和数据池污染;2024年,DeepSeek就宣布在训练阶段采用「正则表达式+AI脱敏工具」双重校验,强力过滤公开数据集中的污染信息和敏感数据。

(图源:阿里)

AI投毒和反投毒,将是一场持久战

看到AI投毒的相关新闻中提到的GEO技术时,小雷瞬间就想到了搜索引擎时代的SEO广告。PC互联网时代,搜索引擎是极为关键的入口,是互联网营销的重点。因此,很多品牌、商家为了增加自己在互联网上的曝光度,会主动进行SEO优化。

搜索引擎品牌也把SEO视作一门生意,搞出了竞价排名,当用户的搜索关键词触发相应的商业项目时,付费品牌排名会靠前。竞价排名这种商业模式引发了巨大的争议,以至于后来搜索品牌不得不特意给SEO广告打上「推广」标签,以和正常算法下的搜索结果相区分。

GEO和SEO一字之差,技术原理和商业链条上高度相似。只能说,技术本身没有原罪,但很难完全避免被恶意利用。随着AI技术的持续发展和落地,与之伴随的商业利益也会滚雪球般越滚越大。

尽管AI大厂们会持续加强防范治理手段,以遏制AI投毒行为,但巨大的利益面前,灰产也会继续不断升级手段、寻找新的漏洞。

就像前文提到的文字水印技术,深谙AI技术的投毒者就会通过将文字翻译成外文再翻回中文的手段来破解。这场猫鼠游戏,将会是一场旷日持久的攻防大战,很难以某种手段一劳永逸地解决。

截至小雷这篇文章完成时,开头我们提到的「Apollo-9」虚假手环,已经在主流大模型产品上被识别出来。由此可以发现,AI大厂针对AI投毒已经有一套防范和纠错机制。

(图源:雷科技)

当然,这起AI投毒案例,也是对作为普通人的我们的一次提醒:AI很强大、很好用,但不是全知全能的,大模型会有幻觉,也可能犯错。

当我们要做重大决策,尤其是涉及到财务资金相关的决策时,要对AI给出的方案慎之又慎。这个过程里,我们不仅要看AI生成的结果,更要看它思考的过程,查证信息源头是否可靠。还有另一个更简单但有效的手段,那就是多用几家AI,相互交叉验证,不要单独依赖某款大模型,货比三家永远是最好的选择。

最后,我们也呼吁相关部门,针对AI投毒完善相应的法律法规,对整条灰色产业链形成威慑。AI投毒,加害者的实施成本很低,但危害很大,而且就像环境污染一样,治理成本很高。在一个AI高速进化的时代里,我们每一个人都期望AI向善而非作恶。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
英伟达技术大牛实名发声:身患重病时,黄仁勋出手帮他抢下生机

英伟达技术大牛实名发声:身患重病时,黄仁勋出手帮他抢下生机

普陀动物世界
2026-11-18 08:58:23
逃过了股市暴跌,却没逃过银行理财的暴击

逃过了股市暴跌,却没逃过银行理财的暴击

深水财经社
2026-11-18 14:21:15
普京来华前夕先送大礼,俄方宣布重磅消息,中国大后方再落一子

普京来华前夕先送大礼,俄方宣布重磅消息,中国大后方再落一子

通鉴史智
2026-11-18 10:06:16
甘肃19岁姑娘,认58岁男上司为干爹,去家中照顾他引发悲剧

甘肃19岁姑娘,认58岁男上司为干爹,去家中照顾他引发悲剧

民间精选故事汇
2025-06-14 13:37:34
41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

桑葚爱动画
2026-11-03 14:18:57
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

体坛卡卡说
2026-11-17 11:05:10
二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

户外阿毽
2026-11-17 06:11:58
完了!膝软骨退化,库里生涯真的要完了……

完了!膝软骨退化,库里生涯真的要完了……

体育新角度
2026-11-18 11:27:31
郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

混沌录
2026-11-17 22:34:08
财报炸裂!英伟达史上首次单季营收突破1000亿美元

财报炸裂!英伟达史上首次单季营收突破1000亿美元

每日经济新闻
2026-11-18 06:31:33
曝蔡天凤案大反转!6000W豪宅邝球拿了3000W,写他名是为了省税

曝蔡天凤案大反转!6000W豪宅邝球拿了3000W,写他名是为了省税

神秘的未知领域
2026-11-18 01:50:28
JunJia绿帽事件迎来结局!Doggo远赴欧洲打比赛,WBG新阵容曝光:RNG双C再次合体

JunJia绿帽事件迎来结局!Doggo远赴欧洲打比赛,WBG新阵容曝光:RNG双C再次合体

风尘Game
2026-11-18 12:56:14
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

兰姐说故事
2025-01-17 10:30:03
真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

派大星纪录片
2025-07-15 13:28:11
午后拉升!千亿PCB龙头,冲上涨停

午后拉升!千亿PCB龙头,冲上涨停

中国基金报
2026-11-18 16:08:54
美媒爆料:勇士酝酿重磅交易,巴特勒、格林均可作为筹码

美媒爆料:勇士酝酿重磅交易,巴特勒、格林均可作为筹码

夜白侃球
2026-11-18 11:25:39
18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

担酒
2026-11-18 15:07:43
高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

靓仔情感
2026-11-17 04:36:22
2026-11-18 17:03:00
雷科技 incentive-icons
雷科技
专注AI硬科技
38182文章数 812474关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
手机
亲子
本地
公开课

情绪真能让健康人"伤心至死"?

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

亲子要闻

宝宝气人但是聪明的4个行为

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版