网易首页 > 网易号 > 正文 申请入驻

别顾着吃315的瓜!大厂打响「数据保卫战」:三张底牌破解AI投毒

0
分享至

又是一年3.15,当天的央视315晚会上,AI大模型被投毒的现象摆到了台面上。具体而言,就是GEO(生成式引擎优化)技术被滥用,部分商业营销公司按照客户需求,编造大量虚假内容,发布到各类平台上,系统性地去影响AI。

在央视记者的探访视频中,业内人士用「力擎GEO优化系统」虚构了一款名为「Apollo-9」的智能手环。围绕这款手环,该公司编造了大量营销文章发布到自媒体平台上,很快,部分大模型就误信了这些内容,甚至正儿八经地推荐起了这款「手环」。更夸张的是,该公司后续发布10余篇评测文章后,就出现了部分大模型优先推荐这款产品的情况。



(图源:央视)

总的来说,AI投毒本质上就是用虚假信息来欺骗AI,再让AI把错误信息展露在用户面前,达到误导用户的目的。AI投毒,背后的动力说白了还是虚假营销。比如,一家企业要推广自家的商品,如果要走「捷径」,就可能会购买这类GEO服务。

现状已经摆在面前了,我们最关心的问题则是:如何破解?面对海量的编造出来的虚假信息,大模型们要如何过滤?面对AI生成的错误答案,普通人又要如何辨别?

AI大厂的反击:为大模型建立免疫系统

其实AI投毒的问题,从大模型诞生的那一刻起就出现了。很多AI大厂,很早就意识到了这个问题,并且也开启了相应的反制措施。

小雷在查询了相关资料后,总结了AI大厂构建免疫系统的手段,具体包括给数据打「数字水印」、建立语料溯源机制、增强信息源交叉验证等。

首先,来看下数据「数字水印」。AI投毒行为往往有个特点,就是先用AI生成批量内容,再用这些内容去投毒。灰产商家这么做很好理解,毕竟人工一篇一篇去写文章的话,人力成本太高了,而且效率太低。

而用AI生成,成本很低,顶多消耗一点付费的Tokens。更何况,这些虚假内容,本质上不是给真人看的,而是拿去欺骗AI的,所以对内容质量没要求。

而给数据打「数字水印」,就是在AI生成内容这一环节提前打下的补丁。说得更具体点,就是在大模型生成文字、图片等内容时,刻意在底层算法上留下痕迹,比如AI在预测下一个Token的概率分布时,故意偏向一组特定词语组合。这样一来,读者阅读这段AI生成文字时,不会觉得有什么问题,但回流到AI这里时,它就能瞬间识别出它不是真人撰写的文字。

有了这项技术,大模型的爬虫在互联网上获取信息时,就能识别出哪些是「有毒」的,并且主动过滤。

关于数字水印,目前比较有代表性的是谷歌的SynthID技术。它不仅能给文字打水印,还能给图片、音频、视频打水印。文字方面,谷歌AI生成的文本在输出前会加入一组伪随机函数,调整特定词语的分布概率。



(图源:Google)

针对图片和视频,大模型则会把水印以像素点阵的方式打上去,人肉眼看不出来,但AI能识别出来。针对音频,AI可以加入特定的声波频率,人耳听不见,完全是作为标识留下的。

然后,我们再来聊聊语料溯源机制。它的核心逻辑,就是给内容在源头上建立档案机制,写入不能篡改的加密元数据,比如内容是谁生成的、具体时间是什么时候、最早在什么设备上出现。

2021年,Adobe、微软、ARM、BBC、英特尔等企业倡导成立了C2PA联盟(Coalition for Content Provenance and Authenticity,内容来源和真实性联盟),旨在抵制虚假信息,为可靠的互联网数字内容颁发「证件」。



(图源:C2PA)

通过它和类似的机制,AI就能在吸收原始资料时主动筛选可靠性更高、更权威的内容,降低野生论坛等可靠性低的内容占比。

最后,再说增强信息交叉验证这部分。理论上,AI在生成内容时,会先去搜索资料,为了保证真实性,会对资料进行事实核查。当然,这一步毫无疑问会增加算力和时间成本,如果AI偷懒就可能会导致容易被骗。

比如315晚会上那个虚假手环,如果大模型有完善的信息验证机制,就会发现,虽然相关文章多,但发布时间密集、内容重复度高等,可信度低。

总的来说,以上提到的手段,都可以在很大程度上遏制AI投毒的现象。当然,让这些手段落地,一方面需要AI厂商有较强的技术能力,另一方面需要增加投入成本,容易被厂商在商业层面上的考量所左右。

大模型之争,已经来到新阶段

早先几年,大模型之间的竞争仍然是在拼参数,头部大模型的参数量早已从亿、十亿级卷到百亿、千亿甚至万亿级。互联网大厂之间的AI军备竞赛还在持续,不断将海量的资金投入到AI基础设施建设上。与此同时,AI Agent、具身智能等相关技术和应用在快速发展,引导大模型快速场景化落地,寻找到更多商业价值。

不过,大模型充当着大脑核心,决定了智能体、具身智能的上限。因此,未来的AI之争,大模型仍然是重点。而从AI投毒的现象来看,GEO相关的行为已经形成了一条完整的灰色产业链,AI已经变成了不法营销的重要入口。



(图源:央视)

AI被盯上,也说明大模型在国内的普及水平已经相当高了。就小雷之前的观察来看,国产大模型产品在普通用户中已经很流行了。和刻板印象不同的是,如今即便是不熟悉科技互联网、文化程度偏低的普通人,也在大规模使用AI。

原因很简单,国产大模型的上手门槛很低,用自然语言对话的模式比传统搜索引擎的关键字搜索更易用。而且,国产AI应用场景化迅速,不仅能给用户答疑解惑,还能与其他互联网服务打通,具备点奶茶、订电影票之类的实用功能。

AI GEO投毒能形成产业链,本质上还是因为AI用户规模足够大,大到能附着大量的商业利益。在这个大背景下,大模型之间的竞争重点,有变化了。

大模型的参数量还在增加,但边际递减效应明显。在很多应用场景里,并不是模型越大越好,而是合适的更好。

同时,模型技术的进化重点之一,将会是如何对抗AI投毒。相比参数、跑分,未来大模型的核心竞争力将变成高质量纯净数据,干净的语料,将会是AI厂商的宝贵资产。

国内头部AI大厂,包括阿里、字节、DeepSeek等,都在数据纯净度方面下了大功夫。阿里2025年就发布了「AI安全护栏」,防范数据污染问题;字节2024年就全面加强了模型训练环节的权限隔离与零信任架构,防止代码和数据池污染;2024年,DeepSeek就宣布在训练阶段采用「正则表达式+AI脱敏工具」双重校验,强力过滤公开数据集中的污染信息和敏感数据。



(图源:阿里)

AI投毒和反投毒,将是一场持久战

看到AI投毒的相关新闻中提到的GEO技术时,小雷瞬间就想到了搜索引擎时代的SEO广告。PC互联网时代,搜索引擎是极为关键的入口,是互联网营销的重点。因此,很多品牌、商家为了增加自己在互联网上的曝光度,会主动进行SEO优化。

搜索引擎品牌也把SEO视作一门生意,搞出了竞价排名,当用户的搜索关键词触发相应的商业项目时,付费品牌排名会靠前。竞价排名这种商业模式引发了巨大的争议,以至于后来搜索品牌不得不特意给SEO广告打上「推广」标签,以和正常算法下的搜索结果相区分。

GEO和SEO一字之差,技术原理和商业链条上高度相似。只能说,技术本身没有原罪,但很难完全避免被恶意利用。随着AI技术的持续发展和落地,与之伴随的商业利益也会滚雪球般越滚越大。

尽管AI大厂们会持续加强防范治理手段,以遏制AI投毒行为,但巨大的利益面前,灰产也会继续不断升级手段、寻找新的漏洞。

就像前文提到的文字水印技术,深谙AI技术的投毒者就会通过将文字翻译成外文再翻回中文的手段来破解。这场猫鼠游戏,将会是一场旷日持久的攻防大战,很难以某种手段一劳永逸地解决。

截至小雷这篇文章完成时,开头我们提到的「Apollo-9」虚假手环,已经在主流大模型产品上被识别出来。由此可以发现,AI大厂针对AI投毒已经有一套防范和纠错机制。



(图源:雷科技)

当然,这起AI投毒案例,也是对作为普通人的我们的一次提醒:AI很强大、很好用,但不是全知全能的,大模型会有幻觉,也可能犯错。

当我们要做重大决策,尤其是涉及到财务资金相关的决策时,要对AI给出的方案慎之又慎。这个过程里,我们不仅要看AI生成的结果,更要看它思考的过程,查证信息源头是否可靠。还有另一个更简单但有效的手段,那就是多用几家AI,相互交叉验证,不要单独依赖某款大模型,货比三家永远是最好的选择。

最后,我们也呼吁相关部门,针对AI投毒完善相应的法律法规,对整条灰色产业链形成威慑。AI投毒,加害者的实施成本很低,但危害很大,而且就像环境污染一样,治理成本很高。在一个AI高速进化的时代里,我们每一个人都期望AI向善而非作恶。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
二选一,詹姆斯下家基本确定,去这两队都比留湖人强

二选一,詹姆斯下家基本确定,去这两队都比留湖人强

海阔山遥YAO
2026-06-27 11:20:27
毛岸英入朝作战牺牲,主要责任人是谁?毛主席其实早就点明过真相

毛岸英入朝作战牺牲,主要责任人是谁?毛主席其实早就点明过真相

听风行天涯
2026-06-25 17:37:54
属虎:6月28到1日连续四天有人找你,其中姓李的人格外上心

属虎:6月28到1日连续四天有人找你,其中姓李的人格外上心

叮当当科技
2026-06-27 04:48:34
河南男生高考536分“捡漏”北大,却因分数过低被北大三次退档,遭全网嘲笑,7年后现状曝光,网友彻底傻眼了

河南男生高考536分“捡漏”北大,却因分数过低被北大三次退档,遭全网嘲笑,7年后现状曝光,网友彻底傻眼了

背包旅行
2026-06-27 11:45:05
祁宏近况:定居上海做青训,50岁锋芒褪去,妻子不离不弃等他5年

祁宏近况:定居上海做青训,50岁锋芒褪去,妻子不离不弃等他5年

胡一舸南游y
2026-06-25 23:22:44
欧洲民众疯抢中国空调,一直不愿装空调的欧洲,40度高温下妥协了

欧洲民众疯抢中国空调,一直不愿装空调的欧洲,40度高温下妥协了

王新喜
2026-06-27 12:01:28
梅西已成最完美球王?先别封神,世界杯数据说明,他还欠点火候

梅西已成最完美球王?先别封神,世界杯数据说明,他还欠点火候

说历史的女人
2026-06-27 12:02:02
中央考核巡查组向广西反馈明查暗访情况,现场移交重大事故隐患追责问责交办单

中央考核巡查组向广西反馈明查暗访情况,现场移交重大事故隐患追责问责交办单

政知新媒体
2026-06-27 15:01:43
全网刷屏!肖战杨紫时隔多年同框,两种声音吵翻热搜

全网刷屏!肖战杨紫时隔多年同框,两种声音吵翻热搜

繁华羽淡洛
2026-06-26 15:15:23
原来他们早已离婚,如今一个在北京当会长,一个发福明显商演谋生

原来他们早已离婚,如今一个在北京当会长,一个发福明显商演谋生

胡一舸南游y
2026-06-25 23:22:59
白玉兰奖落幕:3人口碑暴涨,2人升咖,1人镀金失败,唯她被骂惨

白玉兰奖落幕:3人口碑暴涨,2人升咖,1人镀金失败,唯她被骂惨

荣亭小吏
2026-06-27 10:27:59
父母催婚,并不完全是因为“你该结婚了”,而是因为一旦你不结婚,他们就突然不知道你接下来会走向哪里了

父母催婚,并不完全是因为“你该结婚了”,而是因为一旦你不结婚,他们就突然不知道你接下来会走向哪里了

LULU生活家
2026-06-27 18:18:38
央视点赞杨紫“获奖感言”,释放2大信号,于和伟的话有人信了

央视点赞杨紫“获奖感言”,释放2大信号,于和伟的话有人信了

史料布籍
2026-06-27 12:52:08
索内斯:戈登表现低迷,巴萨现在可能怀疑他值不值7000万英镑

索内斯:戈登表现低迷,巴萨现在可能怀疑他值不值7000万英镑

懂球帝
2026-06-27 18:53:13
闲着没事,你抓什么特务,吃饱了撑的!

闲着没事,你抓什么特务,吃饱了撑的!

雨秋闲话
2026-06-26 11:28:46
震惊了!坐飞机,发现了一名超像豆包的空姐

震惊了!坐飞机,发现了一名超像豆包的空姐

微微热评
2026-06-25 12:35:51
吃着中国的稀土,却往死里卡中国的脖子!对台积电,该下狠手了

吃着中国的稀土,却往死里卡中国的脖子!对台积电,该下狠手了

流史岁月
2026-06-24 21:10:04
据爆料:听说某大厂西安研究所一个女员工,终身合同耗了三年不走,今年被hr带着保安抬出公司了。

据爆料:听说某大厂西安研究所一个女员工,终身合同耗了三年不走,今年被hr带着保安抬出公司了。

纯洁的微笑
2026-06-25 12:49:08
iPhone 17 将打破历史纪录,成为寿命最长的苹果手机!

iPhone 17 将打破历史纪录,成为寿命最长的苹果手机!

XCiOS俱乐部
2026-06-25 19:31:03
国产豪华MPV,补贴价16.55万起掀桌子了!

国产豪华MPV,补贴价16.55万起掀桌子了!

米粒说车唯一呀
2026-06-27 19:44:56
2026-06-27 21:40:49
雷科技 incentive-icons
雷科技
专注AI硬科技
37165文章数 812218关注度
往期回顾 全部

科技要闻

GPT-5.6发布,你暂时用不了!Mythos也放行

头条要闻

"挖眼案"受害男孩高考721分 曾问"天为啥一直是黑的"

头条要闻

"挖眼案"受害男孩高考721分 曾问"天为啥一直是黑的"

体育要闻

世界杯最火门将,站到了阿根廷和梅西面前

娱乐要闻

四提白玉兰终封后,杨紫:仍觉不真实

财经要闻

OpenAI推迟IPO重创软银!

汽车要闻

搭载华为乾崑ADS 5 全新猛士M817上市售29.99万起

态度原创

游戏
时尚
艺术
公开课
军事航空

梦回 06 大荒,六城重绘全新江湖

夏天裤子不要总穿黑的,看看这几款牛仔裤,舒适减龄又百搭

艺术要闻

看完他的局部,我原谅了整个世界的不完美

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

黎以美达成三方框架协议

无障碍浏览 进入关怀版