网易首页 > 网易号 > 正文 申请入驻

当AI也开始“说谎”,我们要如何避坑?

0
分享至

  从日常消费决策到行业信息参考,AI大模型早已成为公众获取信息、做出判断的核心入口,人们对智能助手的依赖度与信任感与日俱增。

  然而,今年央视“3·15”晚会直击AI领域灰色产业链,将GEO(生成式引擎优化)灰色产业链曝光,虚构产品经批量虚假投喂就能登顶AI推荐榜单、付费即可操控AI回答内容等一系列乱象击穿公众信任底线,撕开了行业合规缺口,更让高速增长的GEO市场站在了发展与风控的十字路口。


来源:央视网

  低门槛高收益,灰产啃食AI信任根基

  AI投毒并非简单的虚假营销,而是针对大模型运行机制的新型信息污染,叠加产业链底层的代码注入投毒,具备扩散性与长期性,一旦失控将彻底损毁AI行业可信基础。AI投毒快速蔓延并非偶然,而是多重因素叠加的必然结果,这也是该乱象愈发普遍的核心症结所在:大模型对外界数据依赖度高、校验机制薄弱,加上违规操作成本低、收益高、隐蔽性强、追责困难,导致黑产快速蔓延。

  iiMedia Research(艾媒咨询)发布的《2024-2025年中国AI大模型市场现状及发展趋势研究报告》显示,2025年中国AI大模型市场规模约495.39亿元,预计2026年突破700亿元,庞大的市场体量让灰产嗅到了暴利空间,也让投毒风险进一步增加。


  从应用层面来看,大模型依赖海量互联网数据训练,现有数据校验机制普遍薄弱,无法精准甄别信息真伪与优劣。不法分子借助GEO系统批量生成虚假软文、杜撰测评榜单、伪造用户口碑,分发至自媒体平台后,短时间内就能被主流AI大模型抓取推荐,甚至跻身优选榜单。

  比虚假信息误导更危险的,是AI产业链底层的模型文件序列化代码注入投毒,这成为黑客与灰产实施供应链攻击的新突破口。主流深度学习框架(PyTorch、TensorFlow等)生成的模型权重、checkpoint文件,通常采用Python pickle模块序列化存储;而pickle反序列化时可重写对象__reduce__方法,实现任意代码执行。

  攻击者利用该漏洞,将恶意代码嵌入模型文件并上传至HuggingFace、ModelScope等开源托管平台,开发者使用torch.load()等接口直接加载模型时,会静默触发恶意代码,遭遇供应链攻击。典型案例便是HuggingFace平台playedalive/mdy-red-1项目,其model.pkl文件内嵌反向shell远控后门,对接远控服务器52.48.12.202:8080,加载即被控,风险极具隐蔽性。



来源:北京安普诺信息技术《互联网安全行业:2025开源供应链投毒分析技术报告》(图一为恶意模型项目、图二为模型文件内嵌恶意代码)

  这些技术漏洞叠加商业暴利诱惑,形成“低成本、高回报、难查处”的灰产温床,不仅误导消费、侵害用户权益,更会逐步瓦解公众对人工智能的信任,阻碍整个行业的商业化进程。

  315晚会实测案例更是触目惊心:不法分子借助GEO系统,虚构智能手环产品,一键生成海量虚假软文、测评榜单,批量分发至各大自媒体平台后,短短两小时便被多家主流AI大模型抓取推荐,三天内更是跻身优选榜单。这种“付费改答案、投毒换排名”的操作,明码标价、流程标准化,已然形成完整灰色产业链。

  GEO技术异化,AI投毒已成产业化灰产

  GEO本是中立技术,定位类似于AI时代的SEO,核心价值是助力优质内容被大模型高效抓取、呈现,提升信息分发的规范性与可信度。但在利益驱动下,这项技术彻底异化,沦为灰产牟利的工具,演变成系统化、低成本、高隐蔽性的AI投毒产业链。

  从操作模式来看,灰产团伙借助GEO系统一键批量生成虚假内容,全网分发后利用大模型审核漏洞,将虚构信息包装成“优质推荐”。部分服务商甚至推出明码标价的投毒套餐,付费即可锁定推荐排位,买三送一等营销手段更是暴露了行业乱象。


来源:央视财经

  需要明确的是,GEO技术本身无好坏之分,核心在于使用目的、手段与内容。合规GEO优化是适配AI抓取逻辑、提升信息可信度,助力优质内容触达用户;而恶意投毒则是通过伪造信息、批量刷屏、冒充权威、恶意堆砌关键词等手段,刻意操控AI输出结果,属于典型的不正当竞争与信息欺诈,二者本质泾渭分明。

  中立工具无好坏,合规与恶意泾渭分明

  面对AI投毒乱象,市场一度对GEO技术产生全盘否定的误区。GEO作为中立技术,本身并无好坏之分,核心在于使用目的、手段与内容,必须严格区分合规优化与恶意投毒,避免一刀切遏制行业正常创新。

  合规的GEO优化,本质是适配AI抓取与生成逻辑,提升信息规范性与可信度,助力优质内容精准触达用户,是AI时代正常的营销与信息优化手段;而恶意AI投毒,则是通过伪造信息、批量刷屏、冒充权威、恶意堆砌关键词等违规手段,刻意操控AI输出结果,属于典型的不正当竞争与信息欺诈。

  技术层面可通过三大维度实现精准甄别:一是信源权威性,核查信息发布主体的资质与可信度;二是发布行为异常度,监测批量发稿、刷屏控评等违规操作;三是内容真实性与一致性,核验信息是否虚构、前后是否矛盾。通过这套甄别体系,既能保障合规GEO的正常发展,也能精准打击恶意投毒行为。

  从市场规模来看,GEO行业正处于爆发式增长期。iiMedia Research(艾媒咨询)数据显示,2026年全球GEO市场规模预计达291.7亿美元,同比增速高达159.3%,中国市场规模有望突破942亿元,2030年预计将激增至6338.1亿元。如此庞大的蓝海市场,若被灰产裹挟,不仅会劣币驱逐良币,更会葬送行业发展前景,规范治理刻不容缓。


  多方协同共治,破解监管治理难题

  艾媒咨询CEO兼首席分析师张毅表示,AI投毒涉及广告商、GEO服务商、大模型平台等多方主体,责任应遵循“谁发起谁主责、谁服务谁同责、谁运营谁担责”的原则。由于链条长、跨平台、行为隐蔽、取证难度大,确实给监管带来严峻挑战。解决之道在于压实平台主体责任、实施全链条打击、运用技术手段监测防控,并加快完善相关法律与标准。

  当前,AI投毒灰产之所以屡禁不止,核心在于违法成本远低于违规收益。部分商家为抢占AI推荐位,不惜花费重金批量投毒;部分GEO服务商披着技术外衣规避监管,钻法律空子牟利;部分大模型平台疏于数据审核,沦为灰产的“传声筒”。这种多方失职的局面,让虚假信息肆意泛滥。

  针对治理痛点,结合多方责任划分原则,可有以下的破局方向:

  其一,压实平台主体责任。大模型平台需建立严格的数据准入与内容审核机制,升级信源白名单、语义过滤、溯源标注等技术防控手段,从源头阻断虚假信息抓取;内容分发平台要加强账号与稿件审核,杜绝批量虚假软文传播,履行平台运营主体责任。

  其二,实施全链条打击。监管部门需协同网信、市场监管、工信等多方力量,开展专项治理,重点打击GEO投毒软件开发商、批量发稿灰产团队、付费投毒商家,斩断灰色利益链条,落实发起者、服务商的连带追责。

  其三,强化技术监测防控。运用AI反制AI,搭建智能化监测系统,实时识别批量投毒、虚假信息堆砌等违规行为,提升违规甄别效率与精准度,弥补人工审核的短板。

  坚守科技向善:可信AI才是长远之道

  人工智能商业化提速的当下,不能以牺牲安全可信为代价换取短期利益。安全可信必须置于商业利益之前,唯有企业自律、监管发力、行业共建,才能破除AI投毒乱象,构建健康可持续的AI生态。

  对企业而言,要摒弃流量至上、投机取巧的短视思维,将诚信经营融入发展内核,拒绝付费投毒、虚假营销,专注产品实力与服务质量;同时建立完善的内容风控体系,实现AI生成内容可审计、可追溯、可解释,主动维护行业公信力。

  监管层面,需加快完善法律法规与行业标准,明确AI投毒、违规GEO操作的界定标准与处罚细则,提高违法成本,让法律长出“牙齿”;同时推动《人工智能生成合成内容标识办法》落地见效,补齐数据溯源、责任认定等漏洞,实现常态化监管。


来源:国家互联网信息办公室官网

  对行业整体,要加强自律共建,依托行业公约、自律联盟等形式,抵制恶意投毒、不正当竞争行为,引导GEO技术回归合规赋能的本质。正如国内首个《生成式引擎优化(GEO)行业自律公约》的签署,正是行业纠偏、规范发展的重要开端。

  归根结底,人工智能商业化必须坚守科技向善底线,平衡创新发展与风险防控,推动可审计、可追溯、可解释的可信AI建设,让技术真正服务于社会公共利益。

  AI投毒的曝光是警醒,更是行业规范发展的契机。AI的核心价值是传递真实、赋能效率,而非成为商业操控、虚假牟利的工具。唯有压实各方责任、完善监管体系、强化技术防控,才能彻底清除投毒毒瘤,重建公众信任。

  未来,随着合规治理深化、行业自律加强,GEO技术将回归良性轨道,人工智能也能实现技术价值与社会价值的统一。普通用户也需保持独立判断,不盲目轻信AI推荐,多方核验权威信息,共同守护清朗的AI信息生态。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全红婵紧抱谷爱凌,张口就说:你好漂亮啊,整个人闪闪发光

全红婵紧抱谷爱凌,张口就说:你好漂亮啊,整个人闪闪发光

喜文多见01
2026-03-26 09:54:39
2012年,用U型锁砸日系车并重伤车主的蔡洋早已出狱,如今怎样了

2012年,用U型锁砸日系车并重伤车主的蔡洋早已出狱,如今怎样了

谈史论天地
2026-03-25 09:57:09
张天爱太丰满了!穿挂脖裙兜不住好身材,真让人心动!

张天爱太丰满了!穿挂脖裙兜不住好身材,真让人心动!

东方不败然多多
2026-03-09 06:31:29
白宫:美国总统特朗普将于5月访华

白宫:美国总统特朗普将于5月访华

辇毂
2026-03-26 05:18:40
这4种鱼,可能含有甲醛和重金属,建议:还是少吃比较好!

这4种鱼,可能含有甲醛和重金属,建议:还是少吃比较好!

阿龙美食记
2026-03-24 21:52:23
“戏混子”又来霍霍年代剧?老气横秋、演技拉胯,难怪观众不买账

“戏混子”又来霍霍年代剧?老气横秋、演技拉胯,难怪观众不买账

翰飞观事
2026-03-24 17:00:30
我爱上41岁女人,她开口:玩玩可以但不结婚,得知真相我瘫坐在地

我爱上41岁女人,她开口:玩玩可以但不结婚,得知真相我瘫坐在地

小月故事
2026-03-19 17:08:37
魏正耀同志逝世

魏正耀同志逝世

极目新闻
2026-03-26 08:35:02
伊朗大杀器登场,以色列被打疼,美迎来不眠之夜,特朗普被迫让步

伊朗大杀器登场,以色列被打疼,美迎来不眠之夜,特朗普被迫让步

南宗历史
2026-03-26 09:50:36
李霄鹏:会关注王钰栋,他有可能成为未来中国足球的领军人物

李霄鹏:会关注王钰栋,他有可能成为未来中国足球的领军人物

懂球帝
2026-03-26 08:56:59
定了!全票通过!杜兰特又要换队……

定了!全票通过!杜兰特又要换队……

贵圈真乱
2026-03-26 11:35:13
张雪峰猝死后,卢克文也不敢跑步了,曾每年跑1千公里,身体垮了

张雪峰猝死后,卢克文也不敢跑步了,曾每年跑1千公里,身体垮了

水晶的视界
2026-03-26 09:28:29
给日本定规矩,普京撂下狠话!敢给泽连斯基武器,就是与俄为敌?

给日本定规矩,普京撂下狠话!敢给泽连斯基武器,就是与俄为敌?

知法而形
2026-03-26 11:19:12
广州一奔驰车变道不打灯还别停后车,下车争执倒车撞击后车车主并逃离现场,被处以行政拘留5日、罚款500元

广州一奔驰车变道不打灯还别停后车,下车争执倒车撞击后车车主并逃离现场,被处以行政拘留5日、罚款500元

大象新闻
2026-03-26 09:45:04
筱梅晒图,汪宝满月,桌子上仅摆6个菜,发文称简单即是幸福!

筱梅晒图,汪宝满月,桌子上仅摆6个菜,发文称简单即是幸福!

潮鹿逐梦
2026-03-26 11:02:11
连续三天,重庆市委书记袁家军围绕这件事调研

连续三天,重庆市委书记袁家军围绕这件事调研

中国乡村振兴
2026-03-26 10:02:48
4月1日就医新规:只带医保卡不能报销,这两样东西一定要带齐

4月1日就医新规:只带医保卡不能报销,这两样东西一定要带齐

世界圈
2026-03-26 08:05:05
韩媒臆想:中国队欢呼吧,国际足联同意他们替补世界杯

韩媒臆想:中国队欢呼吧,国际足联同意他们替补世界杯

体坛风之子
2026-03-26 07:00:06
6岁男童被弃酒店半个月,妈妈终于现身!孩子紧紧抱住不愿松手,网友:这孩子懂事得让人心疼

6岁男童被弃酒店半个月,妈妈终于现身!孩子紧紧抱住不愿松手,网友:这孩子懂事得让人心疼

大风新闻
2026-03-25 15:43:11
“只要决心够大,诺贝尔奖不在话下!”

“只要决心够大,诺贝尔奖不在话下!”

槽逻辑
2026-03-24 18:46:27
2026-03-26 12:15:00
艾媒咨询 incentive-icons
艾媒咨询
用数据说话 为增长导航
2938文章数 3280关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

36岁男子辞百万年薪工作 在电商卖玩具半年赚了300万

头条要闻

36岁男子辞百万年薪工作 在电商卖玩具半年赚了300万

体育要闻

35岁替补门将,凭什么入选英格兰队?

娱乐要闻

张雪峰家人首发声 不设追思会丧事从简

财经要闻

黄仁勋:芯片公司的时代已经结束了

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

教育
健康
艺术
时尚
数码

教育要闻

江苏省2026—2028年度中小学生竞赛活动名单来了!

转头就晕的耳石症,能开车上班吗?

艺术要闻

哪一座桥不是风景?

《非穷尽列举》,好看又绝望

数码要闻

戴尔发布MS526C有线鼠标:集成指纹识别 免密码登录Windows

无障碍浏览 进入关怀版