网易首页 > 网易号 > 正文 申请入驻

大模型被“投毒”之后,AI时代需要寻找责任的“锚点”

0
分享至

21世纪经济报道记者 董静怡

今年3·15把矛头指向了AI大模型的安全风险——AI大模型“投毒”。

从业者不再满足于利用AI生成内容,而是试图通过系统性操纵互联网上的数据源,反向驯化大模型,让它们在回答问题时,夹带商业私货。

整个过程堪称一场针对AI大模型的围猎,一个名为GEO的产业链已然成形。

在公众朴素的认知里,AI往往代表着客观、理性,如今却被发现可以被低成本地“洗脑”,这无疑是对公众认知基石的侵蚀。

而在技术之外,法律和监管层面也面临挑战。浙江垦丁律师事务所主任律师张延来向21世纪经济报道记者表示,传统的《广告法》和《反不正当竞争法》在应对这种将广告伪装成“AI知识共识”、隐蔽性极强的算法操纵时,往往面临取证难、定性难、穿透难等困境。

此次曝光撕开了一道关于人工智能时代信息秩序的口子。在AI的信息迷雾中,厘清责任、划定红线,已成为守护数字时代的当务之急。

3月15日晚,央视曝光了一种名为GEO(生成式引擎优化)的黑灰产技术。

报道中,业内人士向记者演示了整个操作流程:他在电商平台购买了一款名为“力擎GEO优化系统”的软件,随后虚构了一个根本不存在的智能手环品牌——“Apollo9”。他将“量子纠缠传感”、“黑洞级续航”等夸张且虚假的产品信息输入系统,指令软件自动生成宣传软文,并发布了“专家测评”“行业排名”“用户测评”等,随后在AI大模型搜索“智能健康手环推荐”,这款完全虚构的产品赫然在列,排名靠前。

信任的“交叉验证”机制反被利用。在传统认知中,如果多个信息来源都提及同一件事物,我们倾向于认为它是真实的。GEO服务商正是利用了这一心理和AI的算法逻辑。

当虚假信息从十个、一百个不同账号发出,被AI抓取并进行所谓的“交叉验证”后,谎言便在其逻辑体系中成为了“真理”。

值得警惕的是,这并非个别现象。曝光中的GEO服务商负责人表示,他们公司仅一年时间就服务了200多个客户,遍布各行各业。

事实上,关于AI“投毒”带来的安全风险业内早有讨论。有网络安全行业人士向记者表示,信源污染是大模型时代的核心安全风险。

“大模型的训练离不开数据。”该人士向记者表示,“如果有一些网络上爬取到的样本数据,已经被人有意识的植入毒化的样本,就会造成大模型产生错误。普通的情况下大家察觉不到这个模型已经被毒化。”

GEO正是针对大模型的数据抓取和解析逻辑。黑灰产从业者利用大模型“大力出奇迹”依赖海量数据的特点,通过在公开网页、论坛、百科甚至社交媒体上批量植入经过特殊设计的“提示词”或“隐藏文本”,来“训练”或“诱导”大模型。

对于大多数消费者而言,AI大模型被视为继搜索引擎之后的信息获取主入口。据Gartner预测,到2026年传统搜索引擎访问量将下降25%,到2028年50%的搜索流量将被AI搜索取代。

GEO技术本身是中性的。央视在报道中评价道,它本只是一个优化信息分发的工具,是AI时代的新型营销服务之一。

在传统的搜索引擎营销时代,互联网营销讲的是SEO(搜索引擎优化),企业通过堆砌关键词和购买外链,试图在搜索引擎的排名中占据高位,需要用户点击进入网站后才能辨别真伪。但在大模型时代,模型通过“智能总结”直接将虚假信息作为结论呈现给用户,这一过程省略了用户的跳转与核实环节。

因此,当它被用来系统性、定向地投放虚假信息,用以“围猎”AI大模型时,问题的性质就发生了变化。

曝光之后,法律与监管的跟进往往决定了一个灰色产业的终局。但面对AI大模型,传统的归责体系面临挑战。当AI输出虚假信息误导消费者,责任究竟该由谁来承担?

张延来向记者表示,责任链条中,付费的商家(广告主/获益方)是虚假信息的源头和最终获益者。他们明知或应知其产品信息是虚构的,仍付费雇佣黑产公司进行投毒推广,则属于违法后果第一责任人,直接承担与其行为对应的法律责任。

提供GEO优化服务的灰产公司(技术提供方/实施方)是“投毒”行为的实施者,他们可能跟付费商家一起对违法行为承担连带责任,或者因为AI投毒行为本身独立承担法律责任,例如非法经营或者帮信罪。

在这场复杂的博弈中,一个关键的争议点在于AI大模型平台本身是否应该担责。3·15晚会曝光的案例中,AI模型“被迫”推荐了虚构产品,平台看似也是受害者。

现行的《广告法》和《反不正当竞争法》主要规制的是“人”的行为——广告主、经营者、发布者。但在GEO的产业链中,虚假信息的制造者是人,而最终输出内容的“发布者”却是机器。这种“人机共谋”的局面让传统监管手段显得有些力不从心。

“被利用的AI平台(服务提供者)的责任相对复杂,不能一概而论,通常需要适用‘避风港原则’与‘红旗原则’的结合,并考量其是否尽到了法定的安全管理义务。”张延来向记者表示。

根据《生成式人工智能服务管理暂行办法》第七条,提供者应当"采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性";第十四条规定“提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,并向有关主管部门报告”。

“据此,我认为AI平台的责任应当分两种情形讨论:如果AI平台只是被动抓取了互联网上的虚假信息,在现有技术条件下难以完全识别其为‘投毒’数据,且在接到投诉或通知后及时采取了屏蔽、断开链接、优化模型等措施,通常不需要承担责任;

如果AI平台在算法设计上存在明显漏洞,或者在明知/应知存在大量异常数据’投毒‘的情况下(例如短期内某一虚假产品信息暴增),未采取有效的数据清洗、来源验证和防范措施,甚至为了商业利益纵容此类行为,那么平台就未尽到事前注意义务,需要对扩大的损害承担连带责任。”张延来向记者表示。

一位技术人士向记者指出,GEO只是AI时代信息操纵的冰山一角。随着多模态大模型普及,视频、音频内容也可能成为“投毒”目标。监管与黑产的攻防,将是一场持续升级的持久战。被污染的河流需要数年才能恢复清澈,而被“投毒”的信息世界,重建信任的成本可能更高。

张延来建议,可以从三方面完善治理:一是立法明确“数据投毒”与“正当GEO”界限,对伪造信息操纵AI行为定性为不正当竞争并严惩;二是强化AI平台对引用外部数据的审查与溯源,敏感领域须标注信息来源并提示风险;三是建立多部门协同监管与技术对抗机制,利用AI技术监测异常,斩断黑灰产利益链。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
履新一年多后,成都市委常委刘任远被查

履新一年多后,成都市委常委刘任远被查

大风新闻
2026-08-27 11:35:03
“看不懂的东西千万别乱戴!!”哈哈哈哈哈这是哪门子潮人啊!!

“看不懂的东西千万别乱戴!!”哈哈哈哈哈这是哪门子潮人啊!!

脆皮先生
2026-08-26 20:46:38
华南农业大学多名学生毕业仍被扣8053元学费,校园卡科:操作失误所致,学生被扣钱款已全部退回

华南农业大学多名学生毕业仍被扣8053元学费,校园卡科:操作失误所致,学生被扣钱款已全部退回

大风新闻
2026-08-26 15:47:17
范冰冰消失第八年,在东南亚赚得比当年还多,劣迹艺人找到退路?

范冰冰消失第八年,在东南亚赚得比当年还多,劣迹艺人找到退路?

华文商讯
2026-08-24 16:23:17
又蠢又坏的榜样,萨达姆扣押全球人质事件

又蠢又坏的榜样,萨达姆扣押全球人质事件

老头和你随便聊聊
2026-08-26 12:41:49
“第一个被姑姑退回来的孩子!”一段视频,戳破亲戚间体面的遮羞布!

“第一个被姑姑退回来的孩子!”一段视频,戳破亲戚间体面的遮羞布!

林林先生
2026-08-26 09:25:09
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
芋头是“天然胰岛素”?提醒:想控好血糖,糖尿病人常吃5种主食

芋头是“天然胰岛素”?提醒:想控好血糖,糖尿病人常吃5种主食

杜医生聊健康
2026-08-25 17:50:22
徐向前晚年吐露终极秘史:若无西安事变,红军早已开启第二次长征

徐向前晚年吐露终极秘史:若无西安事变,红军早已开启第二次长征

范剬舍长
2026-08-16 10:21:07
穆帅盛赞完成帽子戏法的姆巴佩:期待姆巴佩大四喜;愿姆巴佩为皇马争冠,甘愿少进球

穆帅盛赞完成帽子戏法的姆巴佩:期待姆巴佩大四喜;愿姆巴佩为皇马争冠,甘愿少进球

福酱的小时光
2026-08-27 08:26:33
一夜5笔HWG敲定!罗马诺连爆转会:曼城连出连进 拜仁前锋转战西甲

一夜5笔HWG敲定!罗马诺连爆转会:曼城连出连进 拜仁前锋转战西甲

桑葚爱动画
2026-08-26 14:44:32
CBA新赛季分组:第四组焦点京粤大战 同组交锋4场+合计46轮

CBA新赛季分组:第四组焦点京粤大战 同组交锋4场+合计46轮

醉卧浮生
2026-08-27 20:36:52
联手锡安!2年1600万!总决赛后卫加盟鹈鹕

联手锡安!2年1600万!总决赛后卫加盟鹈鹕

篮球实战宝典
2026-08-27 00:04:00
女排亚锦赛淘汰赛时间揭晓,央视全程直播,日泰韩将提前火拼

女排亚锦赛淘汰赛时间揭晓,央视全程直播,日泰韩将提前火拼

南海浪花
2026-08-27 07:08:03
1979年打越南,高层其实吵翻了天?叶剑英粟裕为何反对出兵?

1979年打越南,高层其实吵翻了天?叶剑英粟裕为何反对出兵?

鹤羽说个事
2026-04-22 22:36:00
近期,东京入管局门前排满了等待回国的外国人

近期,东京入管局门前排满了等待回国的外国人

东京在线
2026-08-26 21:02:06
何炅自曝多年“断交者”不超4人:“极少排斥别人,伤害朋友才会翻脸”

何炅自曝多年“断交者”不超4人:“极少排斥别人,伤害朋友才会翻脸”

娱乐嗑学家.
2026-08-27 20:45:38
我在西伯利亚当农场主,娶了4个当地媳妇,前阵子我妈病危回国,等我再回去时,眼前的景象让我瘫坐在雪地里

我在西伯利亚当农场主,娶了4个当地媳妇,前阵子我妈病危回国,等我再回去时,眼前的景象让我瘫坐在雪地里

墨染尘香
2026-08-25 09:11:56
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
尼泊尔严重山洪致157死484失踪,波及西藏口岸造成重大伤亡

尼泊尔严重山洪致157死484失踪,波及西藏口岸造成重大伤亡

iWeekly周末画报
2026-08-27 09:32:22
2026-08-27 21:19:00
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
269005文章数 745049关注度
往期回顾 全部

科技要闻

苹果邀请函:新CEO、折叠屏iPhone都要来了

头条要闻

90后"奶茶姐姐"当选香飘飘副董事长 系董事长之女

头条要闻

90后"奶茶姐姐"当选香飘飘副董事长 系董事长之女

体育要闻

因为这条规则,欧联冠军一个夏天散伙了

娱乐要闻

包贝尔幽会后陪老婆!曾炫耀谈7个女友

财经要闻

机构预测"过剩",市场却在疯抢废铜?

汽车要闻

领克900:心之所向皆可抵达 | 潮汕篇

态度原创

游戏
家居
艺术
手机
数码

连我老婆都知道了!《GTA6》网飞首播成功破圈

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

250米!大疆新总部施工快速推进!为什么采用三角形态?

手机要闻

小米澎湃OS 4相机UI焕新亮点公布,功能提示、拍摄观感优化

数码要闻

安克MagGo磁吸移动电源2.0曝光:升级25W Qi2.2无线充电

无障碍浏览 进入关怀版