网易首页 > 网易号 > 正文 申请入驻

大模型被“投毒”之后,AI时代需要寻找责任的“锚点”

0
分享至

21世纪经济报道记者 董静怡

今年3·15把矛头指向了AI大模型的安全风险——AI大模型“投毒”。

从业者不再满足于利用AI生成内容,而是试图通过系统性操纵互联网上的数据源,反向驯化大模型,让它们在回答问题时,夹带商业私货。

整个过程堪称一场针对AI大模型的围猎,一个名为GEO的产业链已然成形。

在公众朴素的认知里,AI往往代表着客观、理性,如今却被发现可以被低成本地“洗脑”,这无疑是对公众认知基石的侵蚀。

而在技术之外,法律和监管层面也面临挑战。浙江垦丁律师事务所主任律师张延来向21世纪经济报道记者表示,传统的《广告法》和《反不正当竞争法》在应对这种将广告伪装成“AI知识共识”、隐蔽性极强的算法操纵时,往往面临取证难、定性难、穿透难等困境。

此次曝光撕开了一道关于人工智能时代信息秩序的口子。在AI的信息迷雾中,厘清责任、划定红线,已成为守护数字时代的当务之急。

3月15日晚,央视曝光了一种名为GEO(生成式引擎优化)的黑灰产技术。

报道中,业内人士向记者演示了整个操作流程:他在电商平台购买了一款名为“力擎GEO优化系统”的软件,随后虚构了一个根本不存在的智能手环品牌——“Apollo9”。他将“量子纠缠传感”、“黑洞级续航”等夸张且虚假的产品信息输入系统,指令软件自动生成宣传软文,并发布了“专家测评”“行业排名”“用户测评”等,随后在AI大模型搜索“智能健康手环推荐”,这款完全虚构的产品赫然在列,排名靠前。

信任的“交叉验证”机制反被利用。在传统认知中,如果多个信息来源都提及同一件事物,我们倾向于认为它是真实的。GEO服务商正是利用了这一心理和AI的算法逻辑。

当虚假信息从十个、一百个不同账号发出,被AI抓取并进行所谓的“交叉验证”后,谎言便在其逻辑体系中成为了“真理”。

值得警惕的是,这并非个别现象。曝光中的GEO服务商负责人表示,他们公司仅一年时间就服务了200多个客户,遍布各行各业。

事实上,关于AI“投毒”带来的安全风险业内早有讨论。有网络安全行业人士向记者表示,信源污染是大模型时代的核心安全风险。

“大模型的训练离不开数据。”该人士向记者表示,“如果有一些网络上爬取到的样本数据,已经被人有意识的植入毒化的样本,就会造成大模型产生错误。普通的情况下大家察觉不到这个模型已经被毒化。”

GEO正是针对大模型的数据抓取和解析逻辑。黑灰产从业者利用大模型“大力出奇迹”依赖海量数据的特点,通过在公开网页、论坛、百科甚至社交媒体上批量植入经过特殊设计的“提示词”或“隐藏文本”,来“训练”或“诱导”大模型。

对于大多数消费者而言,AI大模型被视为继搜索引擎之后的信息获取主入口。据Gartner预测,到2026年传统搜索引擎访问量将下降25%,到2028年50%的搜索流量将被AI搜索取代。

GEO技术本身是中性的。央视在报道中评价道,它本只是一个优化信息分发的工具,是AI时代的新型营销服务之一。

在传统的搜索引擎营销时代,互联网营销讲的是SEO(搜索引擎优化),企业通过堆砌关键词和购买外链,试图在搜索引擎的排名中占据高位,需要用户点击进入网站后才能辨别真伪。但在大模型时代,模型通过“智能总结”直接将虚假信息作为结论呈现给用户,这一过程省略了用户的跳转与核实环节。

因此,当它被用来系统性、定向地投放虚假信息,用以“围猎”AI大模型时,问题的性质就发生了变化。

曝光之后,法律与监管的跟进往往决定了一个灰色产业的终局。但面对AI大模型,传统的归责体系面临挑战。当AI输出虚假信息误导消费者,责任究竟该由谁来承担?

张延来向记者表示,责任链条中,付费的商家(广告主/获益方)是虚假信息的源头和最终获益者。他们明知或应知其产品信息是虚构的,仍付费雇佣黑产公司进行投毒推广,则属于违法后果第一责任人,直接承担与其行为对应的法律责任。

提供GEO优化服务的灰产公司(技术提供方/实施方)是“投毒”行为的实施者,他们可能跟付费商家一起对违法行为承担连带责任,或者因为AI投毒行为本身独立承担法律责任,例如非法经营或者帮信罪。

在这场复杂的博弈中,一个关键的争议点在于AI大模型平台本身是否应该担责。3·15晚会曝光的案例中,AI模型“被迫”推荐了虚构产品,平台看似也是受害者。

现行的《广告法》和《反不正当竞争法》主要规制的是“人”的行为——广告主、经营者、发布者。但在GEO的产业链中,虚假信息的制造者是人,而最终输出内容的“发布者”却是机器。这种“人机共谋”的局面让传统监管手段显得有些力不从心。

“被利用的AI平台(服务提供者)的责任相对复杂,不能一概而论,通常需要适用‘避风港原则’与‘红旗原则’的结合,并考量其是否尽到了法定的安全管理义务。”张延来向记者表示。

根据《生成式人工智能服务管理暂行办法》第七条,提供者应当"采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性";第十四条规定“提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,并向有关主管部门报告”。

“据此,我认为AI平台的责任应当分两种情形讨论:如果AI平台只是被动抓取了互联网上的虚假信息,在现有技术条件下难以完全识别其为‘投毒’数据,且在接到投诉或通知后及时采取了屏蔽、断开链接、优化模型等措施,通常不需要承担责任;

如果AI平台在算法设计上存在明显漏洞,或者在明知/应知存在大量异常数据’投毒‘的情况下(例如短期内某一虚假产品信息暴增),未采取有效的数据清洗、来源验证和防范措施,甚至为了商业利益纵容此类行为,那么平台就未尽到事前注意义务,需要对扩大的损害承担连带责任。”张延来向记者表示。

一位技术人士向记者指出,GEO只是AI时代信息操纵的冰山一角。随着多模态大模型普及,视频、音频内容也可能成为“投毒”目标。监管与黑产的攻防,将是一场持续升级的持久战。被污染的河流需要数年才能恢复清澈,而被“投毒”的信息世界,重建信任的成本可能更高。

张延来建议,可以从三方面完善治理:一是立法明确“数据投毒”与“正当GEO”界限,对伪造信息操纵AI行为定性为不正当竞争并严惩;二是强化AI平台对引用外部数据的审查与溯源,敏感领域须标注信息来源并提示风险;三是建立多部门协同监管与技术对抗机制,利用AI技术监测异常,斩断黑灰产利益链。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
南京籍留学生披旭日旗后续:过往行为更恶劣,校方立案,使馆介入

南京籍留学生披旭日旗后续:过往行为更恶劣,校方立案,使馆介入

牛锅巴小钒
2026-10-19 09:08:27
中东,突发大消息!

中东,突发大消息!

证券时报
2026-10-19 08:10:02
万茜这双脚一露,我直接破防!性感得太犯规

万茜这双脚一露,我直接破防!性感得太犯规

可乐谈情感
2026-10-19 17:15:44
汉庭快捷有门店推出“欢聚六人房”,顾客称像是“美丽豪华大宿舍”,有网友建议全国推广,华住会官方客服回应

汉庭快捷有门店推出“欢聚六人房”,顾客称像是“美丽豪华大宿舍”,有网友建议全国推广,华住会官方客服回应

极目新闻
2026-10-18 17:12:20
广东球迷意难平!不止因为95-96爆冷开门黑,更多在于以下五点!

广东球迷意难平!不止因为95-96爆冷开门黑,更多在于以下五点!

田先生篮球
2026-10-18 22:16:05
超1000架无人机和17枚火烈鸟袭击俄罗斯,莫斯科和圣彼得堡遭大规模打击

超1000架无人机和17枚火烈鸟袭击俄罗斯,莫斯科和圣彼得堡遭大规模打击

山河路口
2026-10-18 14:04:26
黄克诚晚年吐真言:朱老总带上井冈山的,何止一支军队?

黄克诚晚年吐真言:朱老总带上井冈山的,何止一支军队?

纪史行者
2026-10-18 10:45:20
中华人民共和国公民持美国签证赴阿根廷旅游/商务无需签证和电子签(AVE)

中华人民共和国公民持美国签证赴阿根廷旅游/商务无需签证和电子签(AVE)

创作者_cLg1
2026-10-19 09:34:41
西安事变,大家只关注张学良、杨虎城扣蒋,却忽略了洛阳关键作用

西安事变,大家只关注张学良、杨虎城扣蒋,却忽略了洛阳关键作用

纪史行者
2026-10-17 03:00:03
二十届五中全会10月26日召开!核心聚焦这一项大事

二十届五中全会10月26日召开!核心聚焦这一项大事

娱乐的宅急便
2026-10-19 09:36:40
过火面积等于3个东京!日企高管引燃边境草原大火,日媒集体沉默

过火面积等于3个东京!日企高管引燃边境草原大火,日媒集体沉默

行者聊官
2026-10-18 09:23:21
一年内两次被裁,23岁基本告别NBA,索汉能给杨瀚森什么启发

一年内两次被裁,23岁基本告别NBA,索汉能给杨瀚森什么启发

兵哥篮球故事
2026-10-18 16:04:28
14名前海陆队员落网!伪装成保洁,偷偷运送大批现金交给马科斯

14名前海陆队员落网!伪装成保洁,偷偷运送大批现金交给马科斯

淡淡稻花香s
2026-10-18 21:27:12
被困拉法地道长达18个月,一批哈马斯武装人员传出死讯

被困拉法地道长达18个月,一批哈马斯武装人员传出死讯

桂系007
2026-10-18 22:33:49
美国威胁称,如果欧洲优先考虑本国卫星通信公司,将面临严重后果

美国威胁称,如果欧洲优先考虑本国卫星通信公司,将面临严重后果

山河路口
2026-10-19 13:02:09
宋哲元面对5000俘虏,他令50名刽子手行刑,惨叫声整整响了2天

宋哲元面对5000俘虏,他令50名刽子手行刑,惨叫声整整响了2天

纪史行者
2026-08-23 02:35:04
18分12助12板!正负值高达+27,都说你底薪抱团,可你又混成大腿

18分12助12板!正负值高达+27,都说你底薪抱团,可你又混成大腿

月亮的麦片
2026-10-19 11:15:45
被处分、被解约,她辞职跑马拉松!35岁张水华今年收入曝光,彻底颠覆我对马拉松跑者创收的认知!估计和你想的不一样

被处分、被解约,她辞职跑马拉松!35岁张水华今年收入曝光,彻底颠覆我对马拉松跑者创收的认知!估计和你想的不一样

锐评利物浦
2026-10-18 13:14:55
官宣!斯维托丽娜与孟菲尔斯离婚:俄乌战争给我留下太深的心理创伤

官宣!斯维托丽娜与孟菲尔斯离婚:俄乌战争给我留下太深的心理创伤

陈意小可爱
2026-10-19 16:31:19
湖北推出“社银贷”帮困难群众贷款交社保

湖北推出“社银贷”帮困难群众贷款交社保

名人苟或
2026-10-18 07:02:18
2026-10-19 18:04:49
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
279380文章数 745347关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

一男子在成都租走坦克300 失联半年后GPS在境外上线

头条要闻

一男子在成都租走坦克300 失联半年后GPS在境外上线

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

数码
健康
房产
教育
军事航空

数码要闻

179元 小米米家热敷坐姿垫发布:三挡恒温、久坐提醒

看着很健康的人,怎么会突然猝死?

房产要闻

最新房价:海口,三亚齐跌!

教育要闻

身披旭日旗挑衅底线?莫斯科国立大学中国留学生遭谴责

军事要闻

泽连斯基:若乌“被要求”举行战时选举 他将竞选连任

无障碍浏览 进入关怀版