网易首页 > 网易号 > 正文 申请入驻

大模型被“投毒”之后,AI时代需要寻找责任的“锚点”

0
分享至

21世纪经济报道记者 董静怡

今年3·15把矛头指向了AI大模型的安全风险——AI大模型“投毒”。

从业者不再满足于利用AI生成内容,而是试图通过系统性操纵互联网上的数据源,反向驯化大模型,让它们在回答问题时,夹带商业私货。

整个过程堪称一场针对AI大模型的围猎,一个名为GEO的产业链已然成形。

在公众朴素的认知里,AI往往代表着客观、理性,如今却被发现可以被低成本地“洗脑”,这无疑是对公众认知基石的侵蚀。

而在技术之外,法律和监管层面也面临挑战。浙江垦丁律师事务所主任律师张延来向21世纪经济报道记者表示,传统的《广告法》和《反不正当竞争法》在应对这种将广告伪装成“AI知识共识”、隐蔽性极强的算法操纵时,往往面临取证难、定性难、穿透难等困境。

此次曝光撕开了一道关于人工智能时代信息秩序的口子。在AI的信息迷雾中,厘清责任、划定红线,已成为守护数字时代的当务之急。

3月15日晚,央视曝光了一种名为GEO(生成式引擎优化)的黑灰产技术。

报道中,业内人士向记者演示了整个操作流程:他在电商平台购买了一款名为“力擎GEO优化系统”的软件,随后虚构了一个根本不存在的智能手环品牌——“Apollo9”。他将“量子纠缠传感”、“黑洞级续航”等夸张且虚假的产品信息输入系统,指令软件自动生成宣传软文,并发布了“专家测评”“行业排名”“用户测评”等,随后在AI大模型搜索“智能健康手环推荐”,这款完全虚构的产品赫然在列,排名靠前。

信任的“交叉验证”机制反被利用。在传统认知中,如果多个信息来源都提及同一件事物,我们倾向于认为它是真实的。GEO服务商正是利用了这一心理和AI的算法逻辑。

当虚假信息从十个、一百个不同账号发出,被AI抓取并进行所谓的“交叉验证”后,谎言便在其逻辑体系中成为了“真理”。

值得警惕的是,这并非个别现象。曝光中的GEO服务商负责人表示,他们公司仅一年时间就服务了200多个客户,遍布各行各业。

事实上,关于AI“投毒”带来的安全风险业内早有讨论。有网络安全行业人士向记者表示,信源污染是大模型时代的核心安全风险。

“大模型的训练离不开数据。”该人士向记者表示,“如果有一些网络上爬取到的样本数据,已经被人有意识的植入毒化的样本,就会造成大模型产生错误。普通的情况下大家察觉不到这个模型已经被毒化。”

GEO正是针对大模型的数据抓取和解析逻辑。黑灰产从业者利用大模型“大力出奇迹”依赖海量数据的特点,通过在公开网页、论坛、百科甚至社交媒体上批量植入经过特殊设计的“提示词”或“隐藏文本”,来“训练”或“诱导”大模型。

对于大多数消费者而言,AI大模型被视为继搜索引擎之后的信息获取主入口。据Gartner预测,到2026年传统搜索引擎访问量将下降25%,到2028年50%的搜索流量将被AI搜索取代。

GEO技术本身是中性的。央视在报道中评价道,它本只是一个优化信息分发的工具,是AI时代的新型营销服务之一。

在传统的搜索引擎营销时代,互联网营销讲的是SEO(搜索引擎优化),企业通过堆砌关键词和购买外链,试图在搜索引擎的排名中占据高位,需要用户点击进入网站后才能辨别真伪。但在大模型时代,模型通过“智能总结”直接将虚假信息作为结论呈现给用户,这一过程省略了用户的跳转与核实环节。

因此,当它被用来系统性、定向地投放虚假信息,用以“围猎”AI大模型时,问题的性质就发生了变化。

曝光之后,法律与监管的跟进往往决定了一个灰色产业的终局。但面对AI大模型,传统的归责体系面临挑战。当AI输出虚假信息误导消费者,责任究竟该由谁来承担?

张延来向记者表示,责任链条中,付费的商家(广告主/获益方)是虚假信息的源头和最终获益者。他们明知或应知其产品信息是虚构的,仍付费雇佣黑产公司进行投毒推广,则属于违法后果第一责任人,直接承担与其行为对应的法律责任。

提供GEO优化服务的灰产公司(技术提供方/实施方)是“投毒”行为的实施者,他们可能跟付费商家一起对违法行为承担连带责任,或者因为AI投毒行为本身独立承担法律责任,例如非法经营或者帮信罪。

在这场复杂的博弈中,一个关键的争议点在于AI大模型平台本身是否应该担责。3·15晚会曝光的案例中,AI模型“被迫”推荐了虚构产品,平台看似也是受害者。

现行的《广告法》和《反不正当竞争法》主要规制的是“人”的行为——广告主、经营者、发布者。但在GEO的产业链中,虚假信息的制造者是人,而最终输出内容的“发布者”却是机器。这种“人机共谋”的局面让传统监管手段显得有些力不从心。

“被利用的AI平台(服务提供者)的责任相对复杂,不能一概而论,通常需要适用‘避风港原则’与‘红旗原则’的结合,并考量其是否尽到了法定的安全管理义务。”张延来向记者表示。

根据《生成式人工智能服务管理暂行办法》第七条,提供者应当"采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性";第十四条规定“提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,并向有关主管部门报告”。

“据此,我认为AI平台的责任应当分两种情形讨论:如果AI平台只是被动抓取了互联网上的虚假信息,在现有技术条件下难以完全识别其为‘投毒’数据,且在接到投诉或通知后及时采取了屏蔽、断开链接、优化模型等措施,通常不需要承担责任;

如果AI平台在算法设计上存在明显漏洞,或者在明知/应知存在大量异常数据’投毒‘的情况下(例如短期内某一虚假产品信息暴增),未采取有效的数据清洗、来源验证和防范措施,甚至为了商业利益纵容此类行为,那么平台就未尽到事前注意义务,需要对扩大的损害承担连带责任。”张延来向记者表示。

一位技术人士向记者指出,GEO只是AI时代信息操纵的冰山一角。随着多模态大模型普及,视频、音频内容也可能成为“投毒”目标。监管与黑产的攻防,将是一场持续升级的持久战。被污染的河流需要数年才能恢复清澈,而被“投毒”的信息世界,重建信任的成本可能更高。

张延来建议,可以从三方面完善治理:一是立法明确“数据投毒”与“正当GEO”界限,对伪造信息操纵AI行为定性为不正当竞争并严惩;二是强化AI平台对引用外部数据的审查与溯源,敏感领域须标注信息来源并提示风险;三是建立多部门协同监管与技术对抗机制,利用AI技术监测异常,斩断黑灰产利益链。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
张雪发声祝贺!吉利拿下重磅荣誉,中国赛车杀疯了

张雪发声祝贺!吉利拿下重磅荣誉,中国赛车杀疯了

雷科技
2026-05-11 18:18:52
万幸!文班亚马不会追加禁赛或罚款 可出战对阵森林狼天王山之战

万幸!文班亚马不会追加禁赛或罚款 可出战对阵森林狼天王山之战

醉卧浮生
2026-05-12 01:10:15
你们都是什么时候对男女之事开窍的?网友:果然还是拦不住有心人

你们都是什么时候对男女之事开窍的?网友:果然还是拦不住有心人

夜深爱杂谈
2026-02-21 21:37:02
终于要翻身!北京二环内「被遗忘」的老街区,30年苦等迎来腾退

终于要翻身!北京二环内「被遗忘」的老街区,30年苦等迎来腾退

爱看剧的阿峰
2026-05-12 02:06:39
我穿便装到妻子家过年,被厅长大舅哥使唤,警卫员送来文件他愣了

我穿便装到妻子家过年,被厅长大舅哥使唤,警卫员送来文件他愣了

千秋文化
2026-05-08 10:29:06
歌手黄霄云演出后两次晕倒确诊耳石症!连夜赶路连唱9首,工作室强制停工

歌手黄霄云演出后两次晕倒确诊耳石症!连夜赶路连唱9首,工作室强制停工

TVB的四小花
2026-05-11 13:59:18
45岁阿娇现身活动,胯粗屁股大身高是硬伤,五官精致立体像18岁

45岁阿娇现身活动,胯粗屁股大身高是硬伤,五官精致立体像18岁

往史过眼云烟
2026-05-11 19:27:04
我50岁才悟出一个道理:凡是从不参加同学聚会、不爱发动态、不混圈子的人,十有八九在这两个方面远超常人,观察了身边上百人屡试不爽

我50岁才悟出一个道理:凡是从不参加同学聚会、不爱发动态、不混圈子的人,十有八九在这两个方面远超常人,观察了身边上百人屡试不爽

心理观察局
2026-05-08 10:35:21
德隆秀恩爱,42岁身家过亿,二婚娶超模,不工作环游世界

德隆秀恩爱,42岁身家过亿,二婚娶超模,不工作环游世界

大西体育
2026-05-11 22:38:23
根本卖不掉!连续6个一字跌停,封单超百万手,有人已亏91万

根本卖不掉!连续6个一字跌停,封单超百万手,有人已亏91万

财经智多星
2026-05-11 15:26:15
“华为”改为“国内通信设备商”,中天科技撤回投资者关系活动记录表?

“华为”改为“国内通信设备商”,中天科技撤回投资者关系活动记录表?

北京商报
2026-05-11 20:48:14
美国访华行程安排是怎样的?访华费用谁承担?

美国访华行程安排是怎样的?访华费用谁承担?

阿天爱旅行
2026-05-11 15:58:19
黔江2死6伤车祸升级!女司机穿着高跟鞋及医者身份流出,引发公愤

黔江2死6伤车祸升级!女司机穿着高跟鞋及医者身份流出,引发公愤

火山詩话
2026-05-11 13:28:21
美伊还没打完,第二个伊朗出现!对华突然变脸,反向收割中企

美伊还没打完,第二个伊朗出现!对华突然变脸,反向收割中企

看尽人间百态
2026-05-12 02:38:55
随着U17女足3-0,朝鲜队6-0,半决赛对阵确定,马晓旭冲击冠军

随着U17女足3-0,朝鲜队6-0,半决赛对阵确定,马晓旭冲击冠军

何老师呀
2026-05-11 21:46:04
伊朗没料到:打了一仗,没灭掉以色列,反在家门口造出一个更狠的

伊朗没料到:打了一仗,没灭掉以色列,反在家门口造出一个更狠的

Ck的蜜糖
2026-05-12 03:31:57
纽约名媛自曝:我专门写富人有多惨,51岁仍住上东区却让孩子去食物银行做义工

纽约名媛自曝:我专门写富人有多惨,51岁仍住上东区却让孩子去食物银行做义工

娱圈观察员
2026-05-11 20:03:55
中共中央批准,开除他们党籍!合肥市委书记任上被查,两虎贪腐上亿元被判死缓

中共中央批准,开除他们党籍!合肥市委书记任上被查,两虎贪腐上亿元被判死缓

上观新闻
2026-05-11 12:38:08
高中同学聚会,我因退休金2000被大家嘲笑,但结账时他们全傻眼了

高中同学聚会,我因退休金2000被大家嘲笑,但结账时他们全傻眼了

诡谲怪谈
2025-05-27 18:02:55
军购刚结束,郑丽文立刻派张荣恭赴陆交底,直接送上一份大礼!

军购刚结束,郑丽文立刻派张荣恭赴陆交底,直接送上一份大礼!

共工之锚
2026-05-11 22:11:56
2026-05-12 06:32:49
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
247129文章数 744233关注度
往期回顾 全部

科技要闻

黄仁勋:你们赶上了一代人一次的大机会

头条要闻

间谍引诱国企人员进色情场所 拍艳照要挟对方加入

头条要闻

间谍引诱国企人员进色情场所 拍艳照要挟对方加入

体育要闻

梁靖崑:可能是最后一届了,想让大家记住这个我

娱乐要闻

“孕妇坠崖案”王暖暖称被霸凌协商解约

财经要闻

宗馥莉罢免销售负责人 部分业务将外包

汽车要闻

吉利银河“TT”申报图曝光 电动尾翼+激光雷达

态度原创

艺术
教育
房产
旅游
公开课

艺术要闻

人民币78岁了!你见没见过的人民币,都在这里!

教育要闻

有公费海外交换机会的院校(妈妈!免费旷野!

房产要闻

产业赋能教育!翰林府与北师大的这场签约,绝不那么简单!

旅游要闻

打卡同色系风景 带火城市微旅行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版