通信世界网消息(CWW)每年的3·15晚会,都是对消费市场秩序的一次深度“体检”与权威校准,更是对侵害消费者权益违法行为的强力震慑。今年晚会在聚焦食品安全、公共安全等传统民生领域的同时,将镜头精准对准数字经济前沿,以《AI大模型遭“投毒”?给AI“洗脑”已成产业链》为核心议题,首次曝光了GEO(生成式引擎优化)技术异化催生的AI“投毒”灰色产业链。这一乱象不仅扭曲了AI技术的向善本质,更破坏了公平竞争的市场环境、侵害了消费者的合法权益,如何规制技术异化、重构AI治理体系,已成为当下亟待破解的重要课题。
GEO技术异化,AI“投毒”形成完整灰产闭环
从晚会曝光的细节不难看出,GEO本是优化信息分发、提升推广效率的良性技术工具,却在商业利益的驱使下,被不法商家异化为操控AI大模型、谋取不正当利益的“利器”。这些服务商公然宣称,只要支付相应费用,就能通过GEO软件批量生成推广软文,发布至互联网后,诱导AI大模型抓取、收录,进而让客户的产品跻身推荐前列,甚至成为AI给出的“标准答案”。
实测结果令人警醒:一款完全虚构的智能手环,经GEO系统生成虚假宣传软文并全网发布后,短时间内就被多个AI大模型优先推荐,完美实现了“无中生有”的虚假爆款效应。更值得警惕的是,GEO业务已形成完整的灰色产业链闭环,从GEO系统开发、虚假内容生成,到批量发稿投放、排名持续维护,催生出专门从事发稿业务的公司,部分平台单日可发布数百篇虚假软文,形成“工具开发—内容造假—投放‘投毒’—盈利变现”的恶性循环。从业者直言不讳,“干GEO就是投毒”,甚至可通过这种方式抹黑竞争对手,进一步加剧市场乱象。
AI“投毒”背后的技术滥用、商业逐利与监管滞后
笔者认为,AI“投毒”乱象的滋生,绝非偶然,而是技术滥用、监管滞后与商业逐利三者交织的必然结果,其核心是技术异化与治理体系的脱节。
首先,从技术层面看,当前主流AI大模型的核心逻辑是基于海量数据的学习与匹配,自身缺乏对信息真伪的有效甄别能力,面对大规模、同质化的“投毒”软文,极易形成“交叉验证”的假象,将虚假信息误判为有效内容并推荐给用户,这一技术漏洞成为灰产可乘之机。有研究显示,当训练数据中仅存在0.01%的虚假文本时,AI输出的有害内容就会增加11.2%,可见少量“投毒”就会对AI输出质量造成显著影响。
其次,从商业层面看,流量至上的浮躁风气下,部分企业摒弃诚信经营理念,将GEO“投毒”视为低成本、高回报的推广捷径,相较于动辄上亿的传统广告费,几百万的“投毒”成本更具诱惑,这种逐利冲动直接助长了灰产蔓延。
最后,从监管层面看,AI技术迭代速度远超监管体系完善速度,现有法律法规对AI“投毒”这种新型违法行为的定性、责任划分仍不够清晰,违法成本与违法收益严重失衡,导致不法分子肆无忌惮,灰色产业链得以野蛮生长。
AI“投毒”的多重危害远超表面误导
AI“投毒”的危害,远不止于误导消费者,其对消费安全、产业生态乃至公共安全的潜在威胁,值得高度警惕。短期来看,消费者基于对AI技术的信任,易被虚假推荐误导,购买到虚构产品或不合格商品,直接蒙受经济损失,合法的知情权与公平交易权被严重侵害。长期来看,大量虚假信息持续“投喂”AI,会污染AI训练语料库,导致AI模型出现系统性认知偏差,形成“越投毒越偏差、越偏差越误导”的递归污染,不仅会消耗用户对AI技术的信任,更会从根本上削弱AI技术的价值,破坏AI产业的健康生态,阻碍新质生产力的发展。更需警惕的是,若AI“投毒”蔓延至金融、医疗等关键领域,可能引发更严重的公共安全风险——虚假金融信息可能诱发市场波动、损害群众财产安全,错误医疗建议可能危及生命健康,其危害不可估量。
多方协同共治,推进技术纠偏与规制重构
破解AI“投毒”乱象,推进技术异化规制与治理体系重构,单靠某一个主体难以见效,必须构建“平台自律、行业自治、监管发力、用户警惕”的多方协同共治体系,守住技术向善的底线。
首先,AI平台需扛起主体责任,加快优化算法模型,强化对训练数据和网络抓取内容的全链路审核,建立虚假信息识别、拦截与溯源机制,定期清洗受污染数据,提升模型抗干扰能力。同时,对AI生成内容添加显式标识,实现全程可追溯,从源头遏制“投毒”行为。
其次,行业需强化自我约束,明确GEO技术的合法使用边界,杜绝将技术用于虚假宣传、恶意竞争等违法行为,联合制定行业标准与自律准则,淘汰违规服务商,推动GEO技术回归合规优化的本质。
再次,监管部门需加快完善相关法律法规,细化《网络安全法》《个人信息保护法》在AI领域的适用条款,明确AI平台、GEO服务商、发稿平台的责任边界,提高违法成本,开展专项整治行动,严厉打击灰色产业链,形成有力震慑。最后,消费者需提升自我保护意识,理性看待AI推荐结果,不盲目轻信“标准答案”,保留独立判断能力,若遭遇虚假推荐导致权益受损,及时通过法律途径维权,形成全民监督的良好氛围。
3·15晚会对AI“投毒”乱象的曝光,既是对整个AI行业的深刻警示,也是推动AI产业健康发展、推进治理体系重构的重要契机。AI技术的核心价值的是赋能百业、服务民生,而非成为不法商家牟取暴利的工具。技术本身无善恶,关键在于使用技术的人,在于是否有完善的治理体系加以规制。唯有坚守技术向善的底线,通过政府、企业、行业与社会的协同发力,补齐技术漏洞、强化监管效能、规范商业行为,才能有效遏制AI“投毒”灰产,净化AI生态,推动AI技术在规范中创新、在治理中前行,既守护好消费者的合法权益,也为AI产业高质量发展筑牢根基,真正让AI技术造福社会、惠及民生。
作者简介工业和信息化部信息通信经济专家委员会委员、中国数据要素50人论坛主席、中国行为法学会网络与数据法学研究部主任、浙江大学网络空间国际治理研究基地首席专家。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.