AI带货视频“批量化”生产 “AI李鬼”游走在灰色地带

一条视频中,两名“儿童”身着白色短袖,在阳光下开心地玩滑板。镜头一转,两人在动作交错时,身体竟然融合在一起,暴露出数字合成痕迹。

今年“双11”期间,北京市民王欢在某社交平台刷到这条童装推广视频,深感诧异,直到看见角落一行“内容由AI生成”的提示,她才意识到孩子玩耍的画面是技术合成的。“这画面错得有些离谱,让人怎么相信商品的真实效果?”她疑惑地说。

近来,商家利用AI技术带货的现象日益增多,有的出现违法违规情形:有借助名人效应,仿冒专家学者、奥运冠军、影视明星为产品站台;有冒充知名品牌误导消费者。不少消费者和粉丝难辨真伪,出于对“偶像”或“品牌”的信任下单,却没意识到背后潜藏的风险。

这些游走在灰色地带的“AI李鬼”,涉嫌侵害当事者的肖像权以及消费者的知情权与选择权,对当下网络数字治理提出新挑战。

AI带货视频“批量化”生产

“两人穿透彼此身体,明显违背真实世界的物理规律,在行业中我们称之为‘穿模’。”资深AI技术人员蓝天说。

他指出,当前主流AI视频生成模型,其核心逻辑是在海量数据训练基础上,具备较强的语言理解和图像生成能力,能够根据文本描述“画”出逼真画面。然而,对于真实世界中复杂的物理规律,如重力、碰撞、物体间的不可穿透性等,AI仍缺乏深刻的感知与预测能力。

“‘穿模’是AI生成视频中的典型漏洞,反映了当前技术在处理复杂动态场景时的局限性,说明数字内容构建与真实物理法则之间仍存在鸿沟。”蓝天说。

记者调查发现,利用AI工具批量生成营销带货视频,在电商运营中相当普遍,网络上甚至出现系统化教程。

在一个面向电商从业者的教学视频中,一名自称经验丰富的直播电商博主,详细讲解如何借助AI快速制作吸引眼球的带货视频。他用来作为“优秀模板”向学员展示的案例,正是王欢看到的出现“穿模”问题的童装视频。

该博主讲述制作“爆款逻辑”称:“学员跟我学习之后,利用AI批量生产这类视频,精准捕捉宝妈心理。视频直击宝妈群体对‘美观’与‘实用’的双重需求,这就是成功的关键。”

另一位博主在账号中推荐更为“进阶”的操作。该博主以一条网络播放量破千万的真实人物炸鸡腿视频为例,现场演示如何利用AI工具对原视频人物进行“深度改造”——不仅能更换面部特征、上衣和饰品,甚至可调整人物的体型与性别。

此类教学内容的传播,模糊了真实与虚构的边界,给消费环境带来隐患与风险。

知名人士接连被冒名带货

“凡是‘捎货’(带货)的肯定不是我!”10月初,在江西南昌举行的一场国际学术年会上,中国工程院院士、国医大师张伯礼以“打假”声明作为开场,向与会者展示了冒用他形象与声音合成制作的AI伪造视频。

“这是人工合成的假视频,讲话声音听起来很像我,但所讲的内容完全不是我的本意。”张伯礼郑重提醒公众,务必提高鉴别力,警惕此类数字造假。

今年10月20日,天津中医药大学发布严正声明,指出近期社会上有“伯礼医堂”“伯礼国医馆”“张伯礼中医院”“张伯礼大药房”等多家机构,冒用张伯礼院士之名,通过社交媒体等平台宣传产品、培训或评审活动。声明中强调,这些机构均与张伯礼院士无任何关联,其行为严重误导社会公众,损害公众健康权益,带来医疗安全隐患,并涉嫌违反相关法律法规。

不仅专家学者深受其扰,知名媒体人也成为被仿冒对象。今年6月,北京市海淀区市场监督管理局查处首例滥用AI技术发布虚假广告的案件。

根据消费者举报,执法人员对北京某公司展开调查发现,该公司通过一个拥有数十万粉丝的视频账号,宣传其销售的“鱼油”具有治疗头晕头痛、记忆力下降等功效。直播视频中出现中央广播电视总台主持人李梓萌的形象。

经深入调查,该公司销售的所谓“鱼油”,实际产品执行标准为普通糖果类食品,不具备治疗功能。经权威机构鉴定,视频中出现的“主持人”形象是利用AI技术伪造生成。最终,该公司因违反《中华人民共和国广告法》相关规定,受到市场监管部门行政处罚。

某平台售卖的“AI电商课”详情页面截图,商家宣称可帮助用户“复刻爆款视频”。受访者供图

向AI换脸、虚假广告等“亮剑”

北京市市场监督管理局副局长周小丰表示,北京市支持AI技术在广告中的广泛应用,同时针对AI换脸、虚假广告等问题敢于“亮剑”。他说,主持人、网红等公众人物社会认知度高,一些不法经营者利用AI技术等方式伪造图片、音视频开展虚假宣传,借助公众人物知名度推销商品服务获利,侵犯了消费者合法权益。

“鉴于AI技术的复杂性和应用的广泛性,AI治理需要实现跨领域协同推进。需要监管持续加码、平台强化责任,更需要网民参与。”中国政法大学副教授、中国广告协会法律与道德委员会专家朱巍表示。

在平台治理方面,部分广告企业着手构建全流程管理机制。营销服务平台巨量引擎商业安全治理标准负责人项韵介绍,面对AI广告违背公序良俗、侵权抄袭、虚假宣传等突出风险,平台聚焦“精准识别、从严处置”,今年第三季度前置拦截涉AI违规素材84万余个。

当前,对AI虚假广告的治理正从依赖人工审核,向人机协同、智能识别方向演进。巨量引擎商业安全产品负责人潘荻表示,通过应用多模态大模型,平台提升了识别效率。系统可快速解析视频素材,定位违规内容出现的具体时段或画面,为审核决策提供参考。

潘荻说,与传统审核模型不同,融合AI能力的大模型能够结合大量案例进行学习,理解规则背后的逻辑。“面对从未见过的人脸或全新的造假技术,系统能基于对规则的理解识别违规本质,从而显著提升对新型、隐蔽违规内容的发现能力。”

面对不断演变的AI造假技术,治理体系需持续优化。朱巍建议,应加强对合成内容的标识与溯源,推动平台、监管部门及技术提供商之间的数据共享与标准共建,构建覆盖内容生成、传播、识别全链条的治理生态,切实维护市场秩序与消费者权益。

针对AI广告带货乱象,北京市市场监督管理局提醒:消费者若发现疑似利用AI技术进行的虚假宣传等违法行为,应注意留存证据材料,并通过12315、12345等热线渠道向市场监管部门举报,共同维护良好的广告市场秩序和消费环境。同时,广大经营者须严格遵守《中华人民共和国广告法》《中华人民共和国反不正当竞争法》等法律法规,不得利用AI等新技术手段冒用他人名义或形象进行营销宣传活动。

来源：中国青年报