作 者丨肖潇
编 辑丨王俊,江佩佩
3月1日晚,刘德华公司发布严正声明,郑重提醒各方人士提高警惕,避免落入AI语音合成技术骗局。
网友纷纷参与讨论,提醒大家一定要“擦亮眼睛,不要受骗”。
21世纪经济报道记者发现,深度合成技术最近找到了新的流量密码。在社交平台上,有人设、有标签、有颜值,仿冒真人的博主在成批涌现,小红书、抖音已经纷纷出手。
刘德华公司严正声明提醒,警惕AI语音合成骗局
3月1日晚间,刘德华电影公司@映艺娱乐 连续发布两则严正声明:
近期,部分网络主体假借刘德华先生粉丝会之名义开设小红书账号:HZJLB20080618,并通过网络平台组建群聊,邀请歌迷成为会员,甚至仿冒“华仔天地”官方网站,通过其盗版网站“华仔俱乐部”(www.awc618.co)散布关于刘德华先生2024年演唱会相关不实信息,同时向消费者收取演唱会门票的订金,造成了恶劣影响。
另一则声明郑重提醒各方人士提高警惕,避免落入此类AI语音合成技术的骗局。
大批AI“假人”涌入社交媒体
十几秒完成换脸
当OpenAI发布Sora的演示视频时,许多人感叹,未来虚拟和现实的边界将被彻底颠覆。眼下Sora还没落地,AI博主已经走进了普通人的日常生活。深度合成技术的影响比想象中来得更快,也更悄无声息。
21世纪经济报道记者发现,在社交平台上假装真人的AI账号,大体可以分为两类:一类是人设各异的颜值博主,比如女大学生、纯欲风美女、男体育生、单亲妈妈;另一类是外国人。他们的分享内容主要是自拍,半身照、皮肤清晰透亮、场景多变,视频也多由静态图片拼接而成。
在社交平台上,娜塔莎是一名定居中国的31岁俄罗斯人,讲一口流利的普通话,喜欢分享俄罗斯美食,定期直播带货。她的账号“娜塔莎进口食品”有二十万粉丝,看起来是无数开店网红中的一个。
但实际上,娜塔莎的所有内容都由AI生成。她的脸来自一位乌克兰视频博主Olga Loiek,后者在YouTube的粉丝刚过一万。“中国有人把我克隆了。”Olga Loiek把这一发现发到YouTube上,引发了热议。
另一个案例,董宇(化名)从去年5月开始运营一个AI美少女的小红书账号,他告诉21世纪经济报道记者,当时AI颜值博主就已经很普遍了。不过,彼时大家更熟悉的是AIGC写真,或者模仿网红、明星。现在不管是生成质量还是风格,都更贴近现实生活中的普通人。
用AI凭空生成一张写实风格的图片,需要多次输入具体的形容词(比如动作、场景、衣服),再用插件修改局部,达到没有“瑕疵”的标准常常要两到三个小时。调用大模型次数多了,还面临充值付费。相比之下,换脸AI只需要十几秒就能生成一张非常自然的图片,几乎不需要任何专业技能,能批量生产,成本逼近为零。
不少网友在社交平台上发帖控诉,AI博主盗用了自己的生活照,有的是保留身体用AI换脸,有的是把脸挪到AI生成的身体上,这也许揭示了许多AI博主“逼真”的一个主要原因。
博主@陈也被网友指出由AI合成
用逼真的视觉收割一定粉丝,主要为了带货。据新抖数据统计,近30天,“温柔”“小姨妹”等账号的累计预估带货金额在5万元以上。
此前抖音发布公告,打击利用AIGC技术创建虚拟人物仿冒真人的内容。小红书也在近期清除了一批AI仿冒博主的账号,并推出AIGC社区主张,强调不能用AI技术虚构使用体验以商业变现。
对于早已使用AI技术带货的电商行业,AI博主是对AI数字人一次技术的简化、玩法的升级。在AI数字人全面介入商品宣传、销售、交易环节的当下,商业变现之路伴随哪些法律风险,同样值得讨论。
AI带货的红线在哪?
北京师范大学法学院副教授、中国互联网协会研究中心副主任吴沈括分析,用AI冒充真人带货,是一种降低成本、简化流程、寻找变现路径的新方式。随着技术演进和商业模式的变化,用AIGC进行低成本逐利的行为会越来越多。
董宇的AI美少女账号流量不小,每条AI内容少则有一百,多则有几千的互动数。不过董宇表示,由于内容明确标明了AI创作,几乎没有商家考虑合作带货。对于他这样的AIGC博主,“最直接的变现方式还是卖课,但卖课肯定走不远。”
2月22日,曾靠卖课海捞5000万元的“AI教父”李一舟所有课程被平台下架。许多消费者投诉“课程太水”,完全可以从免费渠道中学习到,其推广的大模型也被发现涉及合规问题。
而带货看起来是一条跑得通的商业路径。电商行业的从业者已经尝试了不少AI+带货的玩法。比如,第四批通过国产大模型备案的初创公司摹小仙,主要就为电商提供AI模特。此前谢霆锋的美食品牌使用AI虚拟的数字人直播,在抖音的日均成交金额达到16万元。根据艾瑞咨询的数据,AI数字人的发展领域还将进一步拓宽,预计到2025年核心市场规模达到480.6亿元。
中伦律师事务所合伙人王飞律师在采访中告诉21记者,与AI数字人相比,AI假冒真人最核心的不同是非法盗脸,侵害被假冒人的肖像权。
此外,虚假宣传是用AI技术带货值得共同关注的问题。在广告推广的过程中,涉及歪曲事实、虚假宣传、产品质量等问题,将涉嫌损害消费者权益,违反《消费者权益保护法》《广告法》。
举例来说,用AI模特试衣时,通常能够真实呈现衣服的颜色、款式、尺寸、花色等情况,达到与真人模特试衣相近的效果。但如果用AI模特强调护肤产品的滋润、美白效果,可能涉及诱导消费者,甚至涉嫌虚假宣传。王飞表示,虚构是将不存在的产品效果通过渲染方式做出来。这也为电商行业敲响警钟,使用AI技术时需要谨慎选品。
王飞提醒,《网络主播行为规范》规定,利用人工智能技术合成的虚拟主播及内容,参照本行为规范。换句话说,对于电商行业的AI虚拟人物,应参照真人主播的管理规范。在言论合规、产品合规、知识产权合规、广告合规、保护消费者权益等层面,都需要注意合规要求。
警惕AI金融诈骗!小红书、抖音纷纷出手
据21世纪经济报道记者了解,在深度合成技术的加持下,制作未经授权的真人数字复制品变得非常容易,也更难识别。在此之前,心存不轨者不仅仅向普通人的钱包伸手,还瞄准了色情传播、金融诈骗:
今年1月,歌手泰勒·斯威夫特公开与运动员的恋情,有人趁机用AI合成图片,生成以运动员休息室为背景的露骨照片。这一合成照片在X(前Twitter)上的浏览量高达千万次,尽管账户随后被暂停,但内容仍然被疯狂传播,X随后直接封锁了“泰勒·斯威夫特”的搜索词条;
香港近日侦破了一起换脸诈骗案,诈骗者用YouTube、X 等社交软件收集了公司高管的音视频资料,并用深度合成技术换脸、提前生成视频,在Zoom在线会议上成功欺骗了公司职员,涉案金额达到2亿港币。类似的换脸经济诈骗案在去年层出不穷。
北京师范大学法学院副教授、中国互联网协会研究中心副主任吴沈括指出,面对快速迭代的AI技术和涌现的AIGC内容,最重要、最有效的方式是标注AI内容,即对内容性质作出明确标识,这也是目前业内比较常见的做法。《互联网信息服务深度合成管理规定》明确规定,对于内容提供者,需要对AI生成的图片、视频等内容进行标识,以便公众判断。
不过,仅仅依靠用户自觉,难以跟上技术的发展。
小红书团队对21世纪经济报道记者表示,AI 生成内容的真实度和扩散程度不断提高,平台主动的AIGC鉴别能力成为刚需。小红书通过数据去噪、数据增强等保证模型分类精度,不断提升技术手段、增强对AI生成内容的识别能力,对疑似 AI 内容生成的内容自动打上标识。
抖音也表示,采用了人工智能生成内容数据标准或元数据标准,便于其他内容平台进行识别。此外,平台还要求虚拟人主播的账号进行实名注册。
中伦律师事务所合伙人王飞认为,AIGC内容的侵权风险是平台未来的治理难点。AI假冒真人侵权成本较低、权利人维权意愿低、侵权证据取证较难,才让侵权行为“流行”。怎样合理且及时地保护权利人权益,将成为一个重要挑战。
在王飞看来,平台治理的主要方向应该是事先审查和事后追责。比如,平台可以对其发布内容进行直播监测、关键词监测等,留存相关数据,及时跟进用户举报。如果发生违反法律法规、侵权等行为,可以立即纠错并采取惩罚措施。
吴沈括提醒,对于深度合成技术,尤其要关注三方面的问题:一是训练数据的合法性,二是在运用过程中,需要遵从治理规则,比如提供产品和服务的法律要求。最后对用户的投诉举报,平台需要做出及时、有效的响应。
部分资料来自:@映艺娱乐、公开资料
SFC
本期编辑 江佩佩 实习生 谭雅涵
21君荐读
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.