抖音的算法那么强，为什么也管不住“AI温峥嵘”们？

图片来源：《新闻女王2》

出品｜搜狐科技

作者｜张莹 常博硕

编辑｜杨 锦

最近热播的《新闻女王2》中有这样一个情节：SNK电视台未经允许，使用离职的文慧心和已故主播梁景仁的形象，制作AI虚拟主播进行新闻播报。

而几乎与剧集同步，现实中也上演了相似一幕。演员温峥嵘发现自己的形象被AI换脸后出现在多个带货直播间中。她本人进入直播间质问“你是温峥嵘我是谁？”，反被对方直接拉黑。

AI仿冒行为肆虐，你在直播间看到的董宇辉等名人，很可能不是本人，而是通过AI技术仿冒的冒牌货。早在三个月前，就有媒体报道揭露，有人利用AI模仿奥运冠军全红婵的声音，带货销售土鸡蛋。

面对这一乱象，抖音集团副总裁李亮回应称，“AI内容侵权识别是行业性技术难题，恶意仿冒账号也在不断与平台进行技术对抗，抖音会持续加大投入应对挑战。”

抖音一直以算法精湛著称，为什么也会对识别AI换脸感到为难呢？

有资深算法从业者对搜狐科技解释了AI换脸的检测原理：即便图像在人眼看来毫无破绽，一旦通过频率变换等技术手段进行分析，被篡改的区域在特定维度上会呈现异常的数值尖刺，与真实图像特征存在明显差异。

他也强调，对于抖音直播这类大规模应用，如果不惜成本，也可以有效防范AI换脸，比如为每个直播间配置顶级硬件检测或最先进的防护模型，但成本会是天文数字。

清华大学人工智能国际治理研究院副院长梁正教授对搜狐科技指出，目前治理的难点在于查处的“及时性”。“平台需要有一些投入，能够去及时识别（AI盗用形象直播）。我们颁布了《人工智能生成合成内容标识办法》，平台也有义务去监管。”

梁正进一步强调，比“仿冒形象”更严峻的挑战是完全虚拟的“数字人”。“它可能凭空捏造一个‘科学家’或‘医生’等根本不存在的身份，直接构成对公众的欺骗。在这种情况下，强制性的‘人工智能生成内容标识’就成为最重要的底线，必须明确告知公众‘这不是真人’。”

AI盗播，拦不住还是不想拦？

明明正在刷着手机，却看到和自己长得一模一样的人正在屏幕对面直播带货。演员温峥嵘经历这一幕后，在直播间敲下一行质问：“你是温峥嵘我是谁？”随后被拉黑。

温峥嵘在直播间讲述这场荒诞对峙后，AI盗播引发广泛关注。

温峥嵘的遭遇并非个例。以抖音为例，数据显示，抖音电商10月启动“仿冒名人宣传”专项治理行动以来，处置涉及侵权仿冒违规的达人账号多达1.1万个，其中典型的违规案例就包括AI仿冒侵权。

抖音集团副总裁李亮表示，AI内容侵权识别是行业性技术难题，恶意仿冒账号也在不断与平台进行技术对抗，抖音会持续加大投入应对挑战，维护创作者、商家和消费者的合法权益。

对于AI换脸的技术原理，新加坡科技研究局科学家李韶华对搜狐科技介绍，“简单来说就是人脸或者任何物体都对应了特征空间里的一个向量，比如我用我的脸录了一段视频，然后我把视频映射到特征空间，我的脸的向量是a，黄渤的向量是b，那在特征空间里找到a，替换成b 然后再从特性空间映射回视频，就生成了黄渤脸的视频。”

随着AI技术的发展，AI换脸变得触手可及，李韶华称，“开源模型+小型GPU就可以做到了”。

有头部企业算法资深从业人士向搜狐科技介绍，检测AI换脸或者P图的原理在于，即便图像在人眼看来毫无破绽，但一旦通过技术手段，比如频率变换对其进行分析，被篡改的区域在特定维度上会呈现出异常的数值尖刺，与真实图像的特征截然不同。

而数字安全的难点，本质上是一场成本博弈。该人士介绍，理论上，只要将防御成本提得足够高，安全护栏就很难被攻破。

“例如，我们手机的身份认证系统会使用多种光线，如红光、紫光进行闪烁检测。因为无论假人皮肤的仿真度多高，在复杂光线下的反应与真实人脸还是不一样的。”

该人士表示，对于抖音直播这类大规模应用，如果不惜成本，也可以有效防范AI换脸，比如为每个直播间配置顶级硬件检测或最先进的防护模型。但现实在于，平台用户体量过于庞大，要实现这种级别的、无死角的安全覆盖，成本太高了。因此，平台必须在安全投入与风险控制之间做出权衡，这就留下了被攻破的风险。

“不存在”的“专家”，比盗脸更危险

针对近日引发关注的“AI换脸”盗播事件，专家学者指出，该行为在法律上定性明确。

清华大学人工智能国际治理研究院副院长梁正教授明确指出：“盗用公众人物形象进行‘AI换脸’直播，主要侵犯了肖像权，甚至名誉权，这里不存在所谓的法律模糊地带。”

北京安晴佳翔律师事务所执行主任宋佳律师进一步分析，此类行为中，内容制作者与商家是直接侵权方，如果其行为不仅限于侵权，还虚构事实、隐瞒真相，以非法占有为目的，骗取消费者数额较大的财物，则可能构成诈骗罪。

宋佳还指出，平台在收到侵权通知后，有义务立即采取必要措施。当侵权事实已像本次事件一样成为公众话题，或仿冒账号形成相当规模时，平台可能被认定为“应当知道”侵权存在。若此时仍未主动排查处理，则可能需要承担连带责任。

尽管有法可依，但治理的难点在于查处的“及时性”。

梁正教授表示，“平台需要有一些投入，去及时识别（AI盗用形象直播）。我们颁布了《人工智能生成合成内容标识办法》，平台也有义务去监管。”按照标识办法，面向公众和消费者提供相关商品信息和服务时，AI生成的文字、图片、视频等内容，都要添加标识以明确其来源。

而对于短时间内，平台还没有注意到，侵权行为就已经发生的，则需要进行事后追责。梁正教授强调，需要对可追溯的侵权主体施以经济罚款和账号封禁等严厉惩罚，提高其违法成本。

“如果这类问题屡禁不止，我们需要判断，这究竟是平台未尽到应有的‘注意义务’，还是其在技术识别上的投入不足？”

梁正教授特别指出，比“仿冒形象”更严峻的挑战是完全虚拟的“数字人”。“它可能凭空捏造一个‘科学家’或‘医生’等根本不存在的身份，直接构成对公众的欺骗。”

他表示，“在这种情况下，强制性的‘人工智能生成内容标识’就成为最重要的底线。必须明确告知公众‘这不是真人’。”

梁正分析道，一方面，真人主播需要对直播内容的真实性负责，而数字人无法负责。但另一方面，数字人可以24小时直播，相比真人主播成本更低。他表示，面对虚拟主播带来的监管盲区，不能对技术简单否定，但核心原则是：“只要内容不是真实的，就必须进行显著标识。这既是对公众负责，也是平台必须履行的监管责任。”

运营编辑 |曹倩审核｜孟莎莎