【专栏】AI深度合成技术，会成为未来犯罪的主流吗？

2019年3月，一家能源公司的首席执行官接到了一个未知来电，很快，他就认出了电话那头的人——德国母公司的CEO，也是他的顶头上司。在这通电话中，母公司CEO表示当前公司出现运营危机，急需世界各地分公司紧急提供220000欧元或243000美元的资金支援，随后这位母公司CEO提供了一个匈牙利的银行账户，并宣称该笔资金需要直接支付给某匈牙利供应商，母公司将在资金周转过来后为分公司报销这笔支出。

虽然该指示听起来不是既不合规又不靠谱，又涉及如此大的一笔资金流转，但被害人考虑再三还是选择了执行命令，原因很简单：电话里的声音确实是自己的顶头上司无误，甚至连那标志性的轻微德国口音和语气习惯都与自己老板平时说话时毫无区别。至此，虽然受害人还有所怀疑，但依然向“老板”电话中提供的匈牙利账户完成了转账。

这起案件就是有史以来第一起利用深度合成技术（DeepFake，又称深度伪造）完成的大宗金融诈骗案，被转出的资金从匈牙利流向墨西哥，然后再被分散转移到其他地方，再也没能成功追回。时至今日，深度合成技术已经成为网络犯罪（特别是网络诈骗犯罪）的“神器”，今年年初的马斯克换脸诈骗案仅仅在一周之内就成功诈骗2亿资金，令人不寒而栗。今天飒姐团队就与大家一起，探讨深度合成技术可能存在的刑事风险与应对之策。

一、深度合成——AI犯罪之王

相信大家对深度合成技术并不陌生，不久前火爆全网的换脸短视频就是其最生动的体现。当然深度合成的能耐远不止于此，AI写稿（洗稿）、语音生成、合成音乐、生成艺术、人脸替换生成、场景编辑、三维重建以及我们熟悉的虚拟数字人等等，都在深度合成技术的“射程范围”内。

今年年初，我国国家互联网信息办公室（以下简称“网信办”）出台了一部规章《互联网信息服务深度合成管理规定》（征求意见稿）【参见飒姐团队《文章》】，这是我国在规制深度合成技术方面走出的第一步。我们在此要对网信办的长远目光和勇气提出赞扬，即使该《规定》尚在征求意见阶段，离实际落地还有很长的路要走。因为，直面深度合成技术带来的挑战绝非易事，在人工智能（以下简称AI）技术日益凸显自身双刃剑本质的当下，深度合成技术正在渐渐成为名副其实的AI犯罪之王。

随着基于AI能力的扩展，它们被用于犯罪的潜力也随之增加。2020年，伦敦大学学院针对AI技术可能会在未来滋生的各类犯罪进行了深度研究并制作了研究报告。报告中，研究人员确定了在未来15年内使用AI实施（帮助）犯罪的20种方式，这些犯罪方式包括非法控制自动驾驶汽车作为武器、鱼叉式网络钓鱼、破坏信息系统、小型AI机器人入室盗窃、AI辅助跟踪、自主攻击无人机、深度合成技术以及大规模网络勒索等。

同时，报告还以（1）潜在危害；（2）犯罪收益的可能性；（3）实施犯罪的难易程度；（4）发现和制止犯罪的难易程度等四项维度，对这些罪行为进行了排名。最终，31名学者、国防专家和执法部门工作人员认为，深度合成技术（Deep Fake）具有最现实、最紧迫和最大规模的危险，甚至这种危险已经不仅仅局限于单一的刑事犯罪中，其正在逐渐扩展到对社会信任机制的瓦解上。

二、深度合成的法律影响和挑战

深度合成既为我们的生活带来了更多的便利，同时也带来了许多潜在的系统性社会政治风险，从目前出现的案例来看，飒姐团队主要将其分为以下几类：

（1）政治操纵。该种风险主要来自利用深度合成技术制造的假新闻，假新闻已经不是什么新鲜事，但深度合成技术使其与以往相比更加逼真可信，在近期国际上发生的武装冲突中，利用深度合成技术制造的假新闻就已经屡见不鲜。甚至更进一步说，深度合成技术的滥用很可能会发生操纵公民、干预选举、威胁国家安全和影响社会稳定的严重后果，以及更广泛地侵蚀对新闻业和公共机构的信任。典型案例：美国议员佩洛西假新闻案。

（2）金融诈骗。这是当前利用深度合成技术实施犯罪的行为中，最常见、最多发的一种，无论是前文提到的能源公司诈骗案还是今年年初发生的假马斯克诈骗案，都体现了深度合成在金融诈骗方面令人不寒而栗的潜力。特别在假马斯克案中，骗子首先成立了一个虚假网络交易所，再通过深度合成技术制造了假马斯克视频在社交平台上大量投放，视频中假马斯克声称：“给我一个币，还你两个币”，一周之内成功诈骗约2亿资金。

（3）敲诈勒索、报复等。在某短视频平台上我们可以利用深度合成技术完成戴特效、换脸等方式来创作一些有趣的内容，此时的深度合成技术是我们娱人娱己的小工具据。但我们是否想过，一旦将“换脸术”用到一些敏感视频中，会发生什么样的后果？对于个人而言，深度合成技术很可能被用于敲诈勒索和报复的工具，印度一位记者Rana Ayyub就曾经被他人利用深度合成技术合成的假色情.视频勒索过。更有甚者，马来西亚某政治家甚至因为一段利用深度合成技术伪造的假视频被定罪处罚，蒙冤入狱。

（4）不正当竞争。该用例说来有趣，2022年年初，在国外某著名求职平台上，有数十家公司被曝利用深度合成技术生成假人和假身份并进行虚假账户销售，不仅可以以此扩展业务，甚至还减少了人力成本。另外，利用深度合成技术对其他商业主体的商誉进行损害也是一种常见的不正当竞争行为。

（5）损害司法公正。视听证据历来在司法程序中具有极其重要的地位，一段能证明案件事实的，完整、清晰的录像作为一份直接证据，其证明力之强往往胜过律师在法庭上的千言万语。但是，深度合成技术的飞速发展却对证据的真实性提出了新的挑战，试想，如果诉讼参与人通过深度合成技术向法庭提交的欺诈性书面或视听证据得到采信（利用深度合成技术炮制的各类证据特别是视听证据，不具备专业知识的人往往难以察觉，而法官、律师、检察官等往往并不具备此类专业知识技能），司法公正将荡然无存。

三、个人应如何防范深度合成诈骗？

在应对深度合成技术带来的危害时，除了国家机关在立法、行政执法和司法层面进行大力打击外，我们个人可以怎么做来防止自己的权益被侵害？普通人和名人应如何防止自己暴露在被深度合成技术诈骗的风险中？

首先我们要知道，深度合成技术不是万能的，假视频等材料的生成需要使用个人图像和视频作为原材料。在这方面，名人的风险与普通人相比大得多，用飒姐本人举例，无论在我们的公众号、还是其他平台上都有大量飒姐的讲课视频和照片等，轻而易举就可以从公开渠道获得大量飒姐的信息，并生成一个足够以假乱真的虚拟“飒姐”。因此，为了最大限度地降低这种风险，谨慎的做法是只将自拍照和其他肖像、视频发布到私人账户，并限制公开和分享的渠道（比如仅少量亲友可见）。但是，对于公众人物来说可能这是难以做到的。

其次，我们还要避免在公开渠道发送我们不同年龄阶段的个人的图像。犹记得某短视频平台上一个很火的模板是将自己从小到大的照片放在一起配上音乐快速闪回播放，实际上这是一种危险的做法，其为AI算法提供了大量有关我们个人相貌变化的宝贵信息，可以使得深度合成技术更轻易和精确的合成视频。

如何在法律层面应对新兴技术的挑战，是我们作为法律从业者所应当回答的时代之问，但这并不是一个简单的过程，往往可能需要很长的一段时间才能用法律的牢笼套住飞奔向前的科技。在这个过程中，就需要我们个人更加谨慎小心和理智地对待自身敏感信息，将权益被侵害的可能性降到最低。另外由于技术门槛的不断降低，一个没有编码基础的人也可以轻易地使用深度合成技术，这就要求我们应加强宣传教育，在法律未及之处以道德教育和引导技术向上、向善。

版权声明

本文仅代表作者观点，不代表零壹财经立场。

本文系作者授权零壹财经发表，未经许可，不得转载。

正式启动！2022第三届中国零售金融榜单评选

2022年6月开始，零壹财经·零壹智库、中国零售金融智库联合《陆家嘴》杂志发起“2022第三届中国零售金融榜单评选”，相比往期，本次评选扩充为六大方向，内容贴近于零售金融的核心业务，涵盖也更加丰富。评选通过呈现零售金融业务中的优秀案例、品牌、机构和服务商，并且结合杂志封面策划、零售金融峰会、零售金融报告等为零售金融数字化转型提供参考。 （点击参与）