央视3·15晚会曝光换脸骗局，AI套路远远不止这些……

文/胡炜（新京报传媒研究院）‍ 央视3·15晚会曝光了多起利用AI技术换脸、变声实施诈骗的案例，再次引发人们对AI应用的关注。 技术发展有时是把双刃剑，随着人工智能技术飞速迭代发展，形形色色的新骗局、新套路层出不穷，令人防不胜防。 新京报传媒研究院根据媒体报道，梳理了几种常见AI骗局，一起擦亮眼睛来看看，避免落入陷阱>>

01

虚假新闻

目前，生成式人工智能的生成能力 ，已经涵盖AI成像、AI仿声、图像生成等各种内容，虚假信息、网络谣言的生成门槛进一步降低，成为某些灰色产业的敛财工具。

世界经济论坛发布的《2024年全球风险报告》提醒，AI驱动的错误信息和虚假信息是全球经济面临的最大风险。

前不久，国内多地公布网络谣言典型案例，其中有多起系“AI生谣”，如上图中“某工业园现大火，浓烟滚滚，目击者称有爆炸声”，就是利用AI“移花接木”拼成的假视频。

不法分子借此博眼球、赚流量、非法获利，造成恶劣社会影响。

02

AI机器人水军‍‍

此外，类Sora生成式人工智能也给机器人水军创造了极大空间。

在某些社交平台，与网友对话的，可能不是人，而是AI。只要提前设置好评论立场或者风格，如志杰抹黑、阴阳怪气、拉踩等，AI就能自动生成各种风格的评论内容，干扰社会舆论。

未来，具备高度自动化和仿生形态的机器人水军，可以更加高效、低成本地生产大量逼真视频内容。如果被居心叵测的人利用，影响舆论，或成为干扰网络甚至社会正常秩序的一大毒瘤。

03

换脸变声诈骗

随着AI时代的到来，“眼见为实”已成为过去。

AI生成的假视频日渐泛滥，有的已经被用于诈骗犯罪。

其实AI视频换脸在国内视频网站已经流行很久，如果仅仅停留在娱乐或恶搞的层面，这样的换脸还不会造成太多实质性的社会危害。

但是，当AI换脸被不法分子用于非法牟利时，就会对消费者的人身财产安全造成巨大的危害。

• 假冒名人

2023年10月，一诈骗团伙被提起公诉，因其假冒演员“靳东”获取受害人信任，再以投资、公益、恋爱等各种理由索要钱款，共诈骗多名被害人共计人民币30余万元。2024年2月3日，上海市静安区人民法院作出一审判决，判处涉案8名被告有期徒刑3年到拘役4个月不等的刑罚。

这类假冒名人诈骗，主要通过发布和使用靠AI换脸、换声等手段处理过的名人照片、视频和变声音频，让粉丝误以为是名人本人，使用统一的话术进行诱导，打感情牌，最后再以各种理由索要钱款，其诈骗目标主要是中老年女性。

▲假靳东页面

• 假冒熟人

“平安包头”曾公布一起案例：在去年4月份，郭先生的朋友突然打来微信视频电话，说自己在外地投标，需要430万的保证金，想借郭先生公司的账户走一下账。这位“朋友”随即将钱打到了郭先生的账户上，并且截图让郭先生确认。虽然还未等来银行的通知信息，但郭先生还是先把钱转了过去。结果，跟他视频的，是用AI换了脸的骗子，佯装成郭先生的朋友来骗钱。

据警方介绍，这类AI诈骗手段还包括声音合成、AI换脸以及转发语音等，其成功率几乎接近100%。

• 多人变脸

近期，香港发生一起规模巨大的AI“深度伪造”诈骗案，诈骗金额高达2亿港元，据称这一案件是首次涉及AI“多人变脸”的诈骗案，危害性极大。

▲新闻报道截屏

这家跨国公司香港分公司职员，收到英国总部要求进行视频会议，视频中对方都显示了与以往相同的容貌，职员根据会议指令前后转账了15次，共计2亿港元，而后经核实才知道被骗。

诈骗者通过此公司的YouTube视频和从其他公开渠道收集公司高管的音视频资料，再利用Deepfake（深度伪造）进行视频生成，形成多人视频会议的画面结果。

这起案件中的被骗职员所看到的每一个人物和听到的每一个声音都是诈骗者通过精心伪造的“AI换脸、换声”技术制作的，这种高度逼真的伪造技术让人防不胜防。

04

数字人盗脸带货

AI技术的流行，一批“数字人电商博主”冒充本尊，收割粉丝。

不久前，乌克兰网红Olga Loiek以《有人在中国把我克隆》为题发布了一则视频，控诉自己的面孔和声音在中文网络上被非法盗用，被肆意操控用于创建多达数十个短视频账号。

去年以来，国内短视频平台上涌现出不少这样的冒充“俄罗斯美女”的账号和博主，这也是AI骗局的新套路。

这些博主敏锐地捕捉到了短视频平台的流量红利，以及消费者对异国风情美女的浓厚兴趣与追求。其视频都是由AI合成的假人，再配上机器语音，打着“促进国际友谊”的旗号，出售商品，将其作为谋求财富的捷径。

由于制作成本低，一人往往能运营数十个账号，视频的脚本也是通用的。即使常有文案“撞车”的情况发生，这类视频还是吸引了大量来自三四线城市的中老年粉丝群体，纷纷为了“国际友谊”下单。

05

真假难辨的“AI培训”

如果你认为，以上这些对下沉市场、中老年群体的招数，你绝不会上当，那么下一个骗局，就是专门针对年轻群体的AI套路。

AI时代到来后，AI培训大量出现，真真假假，泥沙俱下，引发争议，其中最为著名的，就是李一舟，被网友戏称为“中国AI搞钱第一人”。

最初因他身上有“清华博士”的标签加持，在短视频平台备受关注、吸粉无数，靠卖AI课收割了许多流量，赚得盆满钵满，甚至被外界调侃为“AI圈中唯一可以与奥特曼平起平坐的人”。

但伴随其爆火的，还有愈演愈烈的质疑声。

不少网友表示李一舟售价199元的AI视频课只是“诱饵”，一旦“入坑”就会产生更高的费用；还有网友对李一舟“清华大学博士”的身份提出质疑，纷纷称他是“割韭菜的骗子”。

李一舟的视频号账号在2月22日被禁止关注，与此同时，其小程序“一舟一课”也因违反《即时通信工具公众信息服务发展管理暂行规定》被暂停服务。

不少年轻粉丝奔着学习新知识去，却领了“吃一堑，不长智”的教训。

其实，许多AI课程内容是创作者利用信息差，将国外免费开放的官方AI教学翻译过来拼凑的课件。一些标价199、299元的课程赠送的“免费AI体验”，实际上是本就免费开放的大模型，再加上一个套壳包装罢了，却被拿来大肆贩卖。‍‍‍‍

北京航空航天大学法学院副教授赵精武在接受媒体采访时表示，他近期就处理了多起用户从社交平台直播间下单购买AI课程后遭遇诈骗的案例。

赵精武说，人工智能领域的确存在一些低价引流的骗局，卖课的人会用低价先吸引消费者入坑，课程往往质量低劣……199元课程的逻辑就是能骗一个算一个，一般愿意买课的也不会在意这点儿钱，所以就用这种方式骗钱。

他还表示，每当一项新兴技术应用或技术概念被提出后，市场上总能掀起一波“技术卖课”浪潮。在这个周期内，大量跟当下技术相关的课程出现，加之平台卖课者或者主播等群体贩卖焦虑，普通人很容易“头脑一热”上当入局，需要谨慎选择学习平台和课程。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

06

发展与监管

现在互联网上的AI骗局远不止这些，随着技术迭代发展，相信还会有新的花样出现，对于AI人工智能工技术和工具的监管，引起各方关注：

• 网络安全公司Fortinet发布的《2024全球安全威胁预测》中提到，AI已经成为“头号关注”。

• 有报道称，OpenAI已关注安全性问题，该公司表示，未来将在Sora输出的视频中应用内容追溯技术，以鉴别是否为AI深度伪造视频。

• 2023年，最高人民法院、最高人民检察院、公安部联合发布的《关于依法惩治网络暴力违法犯罪的指导意见》中规定，对“利用‘深度合成’等生成式人工智能技术发布违法信息”的情形，依法从重处罚。

• 2024年3月13日，《人工智能法案》在欧洲议会通过，成为全球首个“AI法案”。

在推动人工智能技术进步的同时，如何管理好这把双刃剑，平衡好发展与监管，确保人们的生活边界不被侵犯，是目前迫切需要解决的问题。

您还知道有哪些AI骗局

欢迎在评论区留言

大家一起避坑

参考｜新华社、央广网、凤凰网、澎湃新闻、青岛宣传、太平洋科技等媒体报道‍‍‍

编辑｜胡炜

校对｜刘军

最后，告诉大家一件事

新媒体文案怎么写才有看头？

辛苦拍摄的短视频为何没人点？

各平台账号涨粉越来越难？

策划方案怎么总是差点意思？

针对大家遇到的各种难题，新京报融媒共享平台推出新媒体策划及运营、短视频制作及运营、舆情分析及风险处置等培训课程，去年开班13期，合作单位包括政府机构、媒体、企事业单位等，参训学员500余人，均满载而归。

今年，更多量身定制的培训课程陆续上线，欢迎前来新京报交流，一起进步。

独家课程 量身定制

提供融媒课程定制服务，根据学员的实际需求和预期的学习方向，量身打造专属课程。

“沉浸式”跟班学习

培训期间，跟班学员以现场观摩、全程参与、互动交流等方式“沉浸式”跟班学习。

重在实践 不搞空谈

根据培训学习内容，围绕重点工作策划宣传方案、拍摄作品，导师现场点评，在实践中检验学习成果。

开拓视野 开放交流

走进互联网大厂，实地参观拓展视野，与行业大咖在交流互动中吸取经验、促进提升。

More

点击查看部分培训实录

>>>详情联络新京报传媒研究院13501387710（微信同号）