利用AI编造「火车撞人」假新闻！中国首例ChatGPT犯罪，东莞男子或面临5年监禁

大数据文摘出品

作者：Caleb

4月25日，根据百家号上的一篇报道称，甘肃省一列火车撞上公路工人，造成9人死亡。

警方对此立即展开调查，发现在平台上，共有21个账号同时发布了不同版本的文章，涉及不同的事故地点，包括平凉市崆峒区、兰州、陇南、定西、庆阳等地。

荷兰一列载有乘客的火车周二在海牙附近撞上一台起重机并脱轨，造成至少一名工人死亡，约30人受伤，这是该国多年来最严重的铁路事故。

相关报道迅速得到关注，短时间内获得了超过15,000次点击。

细想下，同时多地发生相似的事故？这也太过巧合了。

事实证明，这些报道确实是假新闻。

中国公安局网安大队调查后发现，发布报道的帐号都隶属于广东深圳一间自媒体公司。

5月5日，警方前往广东该名嫌疑人住处进行取证，审讯后发现，洪姓男子先搜寻了近年来中国讨论度广泛的社会新闻，随后利用ChatGPT将特定元素例如时间、地点、日期或性别等进行修改，重新撰成一篇假新闻，藉由上传这些文章让帐号赚取流量再加以变现。

不仅如此，洪姓男子还利用ChatGPT制作了多个存在细小差距的假新闻版本，以避开百度旗下平台的审查。

据了解，洪姓男子主要通过ChatGPT将收集到的新闻要素修改编辑后，上传至其购买的百家号上非法获利，目前案件正在进一步侦办。

警方表示，洪姓男子编造假新闻并散布在网络上供人大量浏览的行为，已涉嫌寻衅滋事罪，因此对其采取刑事强制措施，最高可判处五年有期徒刑。

首例因滥用人工智能而被捕的案件

这是中国因应人工智能发展，于今年1月起颁布《互联网信息服务深度合成管理规定》后侦破的第一起事件。

“规定”旨在促进人工智能产业发展和防止技术滥用的法规规定，通过深度合成技术（deepfake）制作的合成视频和照片必须明确标注，以防止公众混淆。

该规定还涵盖了deepfake提供者和用户的责任，包括禁止使用该技术进行非法行为、建立审查制度和识别用户信息。

最近，随着ChatGPT的流行，中国在线搜索巨头百度和其他科技公司也相继推出了竞品。

4月11日，中国国家互联网信息办公室（CAC）发布管理生成式AI服务的法规草案。据CAC称，该法规预计将于今年某个时候生效。

ACA表示，国家支持人工智能自主创新和推广应用，但相关产品或服务应符合法律法规要求，尊重社会公德和公共秩序，其中包括服务提供商接入、算法设计、训练数据选择、内容概括、用户隐私和商业秘密等。

中国社会科学院大学法学院副教授刘晓春在接受采访时表示，服务提供商有义务采取风险防范措施并响应监管要求。

规范化使用AI是一个全球性难题

利用ChatGPT这类AI来生成假新闻并非中国独有，美国AI专家、社交媒体公司和政府官员同样关注生成式AI传播错误信息的可能性。

今年4月，美国共和党发布了一个人工智能生成的视频广告，假想了拜登再次当选的情况下，将会引起美国与墨西哥边境的大规模移民浪潮和旧金山文明崩溃。

虽然这则广告被标记为“人工智能生成”，但过于逼真的图像仍然很容易让人们将其视为现实。Reddit上的Midjourney子版块也有用户举例说明了文本到图像生成器如何创建未发生过的历史事件，比如“2001年卡斯卡迪亚9.1大地震和海啸”。

除此之外，人权非营利组织Amnesty World分支机构Amnesty Norway在社交媒体账户上发布了人工智能生成的图像，以此号召人们多多关注哥伦比亚全国罢工两年。但这些图像错误地描绘了哥伦比亚国旗，还用了假人代替了真正的抗议者。

随着ChatGPT得到越来越多的关注和使用，国内的立法者也一直在努力起草管理公司如何开发人工智能的相关规定。拟议的法规包括不生成虚假信息，明确标记使用AI制作的内容，并确保用于训练AI的数据不歧视种族、种族和性别。

但 也可以想象，这是一项道阻且长的艰巨工作，还需要时间慢慢打磨。

https://www.vice.com/en/article/y3wvjm/china-arrests-man-for-allegedly-using-chatgpt-to-create-fake-news

https://www.cnbc.com/2023/05/09/chinese-police-arrest-man-who-allegedly-used-chatgpt-to-spread-fake-news.html