欧盟最新AI监管草案：全面禁止大规模监控及基于AI的社会信用体系

在数据保护和人工智能技术监管方面，欧盟一直走在立法实践的最前端。当地时间 4 月 21 日，欧盟委员会公布了名为 “Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts” 的草案，对人工智能技术应用进行了风险评定。

根据这份草案，欧盟将全面禁止大规模监控和利用人工智能技术的社会信用体系，同时对特定领域的 “高风险” 应用进行严格限制。

2020 年 2 月 19 日，欧盟委员会曾发布了名为 “White Paper on Artificial Intelligence - A European approach to excellence and trust” 的白皮书，就如何促进人工智能发展及解决相关风险进行了讨论。而 21 日发布的这项草案正是白皮书的法律延伸，目的在于为实现可信赖的人工智能生态系统提供牢固的法律框架。

一旦得到通过，这项法案将在很大程度上对其他地区的人工智能治理带来影响，就如 2018 年 5 月 25 日生效的《欧盟一般数据保护条例》（GDPR）一样。

欧盟竞争事务负责人 Margrethe Vestager 在公布草案时表示：“通过标志性法规，欧盟正在确立全球规范，以确保人工智能是一项值得信赖的技术。通过制定标准，我们可以为符合伦理的人工智能技术铺平道路，并确保欧盟在此过程中保持竞争力。”

Politico 专门负责 AI 报道的 Melissa Heikkilä 则认为，这个草案有着一定的先发优势，它将在很大程度上影响由欧洲理事会、经合组织、北约、联合国教科文组织和七国集团主导的全球人工智能伙伴关系 (Global Partnership on Artificial Intelligence) 的探讨。

被全面禁止的人工智能应用

在草案中，欧盟委员会首先讨论了什么是人工智能这个问题。

由于技术错综复杂，行业内部一直没有就这个问题给出确定的统一答案。欧盟委员会认为，人工智能是一大类迅速发展技术的统称。对于一组人类指定目标，这项技术可以在物理或数字维度给出包括内容、预测、建议或决策的输出，从而对其交互的环境产生影响。人工智能系统或自己为终端产品（非嵌入式），或为产品的一个组成部分（嵌入式）。

为了提供必要的法律确定性，欧盟委员会在草案中用附件的形式详细列举出了属于人工智能范围内的技术清单。不仅如此，该清单还会不断更新，从而和最前沿的人工智能技术保持同步性。换言之，人工智能的定义在这项草案里具有灵活性和时效性，巧妙化解了法律滞后性和技术飞速发展之间的矛盾，为之后行业的合规带来了便利。

草案将人工智能应用分为了完全不可接受风险、高风险和低风险等不同等级，其中有三种应用被完全禁止。

第一种是在不知不觉中对人类意识进行操控，从而影响其决定或扭曲其行为，进而对人类造成身体或心理的伤害。有观察家认为，这项条例可以让人联想到 Facebook、Twitter、谷歌和亚马逊的大部分商业模式，及虚假信息和极端主义等推荐算法。虽然没有明确指出条例所针对的对象，但欧盟委员会是世界上首个以法律语言禁止人工智能系统 “操控” 人类思想的机构。

第二种情况是利用儿童或残疾人的脆弱性对其造成伤害，这显示了欧盟一贯的对弱势群体的重视和保护。

第三项则是基于人工智能系统上的社会信用体系。欧盟委员会认为，公共当局根据自然人的社会行为或人格特征对其进行信用评估会造成不可预见的后果，个人或特定群体的权益将受到损害。不同的社会语境会产生不同的算法偏见，而算法偏见将直接对信用评估产生影响。这样的社会信用体系侵蚀社会公平公正的原则，因此需要被禁止。

对于很多人关注的面部识别技术，欧盟委员会在这份草案中留出了余地。作为 “实时远程生物识别技术” 的一种，面部识别在很大程度上侵犯了人们的隐私。因此，无差别的大规模监控会被欧盟全面禁止，只有在三种特定情况下除外：寻找失踪儿童；解除恐怖袭击的威胁；以及在法律允许范围内追查特定的刑事犯罪嫌疑人。

“实时远程生物识别技术” 是这次欧盟委员会着重强调进行限制的人工智能技术，它特指在没有显著延迟的情况下对个体生物数据的捕获、比较和识别。这项技术的特点是将人的生物数据与数据库进行比较，并且事先并不确定目标人物是否会出现。值得注意的是，在欧盟议会内部有强烈的全面禁止这项技术的声音。上周，40 名欧盟议会议员曾联名上书，批评该草案对 “实时远程生物识别” 技术网开一面。

高风险应用场景

除了以上被全面禁止的情况外，欧盟委员会还详细列举了人工智能的 “高风险” 应用。草案称，高风险的人工智能系统只有在符合欧盟强制性要求的情况下才能投入市场使用，否则公共利益会受到不可接受的风险。换言之，未来不符合准入标准的人工智能系统将被无情地挡在欧盟市场之外。

首先是执法系统和法院对人工智能的使用。草案称，执法当局使用人工智能系统会导致权力严重失衡，侵犯个人基本权益。如果训练这些算法的数据质量不高，或算法的准确性及鲁棒性没有达到要求，那么程序性正义，公平审判权，辩护权和无罪推定的权利就会受到冲击。欧盟委员会尤其将个人风险评估、测谎仪、辨别情绪等应用归为高风险。在刑事诉讼中，基于人工智能技术对证据进行可靠性评估，对嫌疑人的性格特征进行判断，或基于过去的犯罪行为进行推定等行为同样被归为高风险范围。

其他的高风险应用场景主要集中在社会保障、就业和教育等与生活息息相关的方面。在就业方面，欧盟委员会考虑到了人工智能在招聘、升职、解雇及合同关系中可能扮演的重要角色。草案认为，利用算法对工作人员进行评估或监测无疑属于高风险，因为它们对员工的职业前景和基本生计有着难以把控的影响。同时因为算法偏见，人工智能对妇女、残疾人或年龄的歧视也将继续，人们的隐私权将不可避免地受到威胁。

在教育方面，欧盟委员会认为利用算法进行招生录取及考试评定必须被视为高风险，因为这很可能会影响他们这一生受教育的机会，还将产生社会固化的问题。在社会保障系统方面，欧盟委员会认为人工智能参与决策过程将对民生产生重大影响。例如，利用人工智能决定人们是否能获得银行贷款、财政补助、保障性住房、电力电信等基本服务。由于种族、残疾、年龄、性取向等各种因素，算法很可能会延续目前社会已经存在的广泛歧视，从而使弱势群体处于更加不利的地位。

草案中对于高风险人工智能的合规要求招来了一些欧盟组织的反对。虽然欧盟将通过质量管理和评估程序严格管控，但一些人工智能技术供应商将被允许进行自我合规测评。数字权利组织 EDRi 的高级政策顾问 Sarah Chander 对 Politico 表示：“欧盟委员会将合规交给了人工智能供应商，这可能会损害（人们的）基本权利，甚至可能让公共当局逍遥法外。”

对此某些科技行业的游说人士则感到宽慰，他们对高风险应用的合规要求表示称赞。计算机与通信行业协会（Computer & Communications Industry Association）的 Christian Borggreen 对法新社指出，欧盟委员会采用了基于风险的评估方法，这很好。该协会代表了包括亚马逊、Facebook 和谷歌在内的多家科技巨头。违反此法案的公司可能被处于 2000 万欧元或公司收入 4% 的罚款，与此前的反垄断法规定类似。

随着草案的出台，关于数据主体基本权利与技术创新间关系的新一轮争论也将随之拉开序幕。要想获得通过，这项法案必须得到代表欧盟 27 国政府的欧洲理事会和直接选举产生的欧洲议会的批准，整个过程可能需要数年时间。去年年底，以丹麦为首的 14 个国家发表了一份不具约束力的文件，呼吁建立一个更 “灵活” 的法律框架。但对于德国这样更注重隐私的国家来说，这项草案的规定明显还不够深入。

人工智能技术的日新月异与欧盟繁琐复杂的立法机制形成了鲜明的对比。但无论如何，人类已经就人工智能的系统性风险已经展开了实质性的立法规划。从这个意义上来看，欧盟再次在法治战略上抢得先机。