欧盟《人工智能法案》概况

本文转自：人民法院报

2023年12月8日，欧盟理事会主席和欧洲议会代表就《人工智能法案》（以下简称《法案》）达成了临时协议。临时协议规定，除去部分具体条款有例外，《法案》应在生效两年后适用。这意味着，《法案》距离摘掉“案”的帽子，朝着成为正式“法”的方向又前进了一步。

《法案》最初于2021年4月21日由欧盟委员会提出，之后经过多轮讨论。其中，最引人关注的就是关于人工智能的定义和风险等级划分。

人工智能的定义

由于科学界并没有接受任何对人工智能单一的定义，“人工智能”一词经常被用于各种不同电脑程序的总称。欧盟委员会在立法过程中发现，“人工智能系统”会构成何种生态，对于确定该种新的人工智能应承担何种法律责任至关重要，因此《法案》采用了经济合作与发展组织（以下简称经合组织）已经使用的定义，在第一部分第3条第1款将“人工智能系统”定义为“使用本法案在附件一中列举的一种或多种技术和方法的软件，且该种系统可以根据人类设定的目标，生成会影响和系统交互的环境的内容、预测、建议、或决策等信息。”而《法案》附件一则罗列了目前用于开发人工智能所使用的技术和方法。该定义曾在2022年被修改，后临时协议还是采用经合组织的定义方法。

此外，《法案》第一部分第3条还就全文中涉及的概念进行定义，包括“供应商”“用户”“分销商”等常见术语，也包括“情感识别系统”“生物分类系统”“远程生物识别系统”等关于人工智能细分技术系统的定义。

人工智能的风险等级

《法案》对人工智能的监管方法主要是通过将人工智能可能带来的风险区分为四种不同等级，从而采取不同层次的监管措施。

第一级，绝对禁止不可接受的风险。《法案》第二部分第5条明确禁止具有危害性的人工智能，包括四种情形：会利用有害的操纵性的潜意识技术的人工智能系统；会利用特定弱势群体（身体或精神残疾）的人工智能系统；为公权力所用或代表公权力使用的，用于对社会评分的人工智能系统；为执法目的，在公共可访问空间使用实时远程生物识别系统，但少数情况除外。属于该等级的人工智能被禁止投放到欧盟市场或在欧盟地区投入服务或使用。

第二级，需要接受全面监管的高风险。《法案》第三部分是关于高风险人工智能的规定。高风险的人工智能系统主要分为两类：一类是用于产品的安全组件或属于欧盟健康和安全统一立法管辖的范围（例如玩具、航空、汽车、医疗设备、电梯）；另一类是属于《法案》附件三列明的范围（欧盟委员会可以根据需要随时调整该附件），目前包括八个领域：自然人的生物特征识别和分类；重点基础设施的管理和运营；教育和职业培训；就业、工人管理和个体经营机会；获取基本私人服务以及公共服务和福利；执法；移民、庇护和边境管制管理；司法和民主程序。

高风险人工智能系统需要满足事前合格评定的要求。供应商需要将该类别的人工智能系统在欧盟指定的数据库中注册，然后才能投放市场。任何受现有产品安全立法管辖的人工智能产品和服务都应适用现有第三方合规框架（例如医疗设备）。目前不受欧盟立法管辖的人工智能系统供应商必须进行自我评估，以证明符合新要求并可以使用CE标志。只有用于生物识别的高风险人工智能系统才需要由指定机构进行合格评定。

除此以外，《法案》对高风险人工智能系统的义务所作规定主要包括风险管理，即高风险系统应当配有完整的风险管理系统，以及时识别高风险系统已知和可预见的风险，并对可能出现的风险进行评估，对投入市场后产生的数据进行风险评估等；数据和数据治理，即高风险系统在训练、验证和测试数据集时应当遵循相关性、代表性、无错误且完整、接受是否存在可能的歧视的检查、遵循欧盟相关法规等等；高风险系统的技术文件应当在系统投入使用前就制定完整并更新到最新；高风险系统应当有能力自动记录系统运行日志，以确保系统的运行可追溯；高风险系统应当确保其操作足够透明，以便用户理解系统是如何输出数据，并能够正确使用系统；高风险系统还应当设有人力介入的工具，以便在运行使用期间能够受到自然人的有效监督；高风险系统的设计和开发应当准确、稳健、符合网络安全的要求。《法案》还对于系统的供应商、经销商、用户进行了详细的义务规定。

第三级，需要满足透明度义务的有限风险。针对诸如聊天机器人、情感识别系统、生物识别分类系统等风险有限的人工智能系统，《法案》第四部分规定一般只要求符合透明度义务，即应当明确告知系统使用者，其使用的系统的设计和开发或是生成的内容等，都是运用人工智能技术。但是，该部分规定同时列举了在特殊场景下有限风险系统却不适用低层级义务的要求。

此外，该部分第4款规定，前3款的规定不影响《法案》第三部分关于高风险系统的要求和义务。即高风险系统不因存在有限风险系统的特征，而可以减少所应承担的义务。

第四级，不需要承担任何义务的低风险。如果人工智能系统的风险极低，则可以直接在欧盟进行开发和使用，而不需要承担任何法律义务。但是《法案》第九部分第69条提出，拟设立“行为准则”，以鼓励低风险系统的供应商自觉遵循高风险系统所应遵守的义务。

临时协议对《法案》的修改

在风险监管方面，临时协议扩大了禁止性风险系统的清单，新增的绝对禁止人工智能系统功能包括对认知行为进行操纵、从互联网或电视录像中无目的抓取面部图像、在工作场所和教育机构进行情绪识别、社会评分、用于推测敏感数据（如性取向或宗教信仰）的生物识别分类、对个体的治安预测等。

但与此同时，在多方协商后，临时协议破例允许各国执法机构在公共场所使用实时远程生物识别系统，并同时要求例外情况仅限于诸如恐怖袭击等特定犯罪中的受害者，以及搜查重罪犯罪嫌疑人。

（作者单位：上海市嘉定区人民法院）