美国纽约算法监管遇挫启示录

即使算法透明之路障碍重重，我们仍需找到透明度与商业秘密、专有信息等因素之间的平衡点以促进算法之规制

　　张凌寒 李荣

　　两年前的2018年1月17日，美国纽约市的“1696提案”——自动化决策特别工作组法(Auto Decision System Task Force Law)正式成为法律。随后，纽约市市长组建算法特别工作组，展开了算法监管行动，监管目标为政府使用的各种算法。

　　彼时，全世界的目光都投向这座城市，这项开创性的举措被认为是世界算法规制的灯塔。然而，时光流转至2020年1月，算法工作小组至今尚无法获取纽约市使用算法自动化决策系统的基本信息。纽约大学助理教授朱莉娅·斯托扬诺维奇公开批评：“如果政府不能提供任何信息，那么根本没有必要组建工作组。”

　　2019年11月，纽约市政府发布了《纽约市自动决策系统特别工作组报告》(the New York City Automated Decision System Task Force report)。报告回避了活动评价，却提出了诸如“要求政府制定公开披露部分信息的协议”“呼吁开展更多以基于算法的系统为内容的公众教育”等一系列的广泛建议。

　　此举招致了一些学者的不满。一个月之后，美国非政府组织“今日人工智能”(AI NOW)协会针对政府官方报告发布了一份影子报告，直言此次监管活动的诸多不足。

　　该组织政策研究总监理查德森直言：“纽约市在算法监管上开了一个危险的先例。纽约市在算法监管方面未能取得任何有意义的进展，这为其他政府树立一个反面榜样。”

　　那么，此次监管行动究竟效果如何?又为我国算法监管提供了何种启示?

　　应对算法歧视和错误

　　人工智能时代，算法已经逐渐脱离网络平台系统，逐渐被越来越多的政府公共部门纳入使用范围，应用于社会公共治理领域。

　　在美国纽约，在公共校车的路线规划、房屋质量检测、再犯罪风险预估，儿童福利制度、预测性警务等诸多领域，政府部门逐渐使用与依赖算法的自动化决策。算法成为了公共资源分配与社会治理主角，切实地影响着近900万纽约市民的日常生活。

　　自动决策系统是指基于数据的算法决策系统，以政府社区治理为目标，其目的在于对社会治理对象的预测、识别、监视、检测。算法被广泛应用于预测性警务、审前风险评估、欺诈检测系统、交通管理系统、筛选工具等。纽约市政府对算法自动化决策的依赖引发了社会公众强烈的不安。因为算法的自动化决策的“名誉”受到了两个著名事件的严重影响。

　　使算法自动化决策陷入广泛质疑的事件之一，是纽约“为了人民”(ProPublica)组织在调查中发现一款名为COMPAS的软件存在种族歧视的倾向。在该软件作出的高风险错误判定中，黑人数量是白人的两倍以上。换句话说，两倍于白人的黑人被预测为高风险人群。

　　在美国，布里沙·博尔登和弗农·帕特均因窃取价值80美元财物被指控盗窃罪，前者无入狱经历、有过4次行为不当、危险指数为8(高危)，而后者有5年入狱经历、曾两度持枪抢劫、危险指数却仅仅被评定为3(一般危险)。二者的区别之一即是种族，前者是一名黑人女性，后者是一名白人男性。

　　COMPAS全称为提供替代性制裁矫正犯罪管理画像，是运用算法依据累犯和犯罪职业特征相关行为和心理结构设计的犯罪嫌疑人风险预测评估软件。即使这一算法自动化决策得到了纽约州刑事司法部门的支持，也未能平息公众的质疑。这种算法决策被指责存在种族歧视、人权侵害等风险，加剧了现有的不公平现象。

　　另一个使算法自动化决策遭受质疑的事件，是美国伊利诺伊州儿童和家庭服务部采用的预测分析儿童和家庭算法也出现大量错误案例。结果显示，该算法并未能识别出大量最终死于忽视或虐待的高危儿童。

　　2016年，美国卡内基梅隆大学的统计学家亚历山德拉·丘尔德乔娃对美国北卡罗莱纳州阿利根尼县用于家庭风险筛查的AFST算法进行分析后发现：在同样得到最高风险得分的情况下，被虐待的白人儿童转移率要低于黑人儿童，且原因未知。

　　由此可见，算法本身并非人们刻板印象中始终客观、中立并且绝对正确的，算法决策具有高效特点，但并不当然地准确与无偏见。

　　为了应对算法歧视和错误问题，纽约市于2018年1月17日通过了“1696法案”，使其成为了纽约市第49号地方法律。继而，纽约市根据第49号法律成立一个“算法问责特别工作组”，对政府所使用的算法进行调研，并就加强算法问责制、提高透明度等提出建议。

　　纽约市算法监管缘何遇挫

　　那么，为何这次监管活动未达到预期的效果呢?

　　首要原因是政府与企业均不愿遵循法案要求披露算法使用情况和算法设计信息，算法透明度制度面临重重现实阻碍。

　　事实上，“1696法案”的原始草案关于披露的要求是公布任何“算法或者其他自动处理数据系统”的源代码，而科技公司以“迫使披露专有信息，损害其竞争优势”为由表对该条款示了强烈反对。

　　在后续草案修订过程中，关于算法透明性的尝试与“商业秘密”的较量一直在持续进行着，后来立法者妥协无需披露源代码，但有关算法信息的披露仍被市政府驳回。最终通过的法案取消了所有关于披露的要求。在此次监管活动中，纽约市政府从未向工作组提供一份市政机构使用的自动化决策系统清单以及相关具体信息，仅提供了一部分机构使用的示例。

　　另外，就政府程序而言，工作组进展动态缺乏公开、听证会等会议信息不及时公布、随意缩短听证会公众提问时间、对民众的关切和质疑有所回避等可以看出，此次监管活动在公众参与和政府程序公开、信息披露等方面始终存在问题，政府工作透明度有所欠缺。

　　其次，本次监管行动在立法上也存在缺陷，致使工作组监管职能落空。纽约市自动决策系统工作组的立法中存在一项不合理的宽泛豁免——“允许机构不披露信息或不遵守工作组的建议”。无权限的工作组在要求相关机构提供当前使用自动化决策系统相关信息时被许多机构拒绝，这直接导致监管行动遭遇重大挫折。

　　由于缺乏获得基本信息的途径，对于没有法律授权的工作组而言，获取采购花费、共享数据量等相关信息只能依靠于机构和开发商的自愿披露，最终致使工作组的监督职能难以实现。

　　最后，此次监管行动遇挫的另一重要原因在于未能对“自动决策系统”的定义进行界定。工作组在2018年秋季和2019年冬季召开会议，其主要任务为讨论自动决策系统的定义，但在2019年4月的论坛上，工作组主席表示他们仍未就定义问题达成共识。界定算法自动化决策之于监管活动的意义无异于基石，在连执法范围都不明确的执法行动，遇挫也成为了必然。

　　找到监管平衡点至关重要

　　纽约市之后，美国其他地方政府与欧盟均紧随及后展开了算法监管的立法与实践。

　　欧盟于2018年5月正式全面实行《通用数据保护条例》(简称为GDPR)并提供了一系列有关算法自动化决策的行为指南文件。美国继《伊利诺伊州人工智能视频面试法案》《加州消费者隐私法案》、华盛顿HB1665及SB5527法案(旨在为政府采购和使用自动决策系统制定指导方针)等州政府相关法案施行之后，若干立法者正在推进联邦层面的立法，《算法问责法案》正在等待国会的表决。我国虽尚未颁布专门法规，但也在《电子商务法》《网络安全法》等中规定了与算法相关的条款，旨在全面将算法规则纳入监管领域。未来，我国的算法监管可从纽约市的失败中汲取教训。

　　此次纽约算法监管行动的主要教训是在监管中如何把握对算法透明度的要求。技术是中立的，但技术的应用不可能中立。透明并非是把源代码的技术秘密公之于众，而是对算法应用风险的监督与管控。算法的透明性应针对政府使用算法的透明、算法决策因素的透明，使算法透明度成为针对政府算法应用中潜在问题所必需的“诊断工具”，这对解决政府使用自动化决策系统可能引起的社会、道德和公平问题至关重要。

　　人工智能时代对算法的监管应包括事前规制、事中监测、事后救济三个方面，最重要的即是通过立法手段对算法透明度予以保障，避免对研发者信息披露义务过于宽泛的豁免。规范政府建立自动化决策系统清单，清单内所列的自动化决策系统均应纳入事先评估影响、事中持续监测审查的范围，授予监管机构调查权限以访问与自动化决策系统相关的信息。

　　因此，即使算法透明之路障碍重重，我们仍需找到透明度与商业秘密、专有信息等因素之间的平衡点以促进算法之规制。

　　同时，应禁止机构与自动化决策系统的供应商达成任何有碍于合理信息披露的协议，将算法的透明度要求与合同批准联系起来，从源头上杜绝供应商等利用商业秘密、贸易保护等“保护伞”规避披露义务的行为。

　　除了行政监管，应对“算法权力”的扩张，可考虑增强“算法权利”的途径。对于任何私权利受到自动化决策系统不当侵害的个人，都应赋予其私人救济的途径。

　　(作者分别系北京科技大学文法学院副教授、东北师范大学政法学院研究生)

　　责编：高恒涛