崔鹏、张拳石、谢涛、陶大程等7位专家论道：共探AI决策的可靠性和可解释性

整理 | 卞哲、蒋礼

本文为未来论坛AI伦理与治理系列04期——《AI与风险治理》实录稿，共分主题报告和圆桌讨论两个部分。

主题报告部分共收录：

• 清华大学公共管理学院教授、清华大学人工智能国际治理研究院副院长梁正《从可解释AI到可理解AI：基于算法治理的视角》

• 未来论坛青创联盟成员、清华大学计算机系长聘副教授、博士生导师崔鹏《人工智能：从“知其然”到“知其所以然”》

• 上海交通大学副教授张拳石《可解释性博弈交互体系：对归因权重、鲁棒性、泛化性、视觉概念和美观性的统一》

• 未来论坛青创联盟成员、北京大学计算机科学技术系讲席教授、高可信软件技术教育部重点实验室（北京大学）副主任、北京大学信息技术高等研究院数据驱动软件开发实验室主任谢涛《AI可靠性和可解释性：软件工程视角》

圆桌讨论实录由崔鹏主持，参与讨论的嘉宾分别有：

• 清华大学社会科学学院社会学系教授李正风

• 清华大学公共管理学院教授、清华大学人工智能国际治理研究院副院长梁正

• 京东探索研究院院长、澳大利亚科学院院士陶大程

• 未来论坛青创联盟成员、北京大学计算机科学技术系讲席教授、高可信软件技术教育部重点实验室（北京大学）副主任、北京大学信息技术高等研究院数据驱动软件开发实验室主任谢涛

• 上海交通大学副教授张拳石

讨论议题：

一、AI可靠性和可解释性的现实风险、公众诉求都有哪些？

二、从技术角度来看AI可靠性和可解释性之间是什么样的关系？各自的范围和边界是什么？

三、可信人工智能在实际应用中存在哪些机会、问题和挑战？

四、从社会治理角度，政府、公众、社会团体应该如何共同参与到AI可靠性的发展当中来？

五、强监管环境下，政府和企业在应对AI可靠性风险方面应该怎么样去联动？

随着 AI 的发展和广泛应用，研究者和开发者面临的挑战是理解和追溯算法如何得出结果。可解释的AI，可使人类用户和开发者能够理解和信任机器学习算法所产生的结果和输出。了解AI的系统如何生成特定输出，可以帮助开发者确保系统按预期运行，建立可定义的监管标准，并以此对 AI 进行模型监视和问责，最终降低生产 AI 的合规性、法律、安全和声誉风险。

本期活动，将阐明公众、政策法规和AI技术研究与开发者对AI可解释性的理解和需求上的不同，分享AI的可解释性、稳定性和鲁棒性、可回溯可验证三个方面的技术研究和解决方案，共同探讨实现AI可解释可靠的道路。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

1

主题报告

• @梁正《从可解释AI到可理解AI：基于算法治理的视角》

1. 可靠的AI应该具备四大要素：安全、公平、透明、隐私保护。因此，“可信任”和“可解释”是正向相关关系，尤其对用户和公众而言，实现算法可解释是确保可靠和信任的重要一环。

2. 所谓“负责任的人工智能”，它有两个基石：一是从技术角度去解决其因果机制的构建问题，二是从制度角度赋予个人和主体可解释的权利。

3. 目前的问题在于，较之于欧美，我国的规则比较分散，缺乏实施的细则和操作指引；在算法治理上，统一协调负责的监管机构还不明确。

4. 未来算法治理的两大方向比较明确：一是可问责性，二是可解释性。基于算法治理的视角，我今天要讲的题目是“从可解释AI到可理解AI”。鉴于我所在的清华大学公共管理学院和人工智能国际治理研究院在人工智能方面开展了诸多的政策研究，所以我更多从公共治理和技术规制的视角去理解和认识“可解释AI”。

下面从四个方面进行探讨：一、为什么关注AI可解释性问题；二、对于算法治理，目前国内外已有实践和经验；三、我国对算法治理的路径探索；四、未来对于算法治理路径的设计和方向展望。

首先，需要知道为什么要关注AI或者算法的可解释性。今天 机器学习的主流呈现出“黑箱”的特点，普通用户很难观察到数据训练的中间过程 ，这样的特征导致AI对我们而言处在不可知的状态。黑箱问题也带来了难以控制、歧视偏见和可能存在的安全风险，使得我们对算法信任产生怀疑。一些重要的应用领域尤其如此，比如医疗健康、金融、司法领域，包括自主决策的AI系统，算法可解释性是非常重要的应用依据，特别是在金融领域，一些监管机构也提出可解释性是应用的a先决条件。（如图1）

图1

什么是算法的“可解释性”？学界从不同的角度来认识，国外学者以及部分国内学者认为 “可解释性”是可以提供细节和决策的依据，能够被用户简单清晰的认识和理解。 从法律法规角度来看，欧盟《通用数据保护条例》（以下简称“GDPR”）规定 在自动化决策中用户有权获得决策解释，处理者应告知数据处理的逻辑、重要性，特别是影响后果， 这是学理层面、政策层面上的“AI可解释性”。

“可解释”和“可信任”之间是什么关系？如图2所示，普通用户对“可解释”的认知更多的是可理解，即不需要掌握更多专业知识但可以简单清晰地理解自动化决策的原因和根据，这涉及与“可理解”含义的关系。什么是“可信任”“可靠性”？从用户角度来说，AI应该是可靠的，即不能出错、不能产生风险、不能损害我们的利益或者安全。由此，可靠的AI应该具备四大要素：安全、公平、透明、隐私保护。因此， “可信任”和“可解释”之间是正向相关关系， 尤其对用户和公众而言，实现算法可解释是确保其可靠和信任的重要一环。

图2

算法可能带来的风险有哪些？即不可靠的因素或者风险因素何在——比如歧视和偏见问题，由于技术本身的局限可能现阶段带来的可能的安全问题，因与社会系统嵌合而产生的数字劳工劳动受限的问题，还有信息推荐领域基于用户偏好的信息投递而可能存在的“信息茧房”问题等。它们和我们所使用的数据和算法相关，也与AI及深度学习本身的特点相关。各国在算法治理方面有不同的探索，也有共性和经验：

欧盟在数据治理和算法治理方面的特点是自上而下，规则制定色彩比较浓厚，也提出特别明确的原则—— 以“透明性”和“问责性”保证算法公平。“透明性”就是指AI可解释性，即决策数据集、过程和决策可追溯性，决策结果可以被人类（包括监管部门、社会公众）理解、追踪。“问责性”则规定如何保证AI是负责任的、安全的，要建立问责机制、审计机制以及风险损失的补救措施。具体治理路径是把数据权利赋予个人，在GDPR中规定了知情权、访问更正权、删除权、解释权，赋予个体广泛的数据权利。从欧盟近期出台的《数字服务法》、《数字市场法》等一系列法律法规来看，其 未来的发展方向更倾向于强化法律责任制度，设定严格的责任， 通过事后严格追责来保证在AI的设计和应用上是负责任的、可信的。比如强制保险制度，法律上对AI损害的侵权判定不需要了解其技术细节，只需要认定侵害行为和损害之间的因果关系即可构成侵权。举例而言，近期意大利数据保护机构对一家外卖快递公司处以罚款，原因在于该平台通过算法自动处罚骑手，如果骑手的评分低于某个水平，就可以停止其工作。监管机构认为该处罚原则是一种歧视，因为骑手没有能力争辩，也不了解这样的评判是基于何种标准。所以，公司对于这样的算法应用应该做出解释，员工应该有知情权。

与欧盟不同，美国采用了另一条路径，其联邦层面并没有统一制定算法治理的相关法律，而是采取 自下而上的、分散化、市场化的治理路径 。比如，纽约市最早出台算法问责法，对于政府使用的算法（比如教育领域、公共部门）进行监管与问责，麻省、加州、纽约市等多个州和城市禁止政府和司法部门使用面部识别技术；此外，加州制定的《加州消费者隐私保护法案》（CCPA），赋予公民查询、了解其个人数据收集和使用情况的权利，该治理路径与欧盟GDPR更加接近；在私人主体方面，更多是企业和非政府组织的参与治理，以及部分行业组织进行算法问责工具、算法可解释方案的开发。 就行业自律而言，谷歌、微软、Facebook等企业成立了伦理委员会，并推动建立相关标准。 相关案例有很多，比如近期Everalbum公司在隐私条款中没有写明的情况下，将算法卖给执法机关和军方，涉嫌欺骗消费者，最终被美国联邦贸易委员会（FTC）处罚。这是一个具有标志性意义的处罚判定，不仅仅要求其删除数据，还要求删除非法取得的数据照片所训练出的人脸识别技术。以上是国外治理的最新进展。

从国内来看， 现阶段我国对算法治理路径的探索，已经初步形成了框架体系。 在“软法”也即规范原则方面，科技部发布了《人工智能治理原则》，全国信息安全标准化技术委员会(信安标委)发布了《人工智能伦理安全风险防范指引》，以及最近多个部门在相关领域所出台的针对平台企业或者针对某个特殊领域的数据管理、算法治理相关的规章制度。与此同时，多部“硬法”也正在密集地研究制定和实施当中，比如已经实施的《电子商务法》《网络安全法》，即将实施的《数据安全法》和即将通过的《个人信息保护法》等多个部门规章。目前的问题在于， 较之于欧美，我国现有的监管规则比较分散，缺乏实施的细则和操作指引；在算法治理上，统一协调负责的监管机构还不明确。 中央网信办在某种程度上起到牵头协调作用，但在具体领域相关的职能部门要发挥更多作用。

在产业界，部分企业开始建立内部治理机制， 比如治理委员会，对数据的采集、利用，以及算法设计等问题进行规制，但整个行业自治机制尚不成熟，同时也缺乏外部监督。基于人工智能算法可能存在的风险，并进一步借鉴国外的已有经验， 未来算法治理的两大方向比较明确 （如图3所示）：一是算法可问责，主要是明确算法责任主体，对于监管部门而言，不是做技术规制而是做责任的划分，即一旦出现问题，谁应该承担责任，包括算法审计制度，也即对算法应用的监督、安全认证制度，也即算法设计要遵循一定的标准、规范、制度、规则，以及算法影响的评估制度。二是可解释性，技术上如何实现可解释，以及制度上如何赋予个人要求解释的权利，进而反作用于算法的设计以达到公平合理的目标。

具体来看，目前的实践性探索集中在《个人信息保护法》层面， 主要为自动化决策场景中算法治理的尝试， 包括明确提出对算法影响的评估，规定利用个人信息进行自动化决策需进行事前评估、算法审计；特别是赋予个体权利，保障自动化决策透明度和结果的公平合理，对个人权益有重大影响的领域（比如金融、医疗等）个人有权要求信息处理者予以说明，并有权拒绝仅通过自动化决策的方式作出决定。

在自动化决策场景下的治理探索方面，央行在人工智能算法金融应用领域设立了评价规范，提出对算法可解释性要从全过程的角度提出基本要求、评价方法与判定标准等。人社部在关于就业形态灵活化与劳动者权益保障方面，提出外卖平台在基本的业务模型设计上，应该对其制度规则和平台算法予以解释，并将结果公示或告知劳动者。中宣部在关于加强网络推荐算法的内容监管方面，也提出综合治理的要求。所以，未来的算法治理基于可解释性、基于可靠性的方向较为明确，所谓 “负责任的人工智能”，它有两个基石：一是从技术角度去解决其因果机制的构建问题，二是从制度角度赋予个人和主体可解释的权利。

就未来可能的治理方向而言，对于 算法未来的目标是分领域、分级的治理， 比如人身安全领域和商业领域可能要进行分类处理。在坚持安全、公平、透明和保护隐私的基本原则上实现“负责任的AI”（如图4所示），算法的“黑箱”特征和复杂性不能成为逃避治理的借口，应该在保护人们基本权利的基础上设定底线，在算法性能和安全之间进行权衡，推动技术界去改良算法。此外，应当在算法治理中识别和区分规则问题和技术问题，认识到算法设计不单单是机器学习的结果，还需要对算法设计人进行约束，找到问责主体。而对于技术缺陷，则应该通过技术进步，以及相应的标准规范与安全要求去引导技术开发。最后，应该提出算法可解释的评估指标和监管政策，研究提出全流程的监管政策，定期评估AI系统的生命周期和运转状态。有专家对于AI可解释性的具体方式存在争议——是公开模型、源代码、运算规则，还是决策的权重因素，这是否会影响到企业的商业秘密等，这些都是亟待下一步研究明确的问题。

整个算法治理包括可解释性、可靠性，都是非常复杂的问题，我在此主要从制度、规范，以及观念认识的角度进行初步介绍，也期待技术专家们从更专业的角度对这个问题进行深入分析。

• @崔鹏《人工智能：从“知其然”到“知其所以然”》

1. 人工智能的治理需要实现从知其然到知其所以然的跨越。“然”就是数据里的关联，“所以然”是数据里的因果。

2. 不可解释会带来什么后果呢——人和机器之间没有办法协同。任何两个主体之间要想协同，必须具备所谓的“共同语言”。

3. 如果无法理解机器的输出，就无法在这样的风险敏感型领域放心应用此类技术，这是当前人工智能技术在向实际应用渗透的最大障碍。

4. 目前人工智能应用的困境可以归纳为不可解释、不稳定、不公平、不可回溯，将因果引入机器学习可能是突破当前人工智能局限性的一个重要途径。从2016年开始，人工智能（尤其是深度学习）发展得如火如荼的时候，我们课题组就开始考虑，如果按照当前的技术演进方向，最终AI系统的本质缺陷以及它会带来一些什么样的风险，我们应该如何应对。最终归结为一句话，人工智能的治理需要实现从知其然到知其所以然的跨越。

如果说在之前的若干年，人工智能的主要应用领域是互联网，那么 往后展望十到二十年，人工智能的应用可能会进入深水区，也就是向医疗、司法、生产、金融科技等等领域进行渗透。 而这些领域的典型特点是风险敏感型，如果人工智能的技术犯了错，那将会酿成大错。比如医疗领域关乎生命安全问题，司法领域关乎司法正义的问题。在这样的大背景下，人工智能技术的系统性风险亟待关注。

对于人工智能的现状，我们认为它是知其然但不知其所以然。 当前的人工智能最擅长解决什么问题呢？可以称之为“What-problem”，也就是“是什么”的问题，比如这个人脸是谁，这个人是不是有某种疾病，擅长回答是什么的问题。不擅长回答的是“Why-problem”，也就是“为什么”的问题。如果我们问这个算法为什么做出这样的预测或者决策，这个模型是不能给出我们答案的，而这样的局限带来了一系列应用层面的风险。（见图5）

图5

首先，当前主流的机器学习方法是黑箱模型，导致无法对当前模型的预测给出一个解释，它的不可解释会带来什么后果呢——人和机器之间没有办法协同。任何两个主体之间要想协同，必须具备所谓的共同语言。如果机器的输出人不懂，人的输出机器不懂，导致人和机只能取其一，导致“1+1=1”，要么就全信机器，要么就全不信。在很多风险敏感型的领域，医疗、军事、金融、工业，人不可能完全信赖一个机器的决策。这种情况下， 如果无法理解机器的输出，就会导致没有办法在这样的风险敏感型领域放心应用这样的技术和系统， 这是当前人工智能技术在向实际应用渗透的最大障碍。

其次，第二个风险是缺乏稳定性。当前主流人工智能方法都有一个基本的统计学上的假设——“独立同分布”（如图6所示），即我们所训练的模型和所测试的模型要求是一个分布，换句话说，就是要求测试模型的数据和训练模型的数据“长得像”，只有在长得像的情况下，我们现在这个模型的性能才是有保障的。而如果测试这个模型的数据分布和训练分布存在偏差，从理论和实际角度来讲，这个模型的性能不稳定且没有保障。在实际的应用过程中，其实很难保证一个模型的测试分布和训练分布是一致的。比如无人驾驶，我们在开发无人驾驶汽车视觉模块的时候会采集很多特征来训练这样的视觉模块，训练出来以后，再在特定的训练数据分布下训练该模块。当实际产品上线后，没有办法保证司机会将该汽车驾驶到什么样的城市，以及这个城市的分布和训练数据分布是否大体一致。不管是从理论和性能上，现在的模型都没有办法保证性能稳定，这也就是为什么现在大家看到无人驾驶汽车在开放的环境下会发生一些人完全没有办法理解的低级错误。

图6

其三，公平性。举一个简单直接的例子：在美的司法系统中，要通过预测这个犯人释放以后的二次犯罪率，作为对其减刑或者释放的重要参考指标。从家庭背景、收入水平、受教育水平等等各个层面考虑，两个犯罪嫌疑人基本差不多，只是因为一个是黑皮肤、一个是白皮肤，在人工智能系统里，最后的判定是黑皮肤犯罪嫌疑人的二次犯罪率比白皮肤高十倍以上。换言之，俩人的其他背景都差不多，只是因为肤色不一样而导致结果相差甚大，显然这样的预测和决策是不公平的。 而现在大量人工智能技术都倾向于给出这样的不公平预测或者决策。

其四，不可回溯性。现在的人工智能系统，鉴于其黑箱模型的实质， 即使知道最后输出是错的，却并没有办法回溯回去以获悉到底因为哪个参数或者哪个特征的错误导致了最后的错误输出。 也就是说整体的过程不可回溯，导致了即使模型出错，也并不知道板子要打到谁身上。

所以，目前人工智能应用的困境可以归纳为不可解释、不稳定、不公平以及不可回溯。而其中的不可解释直接导致了人对于人工智能系统的不理解。然而，一项新技术一定要加以理解才能够放心投入应用吗？也不一定。比如汽车的使用，并不是所有人都理解车的动力学原理、发动机原理，为什么敢用呢？因为它高度可靠。但是人工智能技术因为不稳定、不公平，导致它的性能并不那么可靠。也就是说，人不能够在不理解的情况下信任AI技术。再者，因为不可回溯，一旦系统出了问题就难以归责，不知道板子要打到谁身上，故而很难建立一套保障体系。 因此当前人工智能应用困境可以归结为：不理解、不信任、没保障，这是现在所面临的巨大挑战。

为什么现在的AI技术会产生这一系列的问题呢？追根溯源是因为 机器学习的统计学基础关联统计， 我们只在意所有输入信息和输出信息之间的“平”的关联结构，这样的关联结构大部分的关联模式都是虚假性的。比如，历史数据里可以发现收入和犯罪率、肤色和犯罪率是强关联的。如果基于因果框架，用因果统计替代关联统计，可以发现收入和犯罪率是强因果关系，低收入群体更倾向于犯罪，肤色和犯罪率并没有很强的因果关系。为什么肤色和犯罪率出现强关联呢？背后原因是黑皮肤这个群体在某些特定国家收入偏低，因为收入低导致犯罪率高，而不是肤色直接导致犯罪。所以如果把原来那套不是非常严格可靠的关联统计框架，转变成一套更严格的因果统计框架，可能在解释性、稳定性、公平性、可回溯性方面都有很好的解决路径。所以，将因果引入机器学习可能是突破当前人工智能局限性的一个重要途径。（见图7）

从2016年开始，我们开始关注怎么样实现因果和人工智能的结合，目标是实现因果启发的学习、推理和决策，从而能够从辨识理论、学习模型、和决策机制方面全面的引入因果统计框架，建立因果启发机器学习理论的方法体系。近年来，在因果启发的机器学习方面取得了一些重要进展，最终发现了一种通过全局样本赋权的方式，通过样本赋权的操作，能够将线性模型、非线性等深度学习模型进阶成为因果启发的模型，从而为机器学习模型的可解释性、稳定性、公平性提供一定理论基础。从应用角度来讲，它的使用效果有突出表现，在工业4.0、新能源、通信等领域也得到了广泛应用。

人工智能进入深水区以后必然要求可解释性、稳定性、公平性和可回溯性。为什么当前人工智能技术做不到这些？ 总结一句话就是知其然但不知其所以然。 “然”就是数据里的关联，“所以然”是数据里的因果。所以人工智能基层理论需要基础性的变革，因果启发的机器学习可能成为新一代人工智能的突破口。

Martin David

• @张拳石《可解释性博弈交互体系对归因权重、鲁棒性、泛化性、视觉概念和美观性的统一》

1. 解释性需要更深更强的理论基础，这里面有两个关键词——统一体系、去芜存菁。

2. 打通符号表达与神经网络表达的壁垒，我们需要在统一体系里进行建模，才能得出可靠结果。
   

3. 我们不仅要建模语义、解释语义还要解释它的泛化能力。我的报告从技术细节来展开，报告题目是“可解释性博弈交互理论体系：对归因权重、鲁棒性、泛化性、视觉概念和美观性的统一”。

图8

解释性发展的现状如图8所示，不同的人从不同方向去解释神经网络，人们从语义层面、从数学层面解释神经网络，目前解释性的发展课题方向五花八门，没有统一框架。 语义层面解释神经网络主要是解释神经网络用哪些语义进行预测， 以进一步量化神经网络的可靠性、可信度。需要基于重要特征的解释性与神经网络进行交流式地学习，最后怎样评价神经网络的解释结果，要从语义层面认知神经网络所建模的知识。 解释神经网络的数学表达能力包括如何建模或解释神经网络表达能力。 现在很多人关注神经网络结构，如何在结构与知识表达之间建立关系，如何在知识表达与最终性能之间建立关系，如何解释经典的深度学习算法。最终目标是Debug神经网络，用少量的样本更精准地修复神经网络并提升神经网络性能。大家发力方向各有不同，但都是解释神经网络，或都是解释人工智能系统。

可视性科学更多的是一门工程性技术，而不是科学。 不同人从不同角度解释神经网络，比如数据层面、语义表达层面，不成体系。想要根本上克服一些问题，需要从语义层面解释神经网络。首先，我们要 保证语义的严谨性。 比如，通过神经网络建模了某个物体的组成部分，神经网络是否严格、真实地建模了这一部分，需要保证这部分语义的严谨性。举例而言，通过神经网络建模了“猫”的头部，是否严谨、严格地对猫的头部进行建模，而不是建模其他部分。其次， 建模输入像素或者输入区域在神经网络预测中的重要性，要严格、准确地做到语义的严谨性、归因数值的严谨性。

我们需要为神经网络表达能力提出更多的解释性指标，以分析神经网络的表达能力。解释性需要更深更强的理论基础，这里面有两个关键词——统一体系、去芜存菁。

不同人从不同角度解释神经网络，有人从特征迁移性上解释神经网络，有人去解释神经网络的对抗鲁棒性，有人研究神经网络变化的复杂度、泛化能力、特征结构性、特征交互性等等，这些研究各自为战，每个研究都能自圆其说，但都建立在各自独特的理论基础与假设框架之上。这些方法只能做到自圆其说，而不能相互印证。要做到不同算法相互印证，就要 把算法放到统一体系里， 这样才能保证不同研究的可靠性，才能确保解释结果的可靠性以及研究成果的可信任性。因而，要把不同的研究放在同一个理论体系下打通它们的内在关系。

在去芜存菁层面，现在存在诸多深度学习技术，而真正有效有用的深度学习技术大多基于人的经验或者人的直觉感知去设计神经网络结构，但究竟什么样的内在机制真正在起作用却不得而知。我们只知道，为了实现某个功能，不同方法均为有效，而目前并不确定真正有效的、或者最有效的因素是什么。我们希望 从不同因素中总结出真正有效的因素，从而设计出更加可靠的指标，以指导神经网络的结构设计、指导神经网络的训练， 这是解释性的未来发展方向。

近三年，我们利用博弈交互理论体系做了一些研究。从博弈论层面定义了多变元博弈交互，证明了它们的一些性质，并且进一步完善了博弈交互解释性的理论体系。在神经网络解释方面，可以通过该理论解释神经网络的泛化能力、解释神经网络所建模的语义层次结构、解释神经网络所建模的视觉特征（比如形状特征）等等；此外，在表达方面能够解释神经网络的对抗迁移性、对抗鲁棒性，还有输入视觉图片的美观度。总之，可以在一个体系内解释神经网络的各个方面。

归根到底这么做的原因何在——我们还是希望把解释性算法做得更扎实、更牢靠，以得到更可靠的解释结果。为此，我们需要对神经网络算法提出一些要求，从而在统一理论体系下完善解释性理论本身，在统一理论体系下解释什么叫“语义”，什么叫“对抗鲁棒性”，什么叫“泛化能力”，什么叫“迁移性”等等。要想打通符号表达与神经网络表达的壁垒，我们 需要在统一体系里进行建模， 才能得出可靠结果。此外，在去芜存菁的过程中，现在真正有效的算法主要是经验主义算法，神农尝百草式的，我们的理想是理论证明算法的有效性，或者提取不同算法的公共机理，找到内在真正本质的机理。

首先，什么是“博弈交互”？简单来说是多个单词或多个像素间的交互。 神经网络不是拿单个单词去推测，而是多个单词之间形成配合、形成短语，这个短语影响了输出结果。对视觉分类任务也是，不同像素之间进行配合，去影响最终的分类结果。我们用一个形象的比喻来帮助理解“博弈交互”的定义，把每个单词、每个像素看作一个小人，这里面有三个小人（也就是三个单词）配合起来的总效用。每个单词分别独立作用的效果差如果等于0，则认为几个单词之间没有交互；如果大于0，则认为几个单词之间互相配合，如果小于0，则几个单词之间是相互对抗的，也是存在交互的。很重要的是，“博弈交互”可以把神经网络表达转化为不同知识点的效用之和。“神经网络表达”是一种由线性表达转化成的模块化表达，我们要统计出神经网络到底记录了多少个知识点，每个知识点是特定像素的一组交互作用。知识点的定义与使用将从根本上改变神经网络的表达方式。此种表达方式的改变可以对许多事物进行解释，这进一步完善了沙普利值（Shapley Value）的解释性理论体系。

在解释性中，如何判定某个像素或区域对决策结果的重要性，重点是要判断一个像素或者一个区域被遮住和没有遮住时，神经网络输出结果的差异。如果差异较大，则认为该区域或像素重要性较大；如果差异较小，就认为这个区域的重要性较小。至于如何表示、什么叫被遮挡方块，是用一个黑色的方块表示还是平方模糊目前的区域表示，没有界定。如果按博弈交互的方式，可以把神经网络输出表示为不同的知识点，加以符号化，变成知识点效用的和，就可以确定神经网络建模存在的知识点总量，进一步区分神经网络建模的显著知识点和噪声知识点。显著知识点的博弈交互的效用比较大，比如数值上绝对值比较大，而噪声点绝对值趋近于零，是几乎没有效用的知识点。所以寻求一个遮挡状态，使得触发的显著知识点尽可能的少，这样就可以从知识点的层面解释神经网络，从一个统一角度进行建模，数出一个神经网络所触发的信号数量，这是分析神经网络的一个全新的角度。

第二，如何解释数字图像的美观度？美观度没有完整定义，美观的图像降低了人类的认知成本，一眼就能认知背后是什么样的物体。 这实际上是提升了大脑对认知的显著度。用人工神经网络模拟真实的人类大脑的神经网络。当人们解读人工智能建模的显著信号和噪声信号时，可以增强显著信号，降低噪声信号。如图9所示，原来是绿颜色的背景变成红颜色。如图9所示，这只猫，原来的色彩分布比较平均，经过调整、提升显著信号后，可以发现猫与右边的背景对比更加强烈了。我们可以从这个角度修改网络的学习目标，进一步提升图像输入的美观程度。

图9

归根到底，什么叫“语义”？什么叫“纹理”？什么叫“形状”？目前学界没有定义。其实 博弈交互也可以解释语义表达 ，比如任何两个像素之间的交互，并不是两个像素之间的问题，而是这两个像素与背景像素相互配合的问题，如果只有少量背景像素与这两个像素配合，往往是简单的视觉特征，这是低阶的交互；如果有大量背景像素与两个像素之间交互配合，这是建模的高阶特征，代表很复杂的形状概念。我们也可以从这个角度去解释神经网络背后针对不同语义的表达、对不同复杂度的表达。

我们不仅要建模语义、解释语义还要解释它的泛化能力。前期工作可以证明Dropout可以降低博弈交互强度，同时我们发现博弈交互强度与泛化能力不相关，且基于此关系可以进一步优化神经网络的泛化；还可以用来解释神经网络对抗迁移性，发现博弈交互的指标与迁移性之间是不相关的。之前提到“去芜存菁”，在提高对抗迁移性算法上，存在诸多基于经验主义的算法，比如加入一些momentum，加入一些动量，加入一些梯度平滑，改变传播的权重等。这些方法确实能够提高对抗迁移性，但是其起作用的本质是什么不得而知。理论证明这几种方法都在降低交互值，人们可以总结出这些经验算法背后的内在机理。基于本质机理指导未来的深度学习，指导对神经网络的解释，是更可靠、更标准的理论。进一步怎么解释对抗鲁棒性。四种对抗的方法，有两种方法检测对抗样本，两种方法提升鲁棒性，都是对最高阶交互的检测，对敏感交互成份的去除。

综上所述，从语义层面和数学层面解释来看，现在解释神经网络更像一个纯工程技术，没有一个统一解释，我们希望尽量让不同的研究纳入到同一体系里，去芜存菁，找到它本质的机理，这样去解释神经网络，其解释性理论、解释结果才会更加可靠。

• @谢涛《AI可靠性和可解释性：软件工程视角》

1. AI的可靠性问题因用户对AI系统的过度信赖而被放大。

2. AI系统的未知挑战——应对已知的已知，未知的已知，已知的未知，未知的未知中的最后一个类别。

我分享的内容主要涉及软件工程的视角看AI可靠性、可解释性。在AI和软件工程的交叉领域，智能化软件工程是用AI技术和手段来辅助解决软件工程的问题。而从反方向思考，智能软件工程是用软件工程的技术和手段来辅助解决AI（特别是AI软件）的问题，比如AI的可靠性、可解释性问题。

去年我和软件工程及AI交叉领域的几位研究者共同组织了一期IEEE Software杂志专刊，探讨智能化软件工程和智能软件工程。这期杂志专刊包含有从投稿中通过同行评审选取出来的5篇文章，以及阐述特邀专家观点的一篇文章，包括来自于国内大家很熟知的李开复博士，微软亚洲研究院的张冬梅副院长等都贡献了他们的观点。

切入今天的主题，首先从软件工程视角来看AI系统，很多时候AI模型只是构成AI系统的一个模块，但也有不少AI系统本身就是AI模型，没有外围更多的模块。很多复杂系统由众多模块组成，而AI模块只是其中某个或某些模块，比如自动驾驶系统。就软件系统本身来说， 系统从用户那里获取输入，进行一系列操作后再给出输出。 前置条件界定了系统可操作的输入范围；在获取到满足前置条件的输入后，一个行为正确的系统会保障产生满足后置条件的输出。如果输出无法满足后置条件，则表明系统出现了问题。

AI系统会面临一些挑战，比如很难刻画需求包括前置条件、后置条件等。2016年微软发布了青少年聊天机器人Tay，有人恶意与其互动，它就变成了种族主义者，所以仅仅存活了24小时就被关了。事后网上有些讨论，认为微软本应该采取诸多预防措施，比如创建一个术语黑名单，当检测别人与Tay的互动中包含这些“禁语”（相当于违反了前置条件），就予以过滤。在Tay输出它说的话之前，当检测到这些话包含“禁语”（不包含“禁语”也就成为了后置条件的一部分），也予以过滤。定义这样的术语黑名单其实很困难，因为既要保证对话自然性，还要保障阻止恶性输入和防止“说错话”输出。如何将此需求落实成很具体的、能够验证、能够保障的需求，具有很大难度。

图10

系统对需求的满足很多时候不是绝对的，而是统计意义上的。 （如图10）比如，以自动驾驶系统里的系统需求为例，稳定性、安全性、合规性、舒适度，系统决策要保障四项需求都得到满足，这是比较严格的需求。实践中很难完成，因而优先级是保障稳定性、安全性，因为在开放的环境中（如自动驾驶、聊天机器人等，都是开放式输入）很难判定或者保障需求得到满足。

另外， 在AI模型演化的过程中，往往牵一发而动全身。 通过增加新训练样本再进行训练产生新版本的AI模型后，虽然整体模型准确度可能会有增量式提升，但对于单个输入的输出行为而言可能会和老版本的模型差异较大，这不太同于传统软件。在使用AI系统时，用户也很难判定输入、输出是否满足需求。

AI的可靠性问题因用户对AI系统的过度信赖而被放大。 之前研究发现，在人和机器人的交互过程中，比如当在一个建筑物中机器人带着人去逃生，人会过度依赖于机器人。如果这个机器人没有能够进行很好地引导，就可能造成不小负面效果，人本来可以自行及时找到逃生出口，但由于AI的误导而错过自救时机。

图11

从需求层面看AI可解释性， 对于某些AI系统，AI可解释性是需求的重要组成部分；如果仅从需求层面出发，而对于其它一些AI系统，AI可解释性不见得那么重要。 （如图11）举例而言，百度发布了其输入法的AI助聊智能预测功能，对用户的对话进行预测下一步要敲什么字句，由用户对预测结果进行确认（这里不一定要解释为什么会预测出这些字句）。由北京大学李戈老师开创的初创公司研发智能编程工具“aiXcoder”致力于代码补全，也是类似的情况——无须对推荐的代码片段进行解释，只是让开发人员对预测结果进行确认以节省敲代码的时间来提高开发效率。但是， 可解释性在另外一些场景中非常重要， 比如百度输入法的智能帮写系统。如果你利用帮写系统和某人聊天，比如父母和子女聊天，因为年龄代沟，为了写出一些更接地气、更符合子女生活习惯和知识的信息，那就不能盲目采纳被推荐的帮写内容，这里AI可解释就很关键了。包括微软GitHub推出的“AI Pair Programmer”，自动代写大段代码，可解释性也很重要，因为开发人员需要针对自己的需求去花费很多精力来理解和判定自动代写出来的代码是否正确，这与代码补全场景是不一样的。2018年我联合初创的杭州视睿科技公司在解决智能制造包括集成电路、3C产品、LED产品等表面缺陷检测上，也用到深度学习、计算机视觉。我们发现可解释性在开发和演化AI模型上也很关键，它可以帮助我们系统开发人员更好地把握加入或者减少的训练样本对整个模型的影响，这个场景下对模型行为的准确理解至关重要。

下面对应对思路进行探讨：一是怎样基于不可靠的AI模块来创建足够可靠的系统。鉴于数据驱动等的特点，AI模型和AI决策本质上很难做到完全可靠，除了从算法等角度提升AI可靠性外，还要基于系统观从外围提升系统的整体可靠性（即使系统内部AI模块不那么可靠），这是一个重要的研究方向；二是怎样让人与不可靠的AI系统共存（如图12）。这是清华大学车辆与运载学院研究团队在《Nature》的一篇scientific report文章，讲的是人和汽车即将碰撞时人的反应，学者从系统观出发，判定汽车离人应该多远才安全，即所谓的“安全边界”。我们最近的研究工作（去年发表在《IEEE Transactions on Reliability》上）在技术层面对智能车、无人机等通过监控系统内部状态来学习出所谓的“不变量”属性，这与行人的“安全边界”有类似之处。此外，应对思路中还涉及怎么训练使用AI系统的人不过度信任AI系统的问题。

图12

其实AI系统的未知挑战涉及到已知的已知，未知的已知，已知的未知，未知的未知中的最后一个类别。 （如图13）右上角是说AI系统知道违反其前置条件或后置条件的情况，右下角是说AI系统不知道其前置条件、后置条件是什么也不知道哪些情况是违反了其前置条件或后置条件的。右下角的情况就很难处理了，这也是我们长期需要应对的一个开放的挑战。

图13

Marly Gallardo

2

嘉宾对话

从宏观角度来分享对“AI的可靠性和可解释性”话题的看法

@陶大程

可信人工智能还是一个比较开放式的问题，需要大家从不同的方面深入思考，它主要聚焦于人工智能技术的稳定性、可解释性、隐私保护、公平性。 2020年11月25日，在京东探索者大会上，京东宣布成立京东探索研究院，开始面向世界招揽相关的科技型人才。

2021年3月，我出任京东探索研究院的院长，开始规划京东探索研究院的战略方向，当时制定了三个重要的研究方向：第一个是可信人工智能，第二个是超级深度学习，第三个是量子机器学习。

在可信人工智能方面，我们主要聚焦于人工智能技术的稳定性、可解释性、隐私保护、公平性。 从理论出发理解深度学习的工作机制，分析风险，研究深度学习的新算法，分析神经网络的代数和几何性质以及泛化能力，以此来保障人工智能应用的可解释性。 目前可信人工智能还是一个比较开放式的问题，需要大家从不同的方面深入地思考

超级深度学习主要关注超大规模模型的训练，希望从理论层面分析超大规模深度学习网络的优越性到底在什么地方，以及它可构建的生态系统的模式和途径。

关于量子机器学习，到2035-2040年，全世界电力产能不足以支撑仅人工智能这一项所带来的消耗。届时“兰道尔极限”将是主要问题，目前来说量子计算机的应用是突破传统计算机“兰道尔极限”最有希望的手段。量子计算机发展非常迅速，我们希望通过量子计算机来构建新型的机器学习系统，最终实现人工智能的进一步提升。总体来说，不管是超级深度学习还是量子机器学习，我们都希望构造的系统本身是可信的。

@李正风

1. 显然，对AI决策的信任是不能够完全由技术来保障的。所以我们不得不去共同思考，怎样重新建立数字时代、人工智能时代的社会信任机制。

2. 所谓道德真空可能表现在两个方面：一是道德无意识，进行算法设计的时候根本没有考虑可能出现什么样的伦理问题、社会问题。二是道德无规则，知道可能存在问题，但不知道应该怎么办。

3. 解释也意味着我们根据必要的技术和社会标准对AI进行规范，同时向社会、向公众、向用户做出承诺。

我主要做社会学方面的研究，关注科技与社会的问题。关于人工智能决策的可靠性和可解释性问题，从三个方面谈谈我的看法。

第一，人工智能决策的可靠性和可解释性的关系。显然增进人工智能决策的可靠性是一个目标。可解释性、可信任性、可理解性，都是为了提高可靠性服务的，之所以关注人工智能决策的可靠性，很大程度上是因为我们把决策权更广泛的交给了机器，这是人工智能技术区别于其他技术非常重要的特征。让渡出决策权和控制权，AI决策又存在很大可塑性和很大风险，AI决策的相关技术也存在不同类型的缺陷和问题，目前存在的值得突破的方面也有很大发展空间。这使我们不得不高度重视AI决策的可靠性问题，否则就不能放心应用AI的决策。但是，对AI决策的信任是不能够完全由技术来保障的。所以我们不得不去共同思考，怎样重新建立数字时代、人工智能时代的社会信任机制。换句话说AI决策可靠性需要建立社会信任网络来加以保障。

第二，我们为什么要对AI决策的算法进行解释。原因之一是算法的黑箱化。除了算法的黑箱之外，还有很重要的一个方面——算法具有可塑性。算法的可塑性是指算法的可变性和易变性，算法设计者可以对算法进行扩展、删改和修正。算法可塑性带来了两方面后果：一是很难预先确定最优、最可靠的算法，算法好坏一方面受设计者认知水平和技术能力有限，也受算例、数据的可靠性、完备性的影响。很多算法算例都具有情景化特征，当它转移到另外一种情景是否适合？这是值得思考的问题。更重要的是，算法设计会受到设计者自身伦理修养、社会责任意识等方面的影响。算法的可塑性带来的另一个后果，由于算法不稳定，所以算法可能带来安全风险，也会产生各种伦理问题。很多和计算机技术、人工智能技术相关的伦理问题，往往都是由计算机的逻辑可塑性、算法可塑性带来的。可靠性是其中一个方面，也是最基础的一个方面。AI决策过程当中可能出现一种情况，就是算法设计在伦理上出现一种道德真空。所谓道德真空可能表现在两个方面：一是道德无意识，进行算法设计的时候根本没有考虑可能出现什么样的伦理问题、社会问题。二是道德无规则，知道可能存在问题，但不知道应该怎么办。为避免道德真空，所以要求人工智能企业、算法设计者要对算法、AI决策机理进行解释。这种“可解释性”、“可理解性”，不仅是技术上的，也是社会责任和伦理责任意义上的。解释的目的不仅是解释技术上是否可行，更重要是要解释如何以及是否能够被社会所接受，是不是能够被社会所信任。所以AI决策要有“可解释性”，需要解释，更重要的是一种从社会责任角度、从伦理角度提出来的要求。这种伦理责任原则上讲，要保证增进人类福祉、尊重生命权利、不伤害、保护个人隐私和个人的其他权利等等，坚持公平公正，能够及时地感知并且合理地控制风险。所以要求要做出解释，使之可理解、可信赖，本身就是要求算法设计者自身要有伦理意识、责任意识。

第三，我们需要向谁解释？解释的意义究竟是在什么地方？可解释性是否能够编制出一个保障可靠性的有效屏障或者无缝之网，这是理解可解释性、可信任性、可靠性关系需要思考的。向公众解释或者向用户解释，其实大多数公众或者用户是难以理解技术细节的，可能我们解释的对象或者最能够理解技术细节的往往是同行，同行可能是企业内的同行、行业内的同行，国内的同行也包括全球的同行，学术界的同行。其次要解释的很重要的对象是政府监管部门，但最终是要向公众、向社会负责。如果是负责任的行业共同体、负责任的监管机构，通过这种解释，通过主体间的交互作用，相互的研讨，可以有效地防止个人认知或者技术上的偏差，也可以推进技术上不断进步和升级。这个解释本身就是监管的一个重要前提，它要防止被利益或者其他因素影响，也包括前面提到的歧视问题或者其他的意识形态的问题，来促进良性的社会规制。所以解释也意味着我们根据必要的技术和社会标准对AI进行规范，同时向社会、向公众、向用户做出承诺。这个过程中，公众也作为重要的角色介入到保障AI决策可靠性和可接受性、可信任的社会网络之中。这是塑造一个社会信任的共同体，是共同建构一种社会理性和集体理性，通过社会理性或者集体理性来促进人工智能技术健康发展，形成塑造社会信任共同体的社会网络。

3

议题讨论

议题一：随着AI技术在实际生产生活中的广泛应用和渗透，社会上出现了各种各样关于AI技术担忧的声音，AI可靠性和可解释性的现实风险、公众诉求都有哪些？这里包括从政策层面，政治方面，经济方面的现实风险，公众对于社会公平、信任等的诉求。

@梁正

在公共场景中，监管规则实际上是权力重新分配的问题，人们是依赖系统还是依赖决策者， 我的观点认为背后是规则， 要在充分讨论的基础上，形成这样一个规则——什么是可靠、什么是安全。

关于可解释性、可靠性，除了社会认知外，人们更多地把它视为一个公共的选择。举个例子，我们可以看到很多领域存在类似的问题。 不是所有的AI应用都要去解释，在日常使用大量产品的时候人们不会去关注其背后的技术原理。 但是为什么对药品、食品、家用电器要有监管、认证制度？更多是由于在其应用中涉及到人身安全、财产安全，所以在产业长期发展过程中建立起了这样一套监管体系，这是从消费者、从用户角度出发，把握安全、健康、环保等底线的必然要求。

对于AI系统的应用，由于它是通用技术，在应用到公共领域的时候会涉及到公共安全问题、公平性问题，所以它确实和一般的产品安全存在一定不同。在公共场景中，比如司法、公共卫生领域，这些方面的监管规则实际上是权责的重新分配问题，人们是依赖系统还是依赖决策者，我的观点认为背后实质是规则。对于新技术的治理，要达成新规则，比如可靠性对于监管者、使用者来讲，其着力角度是不一样的。 我们要在充分讨论的基础上，形成这样一个规则——什么是可靠、什么是安全。 至于可解释性则应当 分类分级对待、具体情况具体处理。 欧盟也好，美国也好，对于涉及到个人利益包括公平隐私等情况，更多是给用户以选择权，不一定要受外在规则的限制。但就公共卫生、交通安全等公共领域来讲，这就需要强制实施，通过准入的方式进行保障，所以要视不同情况进行处理。

@李正风

从不同伦理立场来讲，公众的诉求分不同层面，最基本诉求是从AI决策可能产生的后果、会带来什么样的后果， 要能够带来最大的公共善、要防止对个体或者对社会公众带来伤害或者不安全等等问题，这是一个底线。

公众对可靠性、可解释性的诉求有很大差异，和社会公众伦理立场本身不完全一致有关。从不同伦理立场来讲，公众的诉求分不同层面，最基本诉求是从AI决策可能产生的后果、会带来什么样的后果，要能够带来最大的公共善、要防止对个体或者对社会公众带来伤害或者不安全等等问题，这是一个底线。所以现在讨论可靠性，实际上是守住底线的问题，当然公众诉求可能更高一些。

从义务论立场出发，用户会保护自己的应有权益，这个权益不完全从后果来考虑，即不论后果好坏，只要侵犯了用户权益就不应当，比如保护隐私权的问题、比如企业不能撒谎的问题、比如我们必须要遵守一些公序良俗的问题。

进一步从契约论角度看，社会公众、政府监管部门，要求企业、技术人员和用户之间达成一个双方共同认可的契约。共同契约的签订，往往里面包含了很多技术上的黑箱，用户使用AI产品的时候不一定会很好地理解这个契约。恰恰对于契约而言，我们有时候需要解释。而且契约的可解释性、可接受性，应该通过政府监管部门予以保障。要求每个公众都理解契约的技术细节很难，所以需要公共部门保障公众和企业、行业签订的契约不会对公众带来伤害的隐患，所以在这方面现在很多 法律要求要透明、要可解释， 这是一个保障机制。

最后从最高的道德伦理立场来看，即德行论的立场，希望企业、从业人员、公众都能够是有德行的人，是自律的人。对有社会责任的企业、对负责任的企业，可能社会公众会有更高的认可或者接受。我同意我们可能要分级分领域的制定相应的规则来满足不同层次的需求。

议题二：从技术角度来看AI可靠性和可解释性之间是什么样的关系？各自的范围和边界是什么？

@张拳石

很多情况下，结构决定了知识表达，而知识表达的客观性、严谨性与可靠性决定了性能，这之间需要结构和知识、知识和性能之间建立联系。

从技术层面讲，AI可靠性可以理解为AI可靠性算法、可解释性算法本身是否可靠、是否能够被解释。 简单来说，解释一个模型或者解释一个神经网络，无非是要追求解释结果的透明性，特征表达的透明性，希望知道它本质建模的知识是什么，以及基于何种原理进行决策。语义上解释神经网络，这是解释性，但是离不开解释结果本身的可靠性。这里要强调语义本身解释结果是否可靠、对于语义的建模是否可靠、解释结果的数值是否严谨。所以，语义解释本身要可靠。现在很多解释结果只能做到自圆其说，只是它的理论假设得到解释，不同的方法都是成功先进的方法，但对同一现象的解释可能不同。所以不同算法或不同的方法、不同的技术，对同一个模型、同一个现象有不同的解释，彼此之间是独立的，不能相互印证，这是解释结果的可靠性问题。因此，需要不同的结果相互印证，找到其解释结果不同的原因是什么。如果语义上理解还有更深的理论支持，还要考虑怎样呈现给大众，解释结果才能让大家理解。再者，解释结果应当严谨客观，这就涉及如何订立解释性的标准的问题。此外，解释结果应当能够被验证，即可靠性。

还有一个重要的问题是， 如何从表达能力方面进行解释，为什么一个神经网络比另一个神经网络在这个项目上更可靠、性能更好，这是泛化能力的解释。 现在很多结果都追求找到数学上泛化能力的边界。从数学上解释本身没有错，但是人们能不能理解这个解释结果又是一个问题。我们不仅要发展可靠性理论，还要解释可靠性理论本身，关注可靠性结果或者数学公式能否在物理意义层面的解读。所以，我们不光要解释神经网络的表达能力，而且对解释结果或者数学推出的结论、数学不等式背后的内在机理都要有解释。进一步从网络结构和知识表达之间建立起数据关系，从知识表达和网络性能之间建立关系。现在很多方法（比如泛化能力或者性能），往往就是从神经网络结构和性能之间直接建立对应关系，但理论上来说这是不可解释的。很多情况下，结构决定了知识表达，而知识表达的客观性、严谨性与可靠性决定了性能。这之间需要结构和知识、知识和性能之间建立关系，归根到底这个结论不光是对某个具体现象的结论，而且要对神经网络的结构设计和优化算法进行反馈指导。解释性理论本身应该能够有一个泛化性能，在不同神经网络、不同应用中都能指导神经网络的训练，指导AI模型的结构设计。所以，从语义、从表达能力进行解释，而且解释结果本身需要是可靠的，可靠性的泛化理论也是能够被解释的。

@陶大程

稳定性、可解释性、隐私保护以及公平性相互关联，并不是孤立存在的，需要从整体角度对人工智能的可信能力进行研究。

可信人工智能的研究涉及很多方面，如果要实现可信人工智能，首要任务是找到合适的方法进行定量分析，量化人工智能的算法、模型、系统的稳定性、可解释性、隐私保护能力以及公平性。如果人工智能的可信度量在以上这些方面都能够达到共识水平，就更有可能做到明确责任、透明可信，从而来推动人工智能在相关应用中的落地。

第一要 达到共识水平 ，第二是 要有定量分析手段。 要做到这些，首先需要理解什么是可信人工智能的稳定性、可解释性、隐私保护以及公平性的问题。人工智能系统的稳定性，就是人工智能系统在抵抗恶意攻击或环境噪声的条件下做出正确决策的功能。高性能的人工智能系统能在保障用户安全的同时更好地服务用户，可以通过攻击算法、攻击成功率来度量系统稳定性。现在稳定性技术也有很多方法提升稳定性，比如对抗训练、样本检测等方法都可以提高稳定性。目前的问题是， 对于稳定性，还需要找到大家共识的度量标准。 我们也很关心可解释性，人工智能系统做出的决策需要让人能够理解。可解释性的提升不仅有助于构建更高性能的人工智能系统，更能促进人工智能技术在更广泛的行业进行落地与赋能。可解释性度量的内容，除了模型的可解释性外还有训练样本的可解释性、测试样本的可解释性。可解释性涉及的点非常多，比如泛化性能、特征、因果、可视化等等。如何在技术层面对度量指标达成共识，并对系统进行度量，然后指出系统的可解释性，是非常重要的问题。

隐私保护主要是人工智能系统不能将个人的隐私信息或者群体的隐私信息泄漏，人工智能系统为用户提供精准服务的同时也要保护用户的隐私。 用户隐私非常重要，度量一个系统的隐私保护能力，可以用差分隐私或者隐私攻击等方式。此外还可以通过联邦学习、多方计算、同态加密等手段提升系统保护用户隐私的能力。

公平性是指人工智能系统需要公平对待所有用户。大众用户、小众用户，男用户、女用户，不同种族的用户，年轻用户、中年用户等等，都要求公平地处理。公平AI系统能够包容人与人之间的差异，为不同用户提供相同质量的服务。目前 可以使用个体公平性以及群体公平性指标进行相关的公平性度量。 公平性的保障算法包括预处理方法、处理中方法以及后处理方法。

关于可信人工智能的稳定性、可解释性、隐私保护能力、公平性的度量以及提升方法，现在还处在初级研究阶段，我们还有很多机会进行深入研究。 稳定性、可解释性、隐私保护以及公平性相互关联，并不是孤立存在的，需要从整体角度对人工智能的可信进行研究。 要想最终实现可信人工智能系统，需要找到统一的综合治理框架，要构建可信人工智能的一体化理论，帮助我们实现有效的可信治理。

可以举一些简单的例子，所有的人工智能系统在运行环境中都会受到噪声的影响，比如用来观测的传感器存在误差，也就是系统误差；还有环境因素，比如天气变化、日照变化带来的环境噪声；甚至人们自身还会带来很多人为噪声，现在人工智能系统训练的时候需要大量的人对数据进行标注，标注过程中可能犯错，甚至同样的数据不同人的标注内容可能有所差异。实践表明，这些噪声可能使现有人工智能系统失效。此外，神经网络中还存在大量对抗样本，数据上微小的噪声都会显著地改变系统的预测和决策。所以，发展鲁棒可靠的人工智能技术非常必要。现在很多不同的技术尝试解决这样的问题，例如PGD方法通过梯度上升寻找对抗样本以促进鲁棒性提升的方式。

目前人工智能技术的工作原理还没有得到较好的解释，虽然大家已经做了非常多的努力，但相关研究还是处在非常早期的阶段。任何一个学科的发展都要经过很长时间的打磨，尤其是人工智能是一个综合学科，涉及面非常广，我们真正深入理解人工智能还需要很长时间。比如物理的发展，牛顿力学统治经典物理几百年的时间，最终出现了量子力学、相对论，广义相对论、狭义相对论。现在大家对量子力学的理解也还是有很多问题，即便物理学这样的基础学科也是经过几百年的发展才有它今天这样稳定、甚至是宏大的状况。人工智能学科实际上是非常年轻的学科，从它五十年代诞生到现在也就是七十年左右历史，真正深入理解人工智能的机理还有赖于更多人投入到基础研究之中。尤其是对于基于深度学习的深度神经网络，其泛化能力很难解释。不可解释的人工智能技术，在实际使用的时候也确实难以得到大家充分的信任， 对于不可解释的人工智能技术，其可用性是打问号的。

我们于工作中发现，在现有的PGD技术框架下，对抗的鲁棒性和泛化能力是不可兼得的。我们发现泛化误差上限可能随着对抗鲁棒性的增加而变大，也就是泛化性能可能会随着模型变得更鲁棒而变得更差。这在一定程度上说明稳定性和可解释性之间的关系，所以也就启发我们从不同的方面来去研究可信人工智能。这也涉及到一个哲学思想—— 是整体论还是还原论的问题。 从还原论的角度来研究可信人工智能的方方面面只是第一步，第二步还需要从整体论出发研究该如何综合治理可信人工智能。关于综合治理，我们和中国信通院发布的可信人工智能的白皮书中有一些初步讨论，希望能够为大家带来一点点启发。

议题三：一项技术要想长足发展要经过实际应用的检验，可信人工智能的这些新技术在实际应用中存在哪些机会以及在实际应用中存在的问题和挑战？

@谢涛

可解释性可以从两个视角来看， 一是宏观治理角度， 它提供解释来支撑的是事后追责，或治理过程中的审批等等方面，这里评审人要看AI系统是否合规等； 二是用户使用角度， 在用户实时使用AI系统过程中怎样能够提供比较好的解释，并使得用户能理解。用户能够利用提供的解释做出他们自己的决策，这都有很多挑战。比如从前置条件、后置条件角度分析一个AI系统，如果AI系统的输入是违反前置条件的，导致系统无法运行，这个过程能否给予解释。另外， 深度学习不像经典机器学习那样能够容易提供一个可信度，来帮助用户更好地基于AI的推荐来做出最后决策。 基于深度学习的系统很难判定和解释非法输入（违反前置条件的输入）或者其错误输出（违反后置条件的输出）；此外，如何解释系统认为自己产生了正确的输出，如何解释系统认为自己对输出的正确性不太有信心等，这都是比较大的挑战。

根据我们之前在移动安全的一系列研究，在安卓的最早期，安装安卓应用的时候是让用户决定是否批准应用的请求来访问一系列用户敏感数据的权限；现在新模式下，运行安卓应用时会有一个弹窗，窗口上列出简短文字来解释为什么这个应用需要请求访问特定的用户敏感数据，由用户看后来决定是否批准应用的访问权限请求。虽然这个机制存在，但是这个文字解释通常都不到位，而且根据不同用户人群解释应该不一样。针对应用背景知识比较丰富的用户人群，简要解释即可，但是对于不太熟悉的用户人群需要更详尽的解释，因人而异地解释且可用文字空间受限是很大的挑战。

目前学术界做出的一些AI模型形式化验证、认证的成果离应用于真实系统还有不小差距。通常经认证的鲁棒性（Certified Robustness）是在对抗性扰动（Adversarial Perturbation）这种比较限定的场景，对通用的输入认证还是比较难的。 对于AI系统，模型的可塑性、易变性对软件测试也提出了新挑战。 比如，测试输入的生成（特别是生成能反映真实使用场景的测试输入），测试预言的构造（测试预言是被用来判定系统的行为是否符合预期），测试需求怎么定这都面临很多挑战，现在只是刚刚开始，需要学术界、产业界紧密合作来攻关这些难题。

@张拳石

我们要发展新的理论去解释神经网络的根本现象，我们需要一个理论指导我们定义解释结果是否严谨、解释结果是否可以被验证。

宏观角度来看，就现在人工智能的发展或者深度学习的发展而言， 理论发展与应用发展有很大的鸿沟。 目前生活中真正好用的算法往往基于经验，基于对某类问题的认知而设计算法，而不是理论上推出的算法，即主要基于经验主义设计算法。在人工智能或者深度学习之前有很多理论，这些理论在深度学习时代对于深度学习网络不一定符合，很多理论已经不再有效。现在很多理论只能解释一些浅层或者不切实际的假设，所以理论和应用之间有很大的鸿沟。因此，我们要 发展新的理论去解释神经网络的根本现象。 这个角度来看，深度神经网络中一个很重要的现象是，它在信息处理过程中有语义的涌现，神经网络中层的信号并不是简单的高位空间向量系统，而是在逐层传递过程有一些有意义的信息涌现，这种信息涌现是传统人工智能理论无法解释的，但是正因为有信息涌现，深度学习网络才能更高效地处理信息，才能有更高的精度。所以，我们可能需要一些新的理论去描述神经网络的中层语义涌现现象，去建模它的表达能力。

第二， 现在不同的解释性方法对同一个模型的解释是不同的，只能自圆其说，我们对它的解释没有统一标准，没有办法评价我们的解释是正确还是错误。 我们需要一个理论指导我们定义解释结果是否严谨、解释结果是否可以被验证，如果用语义解释，语义是否严谨，这些问题背后都要有理论去定义它。对神经网络表达能力的解释也需要一个新的理论去建模神经网络表达能力——它对抗鲁棒的根本原因是什么、怎么样才能获得对抗鲁棒性、泛化能力更强的网络。现在很多理论研究都处于起步阶段，深度神经网络也找不到绝对可靠的方法。在这个背景下，出现了诸如对抗攻防、过程攻击、窃取模型、伪造样本、伪造图片等不同的方法以欺骗人工智能系统。而我们可以设计出很多有针对性的防御方法，但是攻防两端是长期之役，找不到一劳永逸的算法以得到真正可靠的系统，这可能是持久战。

要真正解决这个问题，还是要找到 不同算法的本质机理， 我们希望在更大范围内建立更广泛的理论体系，探索不同的解释性算法、不同理论的内在本质的相关性、现在的基于经验的算法本质的机理是什么等，进行去芜存菁。

议题四：从社会治理角度，政府、公众、社会团体应该如何共同参与到AI可靠性的发展当中来

@李正风

怎样在交互作用中审查我们的社会规则，反过来对社会规则做出必要的改变和调整，让AI技术的发展也起到移风易俗的作用，这也是我们处理社会治理与AI技术可靠性、可解释性技术关系的重要方面。

一方面， 现在AI可解释性技术的探索比较注重把社会治理的规则、伦理的要求注入到技术的发展之中。 这本身是社会治理和人工智能技术发展很好的结合，当然这个过程的确需要共同负责任的行为共同体的构建，不仅涉及到从业的技术人员，还涉及到企业，也包括行业协会以及政府监管部门。在AI技术发展过程中，对可能会违反用户的安全、健康、隐私保护以及社会公平公正等规则的行为能够及时予以识别和规制。

另一方面， 随着AI技术的发展，特别是对AI技术可靠性进一步的追问，反过来使得我们发现社会中存在的问题，这是很有意思的问题。 AI技术的发展使得一些社会问题更加充分地暴露出来，也使得AI可靠性问题变得更加受人关注。其实，当我们试图使AI技术发展更符合社会规则的时候，可以发现社会规则有的是明晰的、有的是混乱的，有的处在比较模糊的状态。从最普遍情况来看，入乡随俗是最经常采取的措施，这个“俗”里面可能包含一些需要改变的东西，比如通过算法对肤色进行统计关联的时候，我们会发现社会的一个常见现象是根据统计规则做判断。再比如一些科研单位录用毕业生的时候，往往设置一个门槛，非985高校、非211高校毕业生不录用，依据是什么？它可能找到统计的关联在里面，但是就会出现很多非211、非985学校的优秀个人受到这些规则的歧视，这就是在入乡随俗中需要改变的一些东西。

社会治理和AI的进步是相互促进的两个方面， 通过发现社会规则中不正确的、需要改变的地方，在这样的交互作用中审查我们的社会规则，反过来对社会规则的体系做出必要的改变和调整，能够让AI技术的发展起到移风易俗的作用，这也是我们处理社会治理与AI技术可靠性、可解释性技术关系的一个重要方面。

@梁正

绝对不是单纯技术方案的问题，是技术方案和社会系统怎么嵌合的问题。

从公共管理的视角来看， 不同的主体在规则构建中发挥的作用并不是在智能时代独有的现象， 就像今天的交通规则，如果没有汽车文明，就不会有今天的交通规则；如果没有城市文明，就不会有今天的城市管理。所以， 智能技术的发展需要我们建构一套适应智能时代或者数字时代运行的新的制度规则体系。 这个体系是分层次的，底层是我们所说的一些公序良俗，农业社会也有公序良俗，比如不能到别人家的地里摘粮食。再往上是社会交往的基本规则、包括习惯法，再往上则是法律制度，成文法，所以这样一套制度体系是如此建立起来的。对于用户而言，可解释性并不是将所有权利赋予用户个人，这既不必要、也不经济。今天人们使用大量的工业产品时不会担心它是有毒有害的，为什么？因为背后有一整套监管、合规、标准、认证、法律、问责以及社会舆论等体系。AI也是一样，目前正处在建立这样一整套的体系过程中，所以这就是为什么要有算法问责制度、算法审计制度、强制保险制度的原因。比如对自动驾驶，从研发设计直到市场准入、检验、认证，再到应用、责任事故划分，这套体系建立起来以后就可以大范围地推广。所以，对于AI这类新技术的可靠性而言，绝对不是单纯技术方案的问题，而是技术方案和社会系统怎么嵌合的问题。

实际上在技术界，研发设计者对很多问题已经有了深入的思考。可以回顾历史，看看工业文明时代（包括劳动者从农场到工厂以后）大家怎么思考——比如工人需要什么样的保护制度，他怎么和机器形成协同的关系，所有这些都需要跨越社会群体的对话。而监管者应当发挥桥梁作用，把社会的诉求和可能的解决方案/手段对接起来，同时还要平衡可能存在的个人利益和公共利益之间的冲突。当前公共管理的前沿研究提出了“敏捷治理”理念，因为管理者要面对未知的、不确定的因素，处理全新的问题，最终起到社会沟通、利益平衡的作用，这是从公共管理角度对不同主体参与AI可靠性治理的理解。

议题五：强监管环境下，政府和企业在应对AI可靠性风险方面应该怎么样去联动，从而达到效率和安全间比较好的平衡点。

@陶大程

企业、政府、学术界应该站在一起，互为补充，形成密切合作关系，共同应对和解决人工智能可靠性风险的问题。

在应对AI可靠性风险的问题上，企业、政府、学术界应该站在一起，共同应对和解决人工智能可靠性风险的问题。政府层面、企业层面以及学术人士各有专长，应该发挥其所长，互为补充，形成密切合作关系。政府应当发挥政策引导性作用，通过制定和优化相关法律法规对全社会做出相关的指引，引导企业以及其他相关群体不断提高人工智能的可靠性。学术界应坚持科技向善，坚持发展有温度的技术，科技研发与实践应用过程中密切关注人工智能可靠性的问题。对于企业的实践来说，它是直接接触真实场景应用的，处于人工智能技术应用第一线，因而责任重大，更需要充分提高风险意识和应对能力来应对人工智能可靠性相关风险。

此外，政府的引导政策和监管，学术界的技术支持对于企业在产品的实践中，控制人工智能可靠风险，同样发挥着重要作用。人工智能可靠性风险的问题事关重大，相信随着政府、企业和学术界的密切合作，各尽所长、各尽所能，这个问题能够得到良好控制和解决。

在京东探索研究院最近发布的可信人工智能白皮书中，我们以企业和学术界的双重身份，针对这个问题给出了我们的愿景。我们认为对于可信人工智能的各个方面都应该从理论出发， 建立可测量的度量标准，包括稳定性、可解释性、隐私保护能力、公平性等等，在此基础上政府、企业、学术界通力合作，共同建立人工智能算法的行业标准和监督规范、机制。 此外还应该共同努力实现可信人工智能各个方面的逐步统一，建立起一个囊括可信人工智能各个方面的统一框架和理论，并在此基础上有效地建设其监管框架。

@谢涛

产学研合作特别关键。

学术界研究者更多是技术方案提供者的角色和产业界互动，进行产学研合作特别关键。今天所讨论 要解决的问题不光是AI技术和AI模型本身，它是整体系统的问题， 也包括人（比如用户）和AI系统怎么互动。对于在产业界第一线实践中凝炼出来的问题，需要有比较好的渠道能够让学术界接触了解，需要通过产学研合作一起来推动问题的解决。

@李正风

要改变仅仅是技术人的自我定位，伦理意识和共同责任意识的不断推进才能后继有人，才能有广泛的社会基础。

要促进我们国家AI技术的健康发展和AI产业的健康发展，确实需要各个方面协同的努力。和AI决策可解释性问题相关联的职业修养和伦理意识方面的教育是非常重要的问题，不能仅仅只是停留在精英层面的认识或者是学术带头人的理解，需要变成每个从业人员共同的认识。所以对AI企业来讲，就会面临对算法的设计者、编程者等等大量的执业人员在这个方面的教育和培训。在高校里面，伴随着AI技术的不断发展，特别是关于AI决策可解释性问题的引入，在大学本科生、研究生的培养中，伦理意识、社会责任的意识，要和人才培养紧密地结合起来，要改变仅仅是技术人的自我定位，伦理意识和共同责任的不断推进才能后继有人、才能有广泛基础。

4

观众提问

问题：在企业和监管者之间寻求平衡的时候，怎样区分哪些是规则问题？哪些是技术问题？二者之间的边界在哪里？

@梁正

只有建立起一套公平合理可持续的制度体系，在平衡各方利益的基础上，生产力才能够得到真正释放和应用，不能偏废任何一端。

这个问题也是研究公共管理、乃至社会科学的基本问题。什么是规则？如果从理论层面理解，主要是解决人与人之间的关系。生产关系是解决人和人之间的利益关系问题，技术更多是生产力，所谓的生产工具。按照马克思主义者的认识，生产关系决定了生产力。AI作为新的智能工具，从其应用背景来看，现在正处在这样的阶段，只有建立起一套公平合理可持续发展的制度体系，在平衡各方利益的基础上，生产力才能够得到真正释放和应用，不能偏废任何一端，比如，如果将所有决策权都交给个人，可能发现数据交易、模型训练最后完全没有办法做，这是极端情况。另一个极端情况则是，用户完全没有选择权，都是由企业研发设计人员决定，这里如何保护个人利益，如何平衡公众和个人之间的关系，从局部角度没有办法解决这个问题。

所以，如果我回答这个问题，可以归结为简单的一句话， 所谓制度规则是基于对人类行为的规范，它要解决的是人与人之间的关系，而技术手段是解决人与物，物与物之间关系的。 相对于传统工业文明，人工智能的出现使得技术的概念超出了物物关系的范畴，这是和过去的不同，因为它参与到决策当中，但基本的原理还是适用的。

@沈超

我觉得这个命题叫做如何利用AI预防或者预警黑客，首先需要搞清楚，黑客是怎么干事儿的，现在的黑客已经不是原来的黑客了。 技术在发展，黑客也在学习，现在黑客也会用自动化、人工智能的手段让攻击变得更加有效。 举个简单的例子，黑客会学习AI中的漏洞，利用AI中存在的风险发动攻击。黑客会利用数据降维中存在的漏洞，比如利用Siri在不同频率段对信号显示不同，面向Siri进行云的攻击。同时还会利用一些自动化的手段，比如原先在系统探测渗透时找到系统条件中最薄弱的环节，然后把这个桥打断。现在黑客可能用自动化手段做一些脚本，让脚本去跑比自己翻的效率要高，并且可以同时翻多个网站、多个域名，这两年利用自动化AI的方法去做攻击的例子越来越多，原来人为去做，可能只能做几千个网站，几万个域名，但可以全网去做，不仅仅只是扫描域名所有的漏洞，甚至可以做更深层次的渗透。这都是现在所谓的黑客用得手段。

反过来看，如何用AI来防范和预警黑客，这是道高一尺魔高一丈的事情，很难说有一套方法能把黑客全部防住，这是不可能的，因为黑产市场的利益链非常大。但是AI的优势在于什么？我认为有两点：第一， AI是具备自我训练和检测的手段， 它可以在大数据堆积的基础之上，对原来很多的历史数据进行聚集和汇合，可以对以往或现有的网络平台、网络层的攻击方式进行有效预防，以此提高攻击的门槛。第二， AI可以是一种集中的方法， 从防御手段来讲，我们希望安全防御可以是矩阵式的，通过多层的防御模式实现。比如多因子印证，综合各种方式将多种机器学习的手段都放在一起，构建一个全方位的防御手段。但是，这个全方位只是人能想到的全方位，因为黑客的攻击往往就是一击必中，针对一个特定的点一击致命。

主持嘉宾

崔鹏

主讲嘉宾、讨论嘉宾

梁正、崔鹏、张拳石、谢涛、李正风、陶大程