2020北京智源大会 杨强：AI的新三定律：隐私、安全和可解释性

（原标题：2020北京智源大会 杨强：AI的新三定律：隐私、安全和可解释性）

6月24日，由北京智源人工智能研究院主办，为期四天的2020北京智源大会“云上”圆满落幕。在当日下午举办的全体大会和闭幕式上，围绕大会主题“人工智能的下一个十年”，香港科技大学教授、微众银行首席人工智能官杨强教授发表了题为《AI的新三定律：隐私、安全和可解释性》的主题演讲，以线上直播的形式，从AI与人类的关系出发，与国内外3万多名人工智能领域科学家、行业人士探讨如何解决人工智能面临的发展问题。

香港科技大学教授、微众银行CAIO杨强教授

AI和人类如何共存？AI会最终替代人类吗？到底是AI更聪明还是人类更聪明？这些科幻片中的场景和疑问，在现实世界里也正在快速落地。

演讲伊始，杨强教授由人们熟知的“机器人的三定律”切入，指出虽然无人机、无人车、无人商店等无人化AI概念盛行，但实际上AI需要人类做伙伴，人类也需要AI做伙伴。在AI与人类的关系上，他提出AI的发展是为人类服务的「新三定律」：AI需要保护人的隐私，AI需要保护模型的安全，AI需要人类伙伴的理解。

    可以AI，但请不要让我“裸奔”

对于定律一，杨强教授表示用户隐私是人类的一个重要利益，因此AI首先需要保护人的隐私。AI的力量来自大数据，面对人工智能领域实际存在的数据孤岛问题、国内外数据监管等问题，「联邦学习」这一解决方案应运而生。它的主要思想可以总结为数据可以保持在原地，但是模型通过不同机构之间的沟通，在加密的状态下，这个模型会成长起来，它的效果就是数据可以被使用，但是各方都看不见对方的数据。总结起来就是“数据不动模型动，数据可用不可见”。

根据各方之间数据特征和样本ID的数据分配方式，联邦学习基本上形成了两大类别：一个是横向联邦学习，在To C方向广泛应用；一个是纵向联邦学习，数据ID相同，特征不同，主要是针对To B的应用场景。纵向联邦学习由微众银行首先发起，现在国内很多大型企业都积极加入研发。在联合多位人工智能专家出版的《联邦学习》中，杨强教授分享了联邦学习研究最新进展，对于隐私保护的机器学习解决方案作了更为具体的表述。

演讲期间，杨强教授特别指出，在抗击新冠肺炎这个特殊时期，健康码在国内得到快速、广泛应用，为复工复产提供了便捷支持，充分体现了我国大规模互联网化的优势。他向众多人工智能领域从业者抛出了一个问题：如何在使用健康码快速控制疫情的情况下，同时保护用户的隐私？比如，可否当一个用户在查询自己是否和新冠病人无意接触过的时候，所有设及本用户的计算都在本地进行？这样，借助出行、消费等场景信息的获取，在端设备上的AI轻而易举掌握了个人的行程隐私数据，在对于用户健康码等隐私信息的保护问题上，借助数据隐私保护、模型参数保护、建模能力效果更好等优势，AI通过联邦学习大有可为，微众银行也在积极推进“联邦健康码”的研发。

    现实已如“科幻”，如何保证安全？

AI如何保护AI模型的安全？杨强教授从防止恶意或非恶意的攻击、机器学习流程中的可攻击点，以及对机器学习模型的攻击等方面，对该定律发表了见解。他列举了隐私攻击中的典型案例深度泄露攻击，介绍MIT韩松教授团队，如何针对差分隐私的防御, 对训练数据进行像素级别的提取，设计了深度泄露攻击。同时，杨强教授介绍了微众银行AI团队针对深度泄露攻击取得的防御成果，从理论上证明了即使在差分隐私的情况下，可以在不影响模型效果的同时，完全防御深度泄露攻击。

    AI与人类将进入共生时代

而对于定律三「AI要对人类解释AI自己」，杨强教授讲解了业界目前对于AI可解释性的定义。在可解释AI主要方法与关系上，他提出要学习更多结构化、可解释的、因果关系模型的技术，改进深度学习以学到可解释特征的技术，从黑箱模型中推断一个可解释模型的技术。

对于众人关心的可解释AI标准建设问题，杨强教授也作出详尽的回答，他表示AI的可解释标准建设刚刚起步，由微众银行AI团队发起的AI可解释性“XAI IEEE标准”已完成立项申请。该标准是首部面向业界的机器学习可解释标准，旨在提供一个明确的技术框架促进可解释AI技术的普及与落地。

上一个十年，从概念到试验再到成熟的商业化应用，人工智能发展迅速。下一个十年，毫无疑问将迎来真正的AI时代。在B端，AI将和互联网一样成为全行业的底层技术支撑；在C端，AI将渗透到我们生活中的一切角落。但如杨强教授一直反复强调的，AI的发展始终伴随一些隐忧，在这个过程中，人类科学家的智慧将通过持续修复“BUG”的方式，与AI共生。