普华永道： 人工智能时代，风险管理与内部审计

近年来，金融机构逐渐将人工智能（AI）技术应用于风险管理、客户服务、投资管理、交易监管、金融创新等领域。但人工智能技术不断发展与迭代的同时，随之而来的风险也为金融机构带来了全新的挑战。

为应对人工智能技术带来的新风险，我国金融管理部门对金融机构提出了新的要求。原银保监会于2022年１月发布（银保监办发〔2022〕2号），提出“要防范模型和算法风险。对模型和算法风险建立全面的管理框架，制定管理制度，对模型数据的准确性和充足性进行交叉验证和定期评估。审慎设置客户筛选和风险评估等模型的参数，并使用压力情景下的参数进行模拟校验。定期评估模型预测能力及在不同场景下的局限性，确保模型的可解释性和可审计性。模型管理核心环节要自主掌控。加强消费者权益保护，防止算法歧视。”指导意见对金融机构评估与管控人工智能背后的模型和算法风险提出了更高的要求，以防范模型与算法层面上因管控不到位带来的准确性不足、缺少可解释性与可审计性，以及存在歧视等问题。

另外，国家网信办联合七部委于2023年７月共同发布，对提供和使用生成式人工智能服务的企业的算法设计、模型生成与优化、人工智能训练等方面提供了规范与指引。

普华永道建议金融机构应在满足监管要求的前提下，以建立负责任的人工智能为目标，建立治理体系，对人工智能应用进行全面控制。作为企业治理的重要组成部分，建议金融机构的风险管理与内部审计职能应充分管控人工智能风险，并在人工智能管理领域发挥引领作用，做到“风控先行、以审促建”。

人工智能的风险

银行、保险、基金等金融机构目前已将人工智能技术应用在智能客服、风险管理、自动化交易、智能核赔、贷款风险评估等业务中，极大地帮助了金融机构提升业务处理效率、节约人力成本、提高业务处理质量。但由于金融机构的业务具有数据量大、复杂度高、安全要求高、金融产品形式多样化的特点，人工智能作为一项新兴技术，在带来便利的同时也引入了新的风险，并且放大了原有的风险。

金融机构应当重视对人工智能的底层模型、算法和执行过程的管控，否则人工智能可能会因造成数据泄露、做出错误决策导致投资失败、业务执行结果导致客户不满、产生有歧视性或违反合规要求的结果等问题，受到监管处罚，甚至有可能因决策失误引发系统性风险。

普华永道认为，金融机构应用人工智能技术时主要面临三类风险，包括执行风险、控制风险和安全风险。

执行风险

在人工智能执行工作时，可能由于将现实世界数据和偏好作为其输入，而导致人工智能学习和模仿人类的偏见和成见，从而影响执行工作的结果。执行风险中包括结果偏见与歧视风险、错误风险、不透明风险以及运行不稳定的风险。

偏见与歧视风险

人工智能可能由于受到特定数据源固有偏见的影响而做出对特定个人或群体不公平的决策。例如，银行利用人工智能进行放贷审批的过程中，可能会产生人工智能根据贷款申请人的种族、地域、性别等特征做出贷款决策从而造成算法歧视。

人工智能的偏见与歧视问题曾经在现实中引发诸多争议。例如，某大型跨国科技公司曾推出的聊天机器人产品，由于其用户提供的歧视言论影响AI机器人的算法学习，从而导致其学习了大量歧视言论。又如，美国某高科技公司和某国际投资银行推出的信用卡产品，在确定信用额度时的算法默认男性信用额度更高；美国某头部网络电子商务公司的招聘算法也偏向男性应聘者，究其原因是AI深度学习的样本来自于该公司过去10年内收到的所有简历，因此AI在深度学习的过程中形成了一种偏见认知，即男性应聘者比女性更优秀。

人工智能产品的偏见与歧视风险目前已受到监管机构和人工智能开发公司越来越多的关注。在大众的高度关注下，一旦人工智能产品与法律或德道存在偏离行为，这种偏见性可能会给公司带来声誉损失的风险。

不透明风险

在建立人工智能模型与算法后，人工智能即处于自我学习状态，在进行业务处理时，可能由于人类无法理解人工智能系统的处理过程，导致“黑箱”效应，使金融机构解释和保护关键业务决策的能力受到限制。缺乏透明度和沟通不畅可能会误导用户并危及组织的信任，从而产生风险。

尤其是当人工智能出现错误与运行不稳定的情况时，人工智能的算法不可解释性将放大这种错误造成的后果，例如，智能核赔应用中，可能出现基于相似赔付案例得出了差异较大的核赔结果的情况，或对类似的贷款申请人，做出不同的贷款审批结果，由于算法逻辑的不可解释性导致无法判断哪些参数造成了核赔和贷款审核结果的差异，金融机构无从判断人工智能的结论是错误、存在偏见和误差的，还是确实有所依据，从而难以做出改进。

控制风险

与其他技术类似，任何技术都有失控的风险。金融机构应当在企业层面对人工智能进行监督与控制，清晰识别人工智能可能带来的风险与相应的控制措施，防范人工智能失控风险和恶意操控风险。

缺少人工介入

虽然人工智能极大地提升了工作效率，但其应当作为一个辅助人类工作的工具，而不是独立执行全部工作。过度依赖人工智能系统，缺少人工介入，可能导致人工智能系统的输出成果不佳，工作成果缺少创造力与批判性思维，或偏离人类设置的任务目标。如果在人工智能执行工作的过程中缺少适当的人类介入，可能导致客户直面人工智能造成的错误结果。例如，在智能投资顾问应用中，由人工智能直接为客户提供建议，而客户无法触达真实的投资顾问。不但无法满足客户的个性化投资需求，也无法在人工智能提供了错误建议时及时纠正。这样的错误，经过长期积累，可能会造成人工智能不断自我学习错误的业务成果，使得人工智能的错误愈发严重。

缺乏明确的问责机制

如果企业缺少标准化人工智能监管指南和责任人，当人工智能系统出现错误时，一方面导致人工智能运行缺少人工介入及时纠错，另一方面由于人工智能运行过程复杂，企业难以判定故障发生的具体责任人。人工智能导致的有害偏见、合规问题、行政处罚、名誉损失以及客户流失将难以追责。例如，在银行利用人工智能检测欺诈行为时，会历经数据输入、模型与算法开发、部署执行、结果应用等过程。在缺少明确问责机制的情况下，如人工智能遗漏了欺诈行为，或在检测过程中带入歧视性产生错误的最终业务结论，就会难以确定是数据标记错误、模型设计问题还是在应用中缺乏管控。

安全风险

除执行风险之外，人工智能应用作为一个自动化系统，也面临着与其他IT系统同样的安全风险，但人工智能本身的特点增加了风险可能性和严重性，安全风险包括隐私风险、网络入侵风险等。

隐私风险

由于人工智能的大数据需求，人工智能模型、算法训练需要获取大量用户信息进行预训练和学习。曾引起广泛关注的“5.33亿用户数据泄露事件”中，涉事公司收集了大量用户数据进行模型训练，导致用户数据泄露，用户产生的极大不满及公司违反法律法规的问题，给其带来了巨大的名誉及财务损失。同样，金融机构本身掌握着大量的用户数据，金融业的人工智能应用也需获取大量客户信息，若一旦发生黑客攻击或信息泄露事件，将会给金融机构带来巨大的名誉和财务损失。

对抗攻击风险

对机器学习模型的对抗性攻击可以恶意诱导人工智能系统进行错误分类或错误预测。例如，通过对机器学习模型的攻击让计算机将金融欺诈行为认定为非欺诈行为，从而误导人工智能的结果。现实中，某制药公司曾利用对算法的攻击实现有针对性地向医生非法推销药物。

金融机构如何构建人工智能治理体系

为了有效应对人工智能带来的风险，普华永道建议金融机构搭建人工智能治理体系，可以采用“负责任的人工智能（RAI）”的方法论对人工智能应用进行管理。RAI是一种从伦理和法律角度对人工智能进行开发和部署的方法。目标是以安全、可信、合规并且符合公共道德的方式建立和使用人工智能。

通过建立RAI，可以帮助金融机构在以下方面达成目标：

保障合规目标：满足《个人隐私保护法》《关于银行业保险业数字化转型的指导意见》等法律法规和监管要求，避免受到处罚。

避免公司声誉受损：建立可解释的人工智能算法，规避或及时纠正偏见与歧视，保障人工智能不会对公司声誉及客户体验产生负面影响。

更稳定、高效的辅助业务开展：建立安全、可持续、高性能、可靠的人工智能应用，提升人工智能对于业务的赋能能力，使金融机构业务平稳高效开展。

负责任的人工智能管控框架

企业风险管理与内部审计职能应该怎么做

明确人工智能风险管控的职责分工

应明确董事会、监事会和高级管理层在人工智能管理领域的职责，并在人工智能全生命周期过程中，建立并维护人工智能治理的三道防线：

第一道防线由开发团队、运维支持团队、模型优化团队组成，负责风险评估、模型的采购和开发、数据的收集和使用、过程文档记录、持续监控。

第二道防线由公司风险管理部门、合规部门、隐私管理部门、模型检查小组组成，负责标准及规格检查、独立模型审查、法律合规审查、数据和隐私治理。

第三道防线由内部审计部门组成，负责内部审计评估、道德行为评估。

开展人工智能风险管理：

并将人工智能风险管控的重要决策纳入风险管理委员会，重点工作需要在委员会例行会议中决议和督办。

将人工智能相关风险纳入风险管理范畴，通过风险管理各规定动作对人工智能风险进行管控。

对人工智能开展内部控制评价和合规检查。

纳入风险偏好框架体系。

开展相关风险的培训。

定期开展专项的人工智能审计，或将人工智能纳入信息科技审计之中：

除了传统的信息系统审计步骤外，还可额外执行以下审计工作：

审计计划阶段：识别哪些业务流程和应用采用了人工智能技术，理解其定位与作用，开展风险评估，重点审计具有关键影响和高风险的人工智能应用。

审计人工智能的建设与部署流程：

• 评估人工智能模型规划、设计、采购和/或开发流程的关键控制。
  

• 评估人工智能训练数据集的质量与来源，是否存在样本偏差或不公平的因素，导致模型产生歧视或错误结果。

• 评估人工智能模型算法的可解释性，核实关键决策节点。

审计人工智能应用的管理：

• 评估人工智能相关监督与检查机制的健全性。

• 重点检查人工智能系统的安全访问控制，是否有被非授权误用或篡改的风险。

• 评估业务部门对人工智能结果的依赖程度，是否过度依赖模型判断而忽略了人的角色。

审计人工智能应用的运行情况：

• 抽样检查人工智能系统的决策案例，验证其判断的公正性和合规性，保障其符合公司目标。
  

张立钧

普华永道中国金融业主管合伙人

电话：+86 (755) 8261 8882

邮箱：james.chang@cn.pwc.com

周伟然

普华永道全球科技、媒体及通信行业主管合伙人

电话：+86 (755) 8261 8886

邮箱：wilson.wy.chow@cn.pwc.com

杨丰禹

普华永道中国金融业风控及合规服务主管合伙人

电话：+86 (10) 6533 5868

邮箱：philip.yang@cn.pwc.com

张俊贤

普华永道中国金融科技合伙人

电话：+86 (21) 2323 3927

邮箱：chun.yin.cheung@cn.pwc.com

潘欣鹏

普华永道中国风险及控制服务合伙人

电话：+86 (10) 6533 7634

邮箱：rachel.pan@cn.pwc.com

李冠达

普华永道中国风险及控制服务经理

电话：+86 (10) 6533 7933

邮箱：steven.gd.li@cn.pwc.com

赵宇奇

普华永道中国风险及控制服务经理

电话：+86 (10) 6533 5683

邮箱：richie.y.zhao@cn.pwc.com

© 2023 普华永道版权所有。普华永道系指普华永道在中国的成员机构、普华永道网络和/或其一家或多家成员机构。每家成员机构均为独立的法律实体。详情请见 www.pwc.com/structure。

免责声明：本微信文章中的信息仅供一般参考之用，不可视为详尽说明，亦不构成普华永道的法律、税务或其他专业建议或服务。普华永道各成员机构不对任何主体因使用本文内容而导致的任何损失承担责任。

您可以全文转载，但不得修改，且须附注以上全部声明。如转载本文时修改任何内容，您须在发布前取得普华永道中国的书面同意。

专题推荐

「风险管理」

「财资管理」

「司库实践」