构建你能信任的AI系统

Building AI systems you can trust

构建你能信任的AI系统

https://www.gi-de.com/en/spotlight/trends-insights/building-ai-systems-you-can-trust

本文探讨了如何构建可信的AI系统，提出了五个关键原则：

1) 信任需从系统底层构建，而非假设，包括公平性、鲁棒性测试等；

2) 可信性是多维度且依赖于上下文的；

3) 信任是动态的，需持续监测和评估；

4) 量化可信性有助于治理；

5) 创建信任需要跨学科团队合作。强调将可信性作为基础层构建AI系统，可转化为竞争优势，帮助组织在AI经济中脱颖而出。

2022年，富国银行（Wells Fargo）因其信用评估算法被发现对黑人和拉丁裔申请人系统性地分配更高的风险分数而受到审查，与财务背景相似的白人申请人相比，这种情况更为突出。1 这一案例突显了组织在匆忙部署AI系统时面临的最大挑战之一：AI真的可以被信任吗？

在富国银行的案例中，这并不是恶意设计的问题；相反，该AI只是从反映了数十年歧视性实践的历史借贷模式中学习，然后大规模地延续了这些模式。但是，如果要在银行和金融、身份验证以及公共基础设施等安全关键领域成功实施AI，此类偏见是不可接受的。除了潜在的监管罚款外，此类事件还会对客户关系造成不可修复的损害，并侵蚀组织长期成功所依赖的信任。

新的法规，例如欧盟AI法案，对于不合规行为可处以高达3500万欧元或全球年度收入7%的罚款，2 被引入以帮助组织实现AI合规，并为安全且可靠地部署AI系统设立护栏。然而，仅从合规角度看待安全AI会错失一个更大的机会。

用可信AI应对AI威胁

“消费者、利益相关者和监管机构越来越要求像AI这样的技术提供更大的透明度和问责制，”Veridos的AI负责人Letizia Bordoli表示。“这特别具有挑战性，因为AI系统往往作为黑箱运行，具有复杂的依赖关系，并在新环境中表现出不可预测的行为。因此，组织有责任以可信的方式部署AI，尤其是在那些可能显著影响人们生活的应用中。”

许多组织面临的一个问题是：究竟如何构建值得信任的AI系统？以及，如何可靠地评估、量化并将对AI系统的信任嵌入到开发过程中？

什么是可信AI？

组织必须采取的第一步是理解可信AI究竟意味着什么。为了支持这一点，在欧洲委员会人工智能高级别专家组的推动下，AI社区确立了七项原则，这些原则作为可信且符合伦理的AI的通用定义。

这些原则成为了诸如欧盟AI法案等框架的基础，包括人类能动性和监督；技术鲁棒性和安全性；隐私和数据治理；透明度；多样性、非歧视和公平性；社会和环境福祉；以及问责制。

然而，这些原则往往仍然是抽象的，为实际应用提供了很少的指导。组织需要一个框架，将这些高层原则转化为可衡量的实践，这些实践可以嵌入到开发过程和组织文化中。

可信AI的基础

这只是Veridos与纽伦堡-埃尔兰根弗里德里希-亚历山大大学（Friedrich-Alexander University of Erlangen-Nuremberg）的专家合作，开发一个全面的、基于度量的框架来评估和量化AI可信性的原因之一。以下是该研究中的五个关键要点：

1. 信任必须被设计出来，而不是被假设 许多组织会等待信任问题出现——通过丑闻、审计失败或监管行动——然后才做出反应。这是错误的方法。可信性必须从底层开始构建到系统中，使用与已知风险相关的特定评估方法。这些方法可以包括：

• 群体公平性度量，这些度量通过评估AI结果是否在人口统计群体（例如年龄、性别、种族）之间公平分布，来识别并消除隐藏的歧视。

• 显著性图鲁棒性测试（这些测试检查当输入略微变化时，AI解释是否保持一致），以验证AI决策过程的可靠性，确保长期信任。

• 成员推断测试（这些测试检查攻击者是否能够逆向工程模型来确定使用了哪些数据训练AI），通过模拟攻击者是否能够确定特定数据点是否被用于模型训练，来检测隐私漏洞，从而揭示潜在的数据泄露风险和隐私保护不足的问题。

2. 可信性是多维度的且依赖于上下文 不存在通用的可信AI度量。最重要的维度完全取决于所涉及的应用和风险。高风险系统（如身份验证）可能将鲁棒性和问责制置于首位，而面向消费者的应用可能强调透明度和人类监督，以维持用户信心。

3. 信任不是静态的——它可能随时间变化 大多数AI治理框架错误地将评估视为一次性任务。但是AI系统在持续演化：模型发生漂移，对手开发新型攻击方法，运营环境发生变化。监测和持续评估必须成为AI运营的标准部分，就像云服务的正常运行时间监测一样。

4. 量化能够实现治理 通过将公平性和隐私等原则转化为量化指标，可信性变得可审计且可问责。这为有意义的AI风险管理、合规自动化以及提供对AI系统可信性实时可见性的内部治理仪表板打开了大门。

5. 创造信心需要跨学科团队 没有单一团队能够“拥有”信任。AI工程师、UX研究人员、伦理学者、安全专家以及广泛的专业人员必须在整个开发生命周期中协作，以确保可信性贯穿系统嵌入。

将信任转化为竞争优势采用这些原则将帮助组织设计和构建将信任嵌入作为基础层的可信AI系统。这种主动方法将帮助它们与那些在信任失败发生后才做出反应的组织区分开来。 在一个将越来越以AI为基础的未来经济中，将会有压力要求跟上每一个发展，以保持领先。与其尽快部署最先进的AI系统，真正的领导者将是那些花时间可持续地构建利益相关者可以信任的系统的人。

关键要点

• 随着AI采用的加速，组织迫切需要框架，以便构建和评估可信系统。

• 信任必须被设计出来，而不是被假设。然而，不存在“可信AI”的通用定义。

• 采取主动的合规方法可以创造竞争优势。构建可信AI系统的组织将使自己与竞争对手区分开来。

https://www.gi-de.com/en/spotlight/trends-insights/building-ai-systems-you-can-trust