人工智能算法审计：关键控制考量

随着越来越多的企业和消费者采用基于人工智能（AI）的应用，确保人工智能的责任感和可信度变得至关重要。各国政府机构和国际组织正在迅速制定法规并发布框架，以推动对人工智能使用的监督、问责和负责任。例如，欧盟《人工智能法案》要求高风险AI系统的开发者遵守多项规定，包括进行模型评估、评估并减轻系统性风险，以及进行对抗性测试（包括生成式AI系统的测试）以符合透明度要求。

虽然AI治理框架包含多个要素，但对AI应用底层算法的审计是一个必要且关键的组成部分。通过算法审计，我们能够深入了解AI系统的内部工作机制，包括训练数据、模型开发和训练，以及AI系统的底层逻辑。这些信息有助于验证AI系统是否遵守负责任AI的其他原则，从而增强我们对其输出结果的信任。

算法审计及其挑战

算法审计是指对机器学习（ML）应用进行评估，分析其功能、目的和背景，以评估其效用和公平性。这些审计帮助系统地理解模型构建过程中各步骤中可能产生的偏见。尽管算法审计在IT审计领域是一个热门话题，但数据分析和基于机器学习的系统审计早已受到政府监管机构的关注。例如，澳大利亚竞争与消费者委员会（ACCC）对一个受欢迎的酒店搜索引擎进行审计时发现，该算法在排名系统中偏向支付更高佣金的酒店。联邦法院最终命令该公司为其在网站和电视广告中关于酒店房价的误导性陈述支付罚款。这一案例强调了算法审计的益处及其揭示AI应用逻辑的能力。此外，最近的一系列法规使得算法审计成为AI从业者关注的重点。

算法审计面临的最大障碍之一是缺乏详细的成熟框架来指导如何基于AI子流程进行审计。另一个挑战是缺乏广泛采用的AI使用案例的先例。此外，研究人员和监管机构使用的审计技术过于多样化（在技术审计方面和审计程序方面），且对应的目标集各不相同。更近一步讲，缺乏基准控制可能导致审计结果不一致且不可靠。

尽管如此，值得注意的是，算法审计领域仍处于起步阶段。随着数字专业人士对这些工具的理解不断深入，我们可以期待审计程序和控制措施的不断完善，这将有助于结果的一致性，并增强其可靠性和实用性。然而，某些关键控制领域必须在算法审计中得到覆盖，才能确保审计全面且有用，并产生可靠的结果。

系统输入：数据控制

数据是驱动算法的燃料。在AI开发过程中，数据在每个阶段都至关重要，获取相关数据集并创建适当的数据管道非常重要。因此，审计必须关注与各种数据源相关的控制措施，如数据的准确性、准备和保护。除了数据质量相关的属性外，审计人员还需确保数据集是多样化、包容性且具有代表性的，因为算法的质量取决于其数据管道的质量。审计人员需要与AI工程团队中的数据工程师合作，深入了解训练数据的来源以及为应对隐私风险所采取的措施。随后，审计人员还需评估数据准备技术，确保其未改变数据的关键特性，如完整性、准确性及其他统计属性。

对抗性AI测试

各类法规要求高风险和强大AI系统的开发者使用模拟对抗性攻击（如数据投毒或提示注入）来测试其模型的鲁棒性。对抗性测试是指通过输入错误数据来进行算法的压力测试，试图误导算法以致其失败。任何算法审计都应包括对组织如何进行对抗性测试的评估。应有一项独立的政策，概述对抗性测试的整个过程，以提高模型的安全性和准确性。

政策应包括测试的详细内容、执行测试的人员，以及这些测试在开发流程中的具体实施时间。随后，还需测试与这些测试结果的审查相关的控制措施，如模型的调优以解决任何异常现象以及相关文档记录。以AI的红队测试为例，红队测试在网络安全社区中是指由黑客、道德黑客或安全研究人员组成的团队，模拟不同类型的攻击者（包括国家级攻击者和恶意内部人员）的活动，试图攻破系统。这也是测试AI算法防御能力的有效方法，以应对意外输入。美国白宫曾举办过一次旨在集合AI社区、测试顶尖科技企业模型的活动，以揭示新风险，这一事件促使许多组织更加重视对抗性测试的重要性。

AI模型监控

AI应用部署到生产环境后，需持续监控以识别模型性能、输出的准确性和精度、安全性以及可靠性方面的任何变化。许多第三方AI模型监控工具可跟踪并报告一系列相关指标。算法审计需包括对模型性能相关参数的审查、开发人员实施的可观测性流程的深入分析，并涵盖以下领域：选择用于监控的指标、其相关性和适用性、及时发现问题的能力，以及解决任何发现问题的程序。斯坦福大学的语言模型全方位评估（HELM）方法在评估语言模型时会考量的指标如准确性、校准性、鲁棒性、公平性、偏见、毒性和效率，这些都可以作为可靠的基准。审计人员需检查AI模型是否通过适当的测量和阈值持续监控，以检测任何模型漂移或系统性能异常。

AI模型开发

AI模型开发这个概念与IT审计专业人士有着共鸣，因为其与传统系统开发生命周期（SDLC）有相似之处。对AI模型开发流程的审计将涉及对整个AI系统开发生命周期和变更管理流程的一般IT控制的审查。然而，在算法和模型开发的背景下，需特别强调设计规范的细节、测试和审批要求的深度。审计人员需评估设计文档及相关威胁模型，理解算法的目的和逻辑，确保涉及到系统对其用户和社会的影响问题。审计人员还应确保在算法部署前已进行适当的验证程序——通过一系列功能测试验证系统的各种功能并确保结果令人满意。最后，部署到生产环境中的模型应得到具有适当权限的个人批准，以确保问责制——简单的同行代码审查不够。这是每次审计中需测试的关键控制，旨在降低未经授权的模型或变更被部署的风险，并确保部署得到适当管理层的批准。组织在算法开发中使用第三方库或外部来源的预训练模型时，应考虑将静态扫描集成到其持续集成/持续交付（CI/CD）管道中，以帮助识别软件漏洞，从而降低模型供应链攻击的风险。

结论

算法审计是确保AI技术安全性、公平性、可解释性和安全性的有效工具。国际标准化组织（ISO）和国际电工委员会（IEC）最近发布的ISO/IEC 42001:2023《信息技术——人工智能——管理系统标准》包含一组可供企业和审计人员参考的必要控制措施。欧盟关于《数字服务法》下独立审计以评估超大型在线平台和搜索引擎合规性的委任条例也包含了若干算法审计的规划指南和审计测试程序示例。算法审计是一个不断发展的话题，随着这些实践逐渐成熟并得到更广泛的应用，我们可以期待这些实践变得更加普遍。

作者：Varun Prasad

翻译：吴梦庭（TIFFANY WU）

来源：ISACA微信公众号

编辑：孙哲

目前180000+人已关注我们，您还等什么？