OWASP发布《AI大模型应用网络安全治理检查清单》

日前，全球开源安全组织OWASP（Open Web Application Security Project）发布了《AI大模型应用网络安全治理检查清单（V1.0）》（以下简称为《检查清单》）。在这份长达32页的《检查清单》中，较完整地介绍了AI大模型部署应用时的安全原则、部署策略和检查对照表，适用于那些希望在快速发展的AI领域中保持领先地位的组织和机构，使他们能够在制定大型语言模型战略时，专注于制定一份全面的关键领域和任务清单。

《检查清单》的主要编写者Sandy Dunn表示：OWASP 已经在2023年6月发布了针对LLM应用程序的10大风险清单，但我们发现，许多企业组织对于使用AI需要考虑的事项以及从何处开始仍然存在很多困惑，而本次发布的《检查清单》正是为了对上次发布的风险清单进行了完善和补充。通过遵循检查清单的建议要求，组织不仅可以增加对大模型安全应用的信任，还可以提供一个简单有效的持续改进战略来鼓励组织未来的应用创新。

Dunn认为，这份《检查清单》能够帮助所有类型的组织和机构在应用AI大模型时认知到以下四个要点：

1）针对生成式AI的应用，企业需要采用不同的安全保护思维方式；

2）AI技术带来了不对称的网络对抗模型，攻击者正在利用这些工具加速攻击；

3）大模型工具的应用需要全面考虑的实施策略和方法；

4）大模型工具的部署应用，需要使用现有的法律、法规作为部署策略指南，例如欧盟的《通用数据保护条例》（GDPR）和各类隐私安全法规等。

部署大模型之前的准备

在本次发布的《检查清单》中，明确提出了企业组织在部署AI大模型工具之前要采取的步骤列表，包括审查网络弹性和安全培训策略，以及与管理成讨论如何将人工智能纳入工作流程的实施计划。

LLM部署策略的选择方案

《检查清单》还概述了组织根据其实际应用需求，可灵活选择的5种大模型工具部署方式，具体如下图所示。

AI大模型的常见部署类型

Dunn表示：“AI大模型工具的应用范围包括了从利用公共消费者应用程序到在私有数据上训练专有模型。充分了解用例敏感性、所需功能和可用资源等因素，有助于企业组织确定如何在便利性与可控制性之间实现正确平衡。”

大模型应用时的安全检查清单

在《检查清单》的第二部分中，详细概述了实施LLM用例时需要考虑的具体事项，以避免给组织带来不必要的安全性风险。这些事项涵盖了面向业务的措施（包括建立业务案例和选择合适的大模型解决方案）、风险管理措施（包括威胁建模、监控AI风险、实施以AI为重点的安全培训、AI红队测试等），以及法律监管合规方面的措施（如建立合规要求、实施测试、评估、验证和验证过程等）。以下列出了一些重点的清单要求：

1、对抗性风险

对抗性风险包括竞争对手和攻击者：

· 仔细研究竞争对手如何投资人工智能；

· 调查对当前安全控制措施的影响，如密码重置等；

· 更新大模型增强攻击和对特定事件的事件响应计划及行动手册。

2、威胁建模

《检查清单》强烈建议使用威胁建模来识别威胁并检查流程和安全防御。针对GenAI加速攻击和部署LLM之前的威胁建模是识别和减轻风险、保护数据、保护隐私以及确保业务内安全、合规集成的最具成本效益方法。

· 业务能否通过在所有LLM信任边界上的安全集成来保护与现有系统和数据库的连接？

· 企业是否有内部威胁缓解措施，以防止授权用户滥用？

· 企业能否防止未经授权访问专有模型或数据以保护知识产权？

· 企业能否通过自动内容过滤来防止有害或不适当内容的生成？

3、AI资产盘点

AI资产清单应适用于内部开发大模型应用和相关的外部第三方解决方案。

· 对现有的人工智能服务、工具和所有者进行编目

· 在资产管理中为特定库存指定标签

· 将人工智能组件列入到软件材料清单（SBOM）中

· 设定AI数据源和数据的敏感性（受保护、机密、公开）

· 确定是否需要对部署的人工智能解决方案进行测试

· 创建人工智能解决方案人员的入职流程。

4、AI安全和隐私培训

在AI安全和隐私培训方面主要包括：

· 积极与各类员工接触，了解并解决大模型应用计划中的问题；

· 就如何管理、管理和解决大模型使用风险，建立一种公开透明的沟通文化；

· 更新安全意识培训，将AI大模型相关威胁包括在内；

· 任何采用的AI大模型解决方案都应包括部署管道的DevOps和网络安全培训。

5、建立并参考商业案例

成功的商业案例对于确定AI解决方案的商业价值、平衡风险和收益以及评估和测试投资回报至关重要。研究内容包括：

· 增强客户体验

· 更高的运营效率

· 更好的知识管理

· 加强创新设计

· 市场调查和竞争对手分析

· 文档创建、翻译、摘要和分析

6、公司治理

大模型应用时的公司治理需要为组织提供透明度和问责制。识别可能熟悉该技术或业务所选用例的人工智能平台或流程所有者是非常必要的，这样可以确保足够的反应速度，防止对现有的数字化流程造成损害。

· 建立组织的大模型应用RACI图表（谁负责，谁负责，咨询谁，通知谁）；

· 记录并分配组织内的人工智能风险、风险评估和治理责任；

· 制定有关数据分类和使用限制的数据管理政策，包括技术强制执行要求；

· 创建由既定政策支持的大模型应用政策（例如良好行为标准、数据保护、软件使用）；

· 发布各种大模型工具的可接受使用白名单，供员工参考；

· 记录组织从生成LLM模型中使用的任何数据的来源和管理。

7、法律合规

关于AI大模型应用的许多法律、法规目前仍然是不明确的，但是如果出现违规可能代价高昂。IT部门、安全部门和合规部门紧密合作，对于发现合规方面的问题和解决模糊决策至关重要。

· 确认产品的安全责任在产品开发流程中是明确的，以指定谁负责人工智能的产品问题修复；

· 审查和更新现有条款和条件以考虑AI大模型的任何因素；

· 审查AI 应用时的用户许可协议；

· 组织修改最终用户协议，以防止组织通过人工智能生成的内容承担与抄袭、偏见传播或侵犯知识产权有关的法律责任；

· 审查用于代码开发的现有人工智能辅助工具，防范可能威胁到公司对其产品所有权的因素出现；

· 严格审查知识产权的任何风险。如果在大模型中使用了不当获取的数据，聊天机器人生成的知识产权可能会受到威胁。大模型的应用过程应当受到版权、商标或专利保护；

· 审查任何有赔偿条款的合同。建立安全责任护栏，以确定AI技术的提供商或其用户是否可能导致违规事件，从而导致责任；

· 审查人工智能系统造成的潜在伤害和财产损失的责任；

· 审查保险范围。传统的（D&O）责任和商业一般责任保险政策可能不足以充分保护人工智能的使用；

· 识别任何版权问题。版权需要人类作者身份，如果大模型工具被滥用，组织也可能对抄袭、传播偏见或侵犯知识产权负责；

· 应当确保人工智能解决方案在未经适当同意或授权的情况下不会收集或共享敏感信息。

8、实现大模型解决方案

组织在实现大模型方案时，应该检查以下方面：

· 数据安全，验证如何根据敏感度对数据进行分类和保护，包括个人和专有业务数据；

· 访问控制，实施最低权限访问控制，并实施纵深防御措施；

· 培训管道安全，需要对培训数据治理、管道、模型和算法进行严格控制；

· 输入和输出安全性，评估输入验证方法，以及如何过滤、净化和批准输出；

· 做好应用监控和事件响应，并确认审核记录是安全的；

· 检查AI大模型工具或供应链中的安全漏洞；

· 研究常见的威胁和攻击对大模型解决方案的可能影响，如即时注入、敏感信息窃取和流程操纵；

· 调查攻击和威胁对大模型的可能影响，包括模型中毒、数据处理不当、供应链攻击和模型盗窃；

· 基础设施的安全性，定期开展恢复能力测试，以及在可用性、可扩展性和性能方面的SLA是什么；

· 更新事件响应行动手册，并在桌面演习中包括大模型安全事件；

· 确定或扩展指标，将生成性网络安全人工智能与其他方法进行比较，以衡量预期生产力的提高

9、测试、评估、验证和确认（TEVV）

TEVV包括一系列任务，如系统验证、集成、测试、重新校准和持续监测定期更新，以应对人工智能系统的风险和变化：

· 组织在整个人工智能模型生命周期中建立持续的测试、评估、验证和验证；

· 定期提供人工智能模型功能、安全性、可靠性和稳健性的执行指标和更新。

10、模型卡和风险卡

模型卡通过提供有关人工智能系统设计、功能和约束的标准化文档，帮助用户理解和信任人工智能系统，使他们能够制作出有教育意义和安全的应用程序；

风险卡通过公开解决潜在的负面后果（如偏见、隐私问题和安全漏洞）来补充这一点，从而鼓励采取积极主动的方法来预防伤害；

建立模型卡和风险卡对开发者、用户、监管机构和伦理学家同样至关重要，因为它们建立了一种合作氛围，在这种氛围中，AI大模型应用的社会影响将会得到认真的解决和处理。

11、大型语言模型优化

微调是优化预训练模型的传统方法，它涉及对新的、特定于领域的数据重新训练现有模型，并根据任务或应用程序的性能对其进行修改。微调对提高大模型安全应用的性能至关重要。

检索增强生成（RAG）已经发展成为一种更有效的方式，通过从最新的可用知识源中检索相关数据来优化和增强大型语言模型的能力。RAG可以针对特定领域进行定制，优化特定领域信息的检索，并根据专业领域的细微差别调整生成过程。RAG被视为大模型应用优化的一种更有效、更透明的方法。

12、AI红队

AI Red Teaming是对AI系统的对抗性攻击测试模拟，以验证不存在任何可被攻击者利用的现有漏洞。这是许多监管和人工智能管理机构建议的做法。单独的红队测试并不能验证与人工智能系统相关的所有现实危害，应该包括在其他形式的测试、评估、验证和验证中，如算法影响评估和外部审计。企业应该将红队测试纳入人工智能模型和应用程序的标准实践。

参考链接：
https://www.infosecurity-magazine.com/news/owasp-security-checklist/