山西
过去几年中，生成并输入人工智能系统的数据量迅速增加。攻击者正在利用数据量的大幅增加来污染训练数据集中的数据输入，从而导致不正确或恶意的结果。事实上，在最近的上海会议上，Google Brain 的研究科学家 Nicholas Carlini 表示，只需修改 0.1% 的数据集就可以有效地实现数据中毒。
专家的这些发现使得必须采取措施保护数据免受威胁行为者的操纵和修改。本博客探讨了可用于防止数据中毒的不同预防策略。
什么是数据中毒？
数据中毒是一种对抗性攻击，涉及通过注入中毒数据来操纵训练数据集。通过这种方式，攻击者可以控制模型，任何在该模型上训练的人工智能系统都将提供错误的结果。为了操纵经过训练的机器学习 (ML) 模型的行为并提供错误结果，数据中毒需要将恶意或中毒数据添加到训练数据集中。
数据中毒攻击是如何进行的？
如果人工智能工具使用不正确的数据集进行训练，它就不会知道它需要知道什么。系统将把这些数据集作为有效输入，并将这些数据合并到系统规则中。这为攻击者污染数据并危害整个系统创造了一条途径。
让我们仔细看看数据中毒攻击的各个阶段：
理想情况下，由授权工程师训练的机器学习模型将使用授权且值得信赖的数据集。攻击者在此阶段的目标是确保模型继续无错误地工作，即使添加了有毒数据。这样做是为了让攻击者以后更容易引入更致命的数据集。
通过分析模型如何做出决策和预测，攻击者可以识别模型的弱点。这将帮助他们了解可能的数据点，这些数据点在被操纵时会导致模型产生错误的输出。
攻击者找到弱点后，他们会创建与原始数据集相似的对抗性数据样本。当这些数据样本包含在训练数据集中时，可能会导致模型生成错误的预测。
攻击者将中毒数据直接注入训练数据集中，或者破坏数据收集过程以间接引入它们。直接注入中毒数据的行为可以通过破坏数据库和数据服务器来实现。
注入中毒数据后，模型将使用更新的数据集（其中包括恶意数据样本）进行重新训练。在训练过程中，模型最终会适应中毒数据，这反过来又会导致性能下降。
模型成功中毒后，将其部署到与新数据集交互的现实场景中。该模型的偏见行为很容易被攻击者利用来实现其恶意目标。
避免数据中毒的缓解策略
为了确保减轻数据中毒攻击，我们必须确保敏感信息不被泄露。泄露的数据可以作为攻击者毒害数据集的入口点。因此，确保此信息在所有脆弱点都受到保护非常重要。为了确保敏感数据的安全，国防部的网络成熟度模型认证 (CMMC) 概述了四项基本网络原则。其中包括网络保护、端点保护、设施保护和人员保护。
下表列出了需要监控的功能，以确保敏感信息受到保护：
请记住，数据污染是机器学习和网络安全中的一个主要问题。采用机器学习系统的组织必须警惕潜在的数据中毒攻击，并采取强有力的安全措施来保护其数据和机器学习模型免受此类危险。模型监控、常规数据验证和异常检测是发现和阻止数据中毒攻击的一些最佳实践。
防止恶意输入的一种方法是发现异常情况。计算机系统、网络和软件应用程序的安全性和完整性取决于此。 ManageEngine Log360是一个具有异常检测功能的统一SIEM解决方案。借助 Log360，安全分析师可以：
发现异常的用户和实体行为，例如在不寻常的时间登录、过多的登录失败以及从特定用户通常不使用的主机中删除文件。
通过针对用户和实体的基于评分的风险评估，更深入地了解威胁。
识别危害指标 (IoC) 和攻击指标 (IoA)，暴露主要威胁，包括内部威胁、帐户泄露、登录异常和数据泄露。
通过数据定义语言和数据操作语言审核报告发现数据库更改。
检查运营数据和性能发生的变化也很重要。很多时候，原始训练数据（包括图像、音频文件和文本）会保留在云对象存储中，因为它们提供比本地存储解决方案更经济、更易于访问且可扩展的存储。借助与云访问安全代理(CASB) 功能集成的统一 SIEM 解决方案，安全分析师可以：
增强对云事件的可见性。
促进云端身份监控。
在云中获得威胁防护功能。
促进云中的合规管理。
此外，为了进行这些攻击，攻击者需要了解模型的运作方式。为此，他们需要强大的访问控制机制。阻止对访问控制的访问并密切关注它们至关重要。 Log360 包含一个复杂的关联引擎，可以实时组合网络中发生的各种事件，并确定是否存在可能的威胁。
安全分析师可以使用上述策略来避免此类攻击。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
