对人工智能视觉系统进行压力测试：重新思考对抗图像的生成方式

IFAP 利用模型梯度生成对抗性扰动，然后在离散余弦变换 (DCT) 域中对其进行整形。与应用固定频率掩码的现有频率感知方法不同，IFAP 引入了一种基于输入图像频谱的输入自适应频谱包络约束。该约束引导扰动的全频谱轮廓与输入图像相符，从而在保持攻击有效性的同时，提高了所生成对抗样本的频谱保真度。图片来源：日本同志社大学奥田正弘教授

编辑：由萨迪·哈雷

审阅：罗伯特·伊根

深度神经网络（DNN）已成为现代人工智能技术的基石，推动了图像相关任务研究领域的蓬勃发展。这些系统已应用于医疗诊断、自动化数据处理、计算机视觉以及各种形式的工业自动化等领域。

随着对人工智能模型的依赖日益加深，使用对抗样本对其进行全面测试的需求也日益迫切。简而言之，对抗样本是指经过策略性噪声修改的图像，旨在诱使人工智能犯错。理解对抗图像生成技术对于识别深度神经网络（DNN）中的漏洞以及开发更安全可靠的系统至关重要。

当前对抗技术的局限性

尽管对抗样本生成技术非常重要，但目前仍存在诸多局限性。科学家们主要致力于通过一种称为 Lp 范数的约束条件，使添加的噪声在数学上变得很小。虽然这种方法能够使图像变化保持细微，但往往会导致颗粒状的伪影，由于这些伪影与原始图像的纹理不匹配，因此看起来不自然。

因此，即使噪声很小且难以察觉，安全预过滤器也能轻易地检测并拦截这些噪声，因为它们能够识别异常的频率模式。因此，该领域的一个显著挑战在于，如何超越仅仅最小化噪声量，转而设计更加隐蔽的对抗性攻击。

IFAP框架简介

在此背景下，日本同志社大学理工学研究科的博士生吉田正友和教授奥田正弘开发了一种方法，使对抗样本中的加性噪声与图像的“光谱形状”对齐。

他们的研究发表在IEEE Access期刊上，提出了一种名为输入频率自适应对抗扰动 (IFAP) 的创新框架。

与以往仅操纵特定频段的频率感知方法不同，IFAP采用了一种新的频谱包络约束。这使得添加的噪声能够自适应地匹配输入图像的整个频率分布，从而确保扰动在频谱上忠实于原始内容。

IFAP的测试和评估

研究人员在各种数据集上测试了 IFAP，包括门牌号、一般物体以及地形和织物等复杂纹理。

为了评估其性能，他们使用了一套全面的指标，其中包括他们开发的一种名为频率余弦相似度（Freq_Cossim）的新指标。标准指标通常检查像素级误差，而Freq_Cossim则专门衡量噪声频谱轮廓频率与原始图像频谱轮廓频率的匹配程度。

结果表明，IFAP在结构和纹理相似度方面显著优于现有的对抗生成技术。尽管视觉效果更加自然微妙，但这种对抗攻击仍然非常有效，成功欺骗了多种人工智能架构。

对人工智能鲁棒性和安全性的影响

有趣的是，研究人员还证明，这些协调扰动对常见的图像清理技术（例如JPEG压缩或模糊）具有更强的抵抗力。由于噪声与图像的自然纹理融合得非常紧密，因此简单的变换很难在不显著改变图像本身的情况下将其消除。

IFAP 对人工智能研究中对抗样本的使用方式具有重要意义。通过了解如何创建与人类感知一致的噪声，研究人员可以实施更有效的对抗攻击，从而对人工智能模型进行压力测试和重新训练，使其更加稳健。

“我们相信，我们的研究成果可以用于开发高度可靠的人工智能模型，应用于医疗诊断等领域，这些模型不会受到图像质量或噪声的轻微变化的影响，”奥田教授说。

展望未来，这项研究为我们如何评估人工智能在图像处理任务中的安全性和性能设定了新的基准。

奥田教授总结道：“正如我们的研究提出的那样，强调与人类感知和频率特征一致性的评估标准，在未来五到十年内可能会变得更加普遍。这种转变可能会提高支撑社会重要基础设施（例如医疗保健和交通运输）的人工智能系统的可靠性。”

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。