火热之外，为什么人工智能很容易上当受骗？

编者按：本文来自微信公众号“网易智能”（ID：smartman163），选自：SingularityHub 编译：网易见外智能编译平台 审校：小ka，36氪经授权发布。

骗子是世界上最古老、最具创新性的“职业”之一，它可能很快就会有一个新的目标。研究表明，人工智能可能会很容易受到骗子影响，而且随着它在现代世界中的影响力不断增长，针对它的攻击可能会变得越来越普遍。

问题的根源在于，人工智能算法能以与人类极为不同的方式来了解这个世界，因此，对这些算法数据的细微调整就可能令其彻底报废，但对人类来说却没什么影响。

该领域的很多研究都是在图像识别系统上进行的，特别是那些依赖于深度学习神经网络的系统。通过向这些系统展示数千个特定物体的图像来训练它们，直到它们能够提取出这些图像共同的特征，从而能够在一群新图像中识别这一物体。

但他们提取的特征不一定是人类想要的那种高级特征，例如示意牌上的“停止”字样，或是狗身上的尾巴。这些系统分析单个像素级别的图像，以检测它们之间共有的模式。这些模式可以是像素值的模糊组合，人类不可能识别出来，但在预测一个特定的物体时却非常准确。

这意味着，通过识别这些模式，并将它们应用到不同的图像上，攻击者可以令对象识别算法上当，让它看到一些实际上不存在的东西，而这些东西对人类来说也不太明显。这种操纵被称为“敌对攻击”。

早期尝试以这种方式欺骗图像识别系统时，需要有权限访问算法的内部工作机制来破译这些模式。但在2016年，研究人员展示了一种“黑匣子”式的攻击模式，使系统能够在不知道其内部工作原理的情况下受骗。

通过给系统输入篡改过的图像，并观察它的分类方式，他们能够计算出系统所关注的内容，从而生成一些可以欺骗系统的图像。重要的是，这些被篡改过的图像在人眼看来也没有明显的不同。

对这些方法的测试通过直接在算法中输入经过修改的图像数据来进行的，但在最近，类似的方法已经在现实世界中得到了应用。去年，有研究显示，将修改过的图像用智能手机拍下来后，成功地骗过了图像分类系统。

另一组研究表明，戴着特殊设计的、能让人产生错觉的眼镜会让面部识别系统误以为某些人是明星。今年8月，科学家们发现，在特定配置中添加标签来阻止信号出现，可能会导致人们设计出一个新的神经网络，以便对这些信号进行识别及分类。

最后两个例子强调了这项技术的一些潜在的灰色应用。让自动驾驶汽车错过停车标志可能会引发事故，既可能是保险欺诈也可能对人造成伤害。如果面部识别技术在生物识别安全应用中变得越来越流行，那么对骗子来说就很有必要学会如何假装成他人。

意料之中的是，人们已经采取了一些措施来抵御敌对攻击的威胁。特别是研究已表明，深层神经网络可以被训练来探测上述提到的假图像。根据博世研究中心的一项研究提出了探测器的策略，敌对攻击可以骗过探测器，而探测器的训练机智能让攻击失效，未来可能会出现相应的军备竞赛。

虽然图像识别系统的受骗过程可以作为简单直观的演示，但它们并不是唯一存在风险的机器学习系统。用于扰乱像素数据的技术也可以应用于其他类型的数据。

中国研究人员发现，在句子中加入特定的词语或拼错一个单词，可以完全干扰到那些用于分析文本的机器学习系统。另一组实验表明，在扬声器中播放的声音失真，可以令运行谷歌Now语音指令系统的智能手机去访问特定的网址，下载恶意软件。

最后一个例子是一个更令人担忧的应用，或许也是近期会发生的：绕过网络安全防御。该行业正越来越多地使用机器学习和数据分析来识别恶意软件及其入侵，但这些系统也非常容易受骗。

在今年夏天的黑客大会上，一家安全公司演示了他们如何绕过反恶意软件的人工智能，其方法与黑匣子攻击图像分类器的方法类似，但使用的是自己的人工智能系统。

他们的系统会将恶意代码输入到反病毒软件中，然后记下系统给出的分数。然后，它用遗传算法反复修改代码，直到能够绕过防御，同时保持其功能。

目前为止所提到的所有方法都集中在对预先训练的机器学习系统进行“欺骗”，但网络安全行业的另一个主要关注点是“数据中毒”。这一观点认为，将错误数据引入机器学习系统的训练集将导致它开始对事物进行错误分类。

这对于反恶意软件系统来说尤其具有挑战性，这些系统会不断更新，以纳入新的病毒数据。一种相关的方法用数据对系统进行了轰炸，这些数据被设计用来做出错误判定，这样一来，防御者将能够重新调整自己的系统，攻击者就可以进入了。

这些方法在自然状况下能够被使用的可能性有多大，取决于潜在的回报以及攻击者的熟练程度。上面描述的大多数技术都需要高水平的专业知识，但获取培训材料和机器学习工具却变得越来越容易。

多年来，简单版本的机器学习一直是垃圾邮件过滤器的核心技术，而垃圾邮件发送者们已经开发出了一系列的创新解决方案来绕过它们。随着机器学习和人工智能越来越多地融入我们的生活，欺骗它们的回报很可能会超出成本。