【文/观察者网 王世纯】“在人类公布停止打击的指示以后，搭载人工智能（AI）的无人机违背了决策者的指示，为了继续打击目标，而杀死了操作员……”
这不是科幻电影中的情节，而是美军在测试人工智能无人机时遇到的真实一幕。据英国《卫报》6月2日报道，美国空军的AI测试与运作主管塔克·汉密尔顿上校在英国皇家航空协会的未来空战与太空能力峰会上的演讲上证实了这一场景，他表示，人工智能在模拟测试中使用了“非常出人意料的策略来实现目标”。
报道截图
汉密尔顿上校说：“系统开始意识到，虽然他们确实识别了威胁，但有时人类操作员会告诉它不要排除威胁，但AI只能通过消灭威胁获得积分。那么它做了什么呢？它杀死了操作员，因为那个人阻碍了它实现目标。”
随后，测试者修改了AI的逻辑，让AI被训练成不能攻击人类操作员，那样会扣分。然后AI开始攻击通讯塔，切断人类操作员和无人机之间的数据通讯，让人类无法阻止他攻击防空系统。
汉密尔顿曾经是美国空军是一名试飞员，在演讲中，他警告不要过度依靠人工智能，并表示测试说明“如果你不打算谈论伦理和道德，你就无法谈论人工智能、智能、机器学习、自治”。
虽然是人工智能项目的测试主管，但汉密尔顿上校经常警告要谨慎对待人工智能的进展。在去年接受《国防智商》（Defense IQ）网站采访时，汉密尔顿表示：“人工智能并不是一件好事，也不是一种时尚，人工智能正在永远改变我们的社会和军队。AI技术是我们必须使用的工具，来建设我们的国家……但是，如果处理不当，这将导致我们的灭亡。”
他说：“我们必须面对一个人工智能已经出现并改变我们社会的世界。人工智能也非常脆弱，也就是说，它很容易被欺诈或操纵。我们需要开发方法使人工智能更强大，并对软件代码为什么做出某些决定有更多的认识——我们称之为人工智能的可解释性。”
美国空军测试的几种无人平台 图源：“战区”
对于汉密尔顿的发言，美国thedrive网站“战区”栏目表示，关于汉密尔顿介绍的情况，还有很多不清楚的重要问题，特别是关于模拟的AI系统所具备的能力（例如它是否能够在执行任务时重写自己的代码参数），以及美军是否在采纳AI技术的无人机上预留了可靠的自毁开关。
“战区”栏目还提到，这也凸显了人们对AI技术在没有适当防护措施时，可能产生极端负面影响的担忧。过去，在谈论未来的自主武器系统和AI技术时，美国军方经常拒绝将其与“终结者”之类的东西进行比较。不过“战区”栏目也承认，目前美国在这一问题上的政策规定，在可预见的未来，当涉及使用致命武力的决定时，决定开火的必须是“人”。
本文系观察者网独家稿件，未经授权，不得转载。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
