当输入信息被篡改，机器人的安全功能还能正常运作吗？

机器人的安全功能已经在正常运转，但如果输入信息是假的呢？

本文由 VicOne 提供。

一台移动机器人在走廊里遇到行人时会减速。一台协作机械臂在工人靠近时会放缓动作。一台人形机器人会停下脚步让行人通过。这些反应都依赖于关于机器人自身或周围环境的信息：一个距离读数、一个位置估计，或是一个停止信号。

但如果其中某个输入信息出错，而机器人依然按照设计做出反应，会发生什么？移动机器人将走廊判断为无人，但实际上还有人在那里；机械臂把工人的距离估计得过远；人形机器人在有人穿过其路径时没有接收到停止信号。

在每种情况下，一个故障都可能导致这种信息不匹配。但蓄意的操纵同样可以造成这种结果。

在 VicOne LAB R7，我们研究被篡改的输入信息如何改变机器人的行为——以及这对那些本应保护人员安全的系统意味着什么。

不可信的输入如何改变机器人的行为

机器人所做的不仅是测量周围环境。它可能会解读所见所闻，从而决定下一步该做什么。因此，放置在其环境中的信息可以影响它的行动。

已发表的研究展示了这种情况如何发生。在一项关于视觉-语言-动作（VLA）模型的研究中，摄像头视野中的一个图像补丁降低了模拟机器人测试中的任务成功率。FreezeVLA 发现，一张对抗性图像可以导致被测试的模型忽略之后的指令。尽管这些研究采用了不同的方法，但都证明了视觉输入如何干扰机器人的既定任务。

在一次使用 Gemma 4 E4B 的机器狗测试中，海报上的文字被当作指令处理，并改变了机器人的运动方向。

VicOne LAB R7 也测试了不可信的输入信息如何改变机器人的行为。在一次使用 Gemma 4 E4B 的机器狗测试中，海报上的文字被当作指令处理，改变了机器人的运动。在另一项使用 NVIDIA Jetson AGX Orin 上运行 Nemotron 的医院服务机器人模拟测试中，人耳无法听到的精心设计的音频改变了机器人在模拟中的行为。分配的任务没有变化，变化的是输入信息。

在一次 VicOne LAB R7 测试中，海报上的文字改变了一只机器狗的运动方向，这说明精心设计的输入可以将一种小概率事件变为可重复的攻击手段。

安全相关的决策同样依赖输入信息

一个独立的保护系统仍然可能会在危险动作发生时将其阻止。但该系统同样依赖信息：读数、估计值，以及告知它何时应该介入的消息。如果其中某个输入信息遭到篡改，会怎样？

在一次机器人漏洞悬赏活动中，VicOne LAB R7 的研究人员向一台机器人注入了一条 ROS 2/DDS 消息，而主办方原本预期该机器人在安全控制设置下应保持静止。结果，这台机器人动了。

人形机器人的平衡控制器是另一个例子。如果它依赖一个存在漏洞的陀螺仪，在该传感器谐振频率上的声音就可能扭曲其报告的旋转数据。控制器可能会针对一个从未发生的倾斜进行纠正。研究人员已经针对配有易受攻击陀螺仪的无人机演示了这种基础的声学攻击。该研究并未演示同样的攻击链会导致人形机器人摔倒。

其他保护机制可能会阻断上述任一攻击链。安全与安防团队需要思考的问题是，这些保护机制是独立检测危险的，还是依赖于同样被篡改的信息。

图1：VicOne 展示了意外故障与蓄意网络篡改如何导致类似的机器人安全后果，从失控到人身伤害。

蓄意攻击挑战安全假设

安全评估可能将多种意外故障的组合视为不太可能发生的情况。而蓄意操纵改变了这一假设。攻击者可以选择何时引入虚假输入，并重复触发同一攻击。这并不意味着伤害必然发生，但可能改变网络风险应被评估的方式。

冗余传感器同样需要经过对抗性测试。如果某一动作能同时影响多个输入，它们彼此一致的结果所带来的安心程度可能不如预期。在自动驾驶研究中，一个精心设计的物理物体曾误导一个结合了摄像头与激光雷达感知的系统。该研究并未证实某款特定机器人存在此类弱点，但它表明为何团队应当测试单一操纵能否同时影响多项检查机制。

网络威胁为安全方程式增添了“意图”这一变量，因此基于意外故障的风险评估必须重新审视，以纳入可被精确计时和重复实施的攻击。

安全测试强化机器人安全证据

安全团队为速度、保护距离和允许的作业范围设定了限制。支撑这些限制的证据，也应展示当用于执行这些限制的信息遭到蓄意篡改时会发生什么。

这些证据同样可以支持针对适用要求的评估。中国的 GB/T 45502-2025 标准涉及服务机器人的信息安全。IEC TS 63074 研究了可能影响安全相关控制系统的安全威胁。将于2027年1月20日起生效的欧盟机械法规，包含了保护安全相关系统及数据不受破坏的要求。每项法规都有其各自的适用范围，团队仍需针对自身机器人的设计和运行条件提供证据。

图2：网络安全在整个生命周期中强化着机器人的安全证据。VicOne 帮助团队在部署前针对篡改测试安全限制，并在运行期间监控支撑安全行为的各项条件。

在部署之前，安全与安防工程师可以针对相同的安全限制，比较正常场景与对抗性场景。在运行期间，他们可以监控软件、模型、传感器信号或行为方面的变化，这些变化可能会使先前的测试结果受到质疑。任何针对可疑行为的响应，都应遵循安全团队批准的政策。

VicOne 在机器人整个生命周期中为这项工作提供支持。通过机器人黑客社区（Robotic Hacking Community），VicOne LAB R7 与研究人员合作，调查网络威胁如何改变机器人的行为。VicOne 的 Radeis 帮助团队在部署前验证潜在影响，而 Rthena 则在运行期间提供风险与行为的可见性。

安全与安防团队应共同回答的五个问题

核心的测试在于：当机器人所依赖的信息被篡改时，它的安全防护措施是否依然能够保护人员。安全与安防团队可以从追溯每一项保护性决策背后的输入信息开始，对其进行质疑，并随着机器人的变化不断重新审视相关证据。他们可以从以下五个问题入手：

第一，每项保护功能读取的是什么信息？梳理出各项读数、估计值、消息和确认信号，识别出哪些安全机制是独立于机器人的 AI 决策运行的。

第二，这些信息是如何传递的？检查输入信息是如何产生、传输、在适当情况下进行身份验证的，以及在信息缺失或不合理时如何处理。

第三，如果某项输入遭到篡改会发生什么？针对机器人的安全限制，测试虚假的距离数据、漂移的位置估计及其他相关场景。

第四，单一动作能否同时误导多个输入？检查传感器融合机制或看似独立的安全防护措施是否存在共同的故障点。

第五，应何时重新审视这些证据？在软件、模型、传感器或运行条件发生变化后进行重新评估，并提前与安全团队就应对可疑行为的有限响应措施达成一致。

目标不仅仅是证明某项保护功能能够正常运作。团队还需要证据，证明当其决策所依赖的信息出错或遭到蓄意篡改时，该功能依然能够发挥保护作用——并且在需要时，另一项安全机制能够捕捉到由此产生的危险。随着机器人的不断变化，这些证据也需要随之更新。

若想深入了解网络安全如何影响机器人安全，请下载我们的白皮书《为何机器人安全依赖于网络安全：保护安全决策所依赖的信息》。