走廊里有人,移动机器人却把这段路读成“畅通”,于是照常前行。协作机械臂以为工人离得更远,动作没有减速。人形机器人没收到停止信号,因为有人正从它面前穿过。每一次反应都符合设计,问题出在它依赖的那条信息上。
![]()
VicOne LAB R7 做的事,就是把这些被操纵的输入摆到台面上:当机器人收到的距离读数、位置估计或停止信号是错的,那些本该保护人的系统还剩下多少保护力?
机器人不只是测量周围环境,它还会解读看到和听到的东西,再决定下一步做什么。放进环境里的信息,因此能影响它的动作。
已发表的研究给出了例子。在一项针对视觉-语言-动作(VLA)模型的研究中,摄像头视野里的一块贴片降低了模拟机器人测试的任务成功率。FreezeVLA 发现,一张对抗性图像能让受测模型忽略后续指令。两项研究方法不同,但都说明视觉输入可以干扰机器人原本要完成的任务。
VicOne LAB R7 自己也做了测试。在一项使用 Gemma 4 E4B 的机器狗测试中,海报上的文字被当成了指令,机器狗的运动随之改变。另一项医院服务机器人仿真使用 Nemotron 与 NVIDIA Jetson AGX Orin,人耳听不见的构造音频改变了机器人在仿真中的行为。任务分配没有变,变的是输入。
独立的保护系统也许还能拦下危险动作。可它同样依赖信息:读数、估计值、以及告诉它何时介入的消息。这些输入里有一条被操纵,会怎样?
在一场机器人漏洞赏金活动上,VicOne LAB R7 的研究人员向一台机器人注入 ROS 2/DDS 消息。主办方原本预期,这台机器人在安全控制设置下会保持不动。它动了。
人形机器人的平衡控制器是另一个例子。如果它依赖一个有漏洞的陀螺仪,以传感器共振频率播放的声音就可能扭曲其报告的旋转量。控制器或许会去纠正一个从未发生的倾斜。研究人员已在搭载脆弱陀螺仪的无人机上演示了这类声学攻击的底层手法;该研究并未演示同一条攻击链导致人形机器人摔倒。
两条链条上都可能还有其他保护措施介入。安全与安保团队要回答的是:这些保护是独立发现危险,还是依赖同一份被操纵的信息。
安全评估有时会把多种意外故障的叠加视为不太可能。蓄意操纵改变了这个前提。攻击者可以自己选择何时注入一条假输入,并重复同一个触发条件。这不等于伤害必然发生,但网络风险的评估方式可能需要跟着调整。
冗余传感器也需要对抗性测试。如果同一个动作能同时影响两路输入,它们彼此印证的价值就比预想中要低。自动驾驶研究里,一个精心构造的物理物体骗过了融合摄像头与激光雷达感知的系统。这项研究并未认定某款机器人存在弱点,但它说明了团队为什么应该测试:一次操纵能否同时影响多道检查。
网络威胁给安全等式加上了“意图”这一项。基于意外故障的风险评估,需要重新考虑那些可以被定时、被重复的攻击。
安全团队会为速度、保护距离和允许作业区域设定限值。支撑这些限值的证据,也应当说明:当用来执行限值的信息被蓄意操纵时,会发生什么。
这类证据还能支撑针对适用要求的评估。中国的 GB/T 45502-2025 针对服务机器人的信息安全。IEC TS 63074 考察可能影响安全相关控制系统的安全威胁。欧盟机械法规自 2027 年 1 月 20 日起适用,其中包含保护安全相关系统与数据免遭破坏的要求。每项要求各有自己的范围,团队仍需针对自家机器人的设计与运行条件准备证据。
部署之前,安全与安保工程师可以把正常场景和对抗场景放在同一套安全限值下比对。运行期间,则可以监测软件、模型、传感器信号或行为的变化,看它们是否会让早先的结论不再成立。对可疑行为的任何响应,都应遵循安全团队批准的策略。
VicOne 在机器人全生命周期内支持这项工作。通过 Robotic Hacking Community,VicOne LAB R7 与研究人员合作,调查网络威胁如何改变机器人行为。VicOne 的 Radeis 帮助团队在部署前验证潜在影响,Rthena 则在运行期间提供风险与行为的可见性。
核心的检验只有一条:当保护措施所依赖的信息被操纵时,它是否仍然在保护人。安全与安保团队可以先从五个问题入手:
- 每项保护功能读的是什么?把读数、估计值、消息和确认信号逐一画出来,找出哪些保护独立于机器人的 AI 决策运行。
- 这些信息是怎么到达的?检查输入如何产生、传输、在适当处如何认证,以及缺失或不合常理时如何处理。
- 某条输入被操纵会怎样?用虚假距离、漂移的位置估计等相关场景,去撞机器人的安全限值。
- 一个动作能否误导多路输入?检查传感器融合或看似独立的保护措施,是否共享同一个失效点。
- 证据何时需要重看?软件、模型、传感器或运行条件变化之后重新评估,并与安全团队提前约定对可疑行为的有界响应。
目标不只是证明某项保护功能能用。团队还需要证据表明:当它决策背后的信息是错的、或被蓄意操纵时,它依然具备保护力;必要时,另一道保护能接住由此产生的危险。机器人在变,这些证据也得跟着变。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.