网易首页 > 网易号 > 正文 申请入驻

机器人的安全功能都正常,可输入本身在说谎呢?

0
分享至

走廊里有人,移动机器人却把这段路读成“畅通”,于是照常前行。协作机械臂以为工人离得更远,动作没有减速。人形机器人没收到停止信号,因为有人正从它面前穿过。每一次反应都符合设计,问题出在它依赖的那条信息上。


VicOne LAB R7 做的事,就是把这些被操纵的输入摆到台面上:当机器人收到的距离读数、位置估计或停止信号是错的,那些本该保护人的系统还剩下多少保护力?

机器人不只是测量周围环境,它还会解读看到和听到的东西,再决定下一步做什么。放进环境里的信息,因此能影响它的动作。

已发表的研究给出了例子。在一项针对视觉-语言-动作(VLA)模型的研究中,摄像头视野里的一块贴片降低了模拟机器人测试的任务成功率。FreezeVLA 发现,一张对抗性图像能让受测模型忽略后续指令。两项研究方法不同,但都说明视觉输入可以干扰机器人原本要完成的任务。

VicOne LAB R7 自己也做了测试。在一项使用 Gemma 4 E4B 的机器狗测试中,海报上的文字被当成了指令,机器狗的运动随之改变。另一项医院服务机器人仿真使用 Nemotron 与 NVIDIA Jetson AGX Orin,人耳听不见的构造音频改变了机器人在仿真中的行为。任务分配没有变,变的是输入。

独立的保护系统也许还能拦下危险动作。可它同样依赖信息:读数、估计值、以及告诉它何时介入的消息。这些输入里有一条被操纵,会怎样?

在一场机器人漏洞赏金活动上,VicOne LAB R7 的研究人员向一台机器人注入 ROS 2/DDS 消息。主办方原本预期,这台机器人在安全控制设置下会保持不动。它动了。

人形机器人的平衡控制器是另一个例子。如果它依赖一个有漏洞的陀螺仪,以传感器共振频率播放的声音就可能扭曲其报告的旋转量。控制器或许会去纠正一个从未发生的倾斜。研究人员已在搭载脆弱陀螺仪的无人机上演示了这类声学攻击的底层手法;该研究并未演示同一条攻击链导致人形机器人摔倒。

两条链条上都可能还有其他保护措施介入。安全与安保团队要回答的是:这些保护是独立发现危险,还是依赖同一份被操纵的信息。

安全评估有时会把多种意外故障的叠加视为不太可能。蓄意操纵改变了这个前提。攻击者可以自己选择何时注入一条假输入,并重复同一个触发条件。这不等于伤害必然发生,但网络风险的评估方式可能需要跟着调整。

冗余传感器也需要对抗性测试。如果同一个动作能同时影响两路输入,它们彼此印证的价值就比预想中要低。自动驾驶研究里,一个精心构造的物理物体骗过了融合摄像头与激光雷达感知的系统。这项研究并未认定某款机器人存在弱点,但它说明了团队为什么应该测试:一次操纵能否同时影响多道检查。

网络威胁给安全等式加上了“意图”这一项。基于意外故障的风险评估,需要重新考虑那些可以被定时、被重复的攻击。

安全团队会为速度、保护距离和允许作业区域设定限值。支撑这些限值的证据,也应当说明:当用来执行限值的信息被蓄意操纵时,会发生什么。

这类证据还能支撑针对适用要求的评估。中国的 GB/T 45502-2025 针对服务机器人的信息安全。IEC TS 63074 考察可能影响安全相关控制系统的安全威胁。欧盟机械法规自 2027 年 1 月 20 日起适用,其中包含保护安全相关系统与数据免遭破坏的要求。每项要求各有自己的范围,团队仍需针对自家机器人的设计与运行条件准备证据。

部署之前,安全与安保工程师可以把正常场景和对抗场景放在同一套安全限值下比对。运行期间,则可以监测软件、模型、传感器信号或行为的变化,看它们是否会让早先的结论不再成立。对可疑行为的任何响应,都应遵循安全团队批准的策略。

VicOne 在机器人全生命周期内支持这项工作。通过 Robotic Hacking Community,VicOne LAB R7 与研究人员合作,调查网络威胁如何改变机器人行为。VicOne 的 Radeis 帮助团队在部署前验证潜在影响,Rthena 则在运行期间提供风险与行为的可见性。

核心的检验只有一条:当保护措施所依赖的信息被操纵时,它是否仍然在保护人。安全与安保团队可以先从五个问题入手:

  1. 每项保护功能读的是什么?把读数、估计值、消息和确认信号逐一画出来,找出哪些保护独立于机器人的 AI 决策运行。
  2. 这些信息是怎么到达的?检查输入如何产生、传输、在适当处如何认证,以及缺失或不合常理时如何处理。
  3. 某条输入被操纵会怎样?用虚假距离、漂移的位置估计等相关场景,去撞机器人的安全限值。
  4. 一个动作能否误导多路输入?检查传感器融合或看似独立的保护措施,是否共享同一个失效点。
  5. 证据何时需要重看?软件、模型、传感器或运行条件变化之后重新评估,并与安全团队提前约定对可疑行为的有界响应。

目标不只是证明某项保护功能能用。团队还需要证据表明:当它决策背后的信息是错的、或被蓄意操纵时,它依然具备保护力;必要时,另一道保护能接住由此产生的危险。机器人在变,这些证据也得跟着变。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王思聪女友懒懒游欧洲,五套妆造全在审美点上,老外回头率200%

王思聪女友懒懒游欧洲,五套妆造全在审美点上,老外回头率200%

孤芳自赏的小李
2026-10-05 19:56:18
任泉与李冰冰现身大学,她把头靠在他的肩膀上,二人看起来好亲密

任泉与李冰冰现身大学,她把头靠在他的肩膀上,二人看起来好亲密

旧时光老师
2026-10-26 21:22:09
A股:大家做好心理预期,证券市场传来消息,股市或将迎关键变化

A股:大家做好心理预期,证券市场传来消息,股市或将迎关键变化

财经大拿
2026-10-28 06:05:13
穆帅换血巴尔韦德改踢右后卫, 皇马技术流中场赢国家德比

穆帅换血巴尔韦德改踢右后卫, 皇马技术流中场赢国家德比

带你逛体坛
2026-10-28 15:40:40
欧阳娜娜:终于长大了!

欧阳娜娜:终于长大了!

宛沐
2026-10-27 11:00:16
结婚当天小姑子非要抢主卧,我笑着把钥匙递过去,转头跟丈夫说你妹搬走咱们再领证,公婆站在原地傻了眼

结婚当天小姑子非要抢主卧,我笑着把钥匙递过去,转头跟丈夫说你妹搬走咱们再领证,公婆站在原地傻了眼

晓艾故事汇
2026-10-28 10:37:10
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

轩逸阿II
2026-10-17 07:39:17
15亿焕新 24小时订单破万 问界新M8定档11月13日上市 38.98万起刷新家庭旗舰SUV标准

15亿焕新 24小时订单破万 问界新M8定档11月13日上市 38.98万起刷新家庭旗舰SUV标准

科技圈锐观察
2026-10-28 10:40:06
10月27日下午中国女篮!传来3大名将,韩旭、李梦、张子宇新消息

10月27日下午中国女篮!传来3大名将,韩旭、李梦、张子宇新消息

包饺子ai剪辑
2026-10-28 15:18:44
iPhone Duo屏幕开裂遭集中投诉,前国产手机高管嘲讽称:以前苹果工程师吃住在中国生产线上,如今则是越来越疏远

iPhone Duo屏幕开裂遭集中投诉,前国产手机高管嘲讽称:以前苹果工程师吃住在中国生产线上,如今则是越来越疏远

逍遥漠
2026-10-27 11:28:59
下次就熟练了,图片报:奥利塞金球奖握手时手里还拿着手机

下次就熟练了,图片报:奥利塞金球奖握手时手里还拿着手机

懂球帝
2026-10-27 21:08:27
国常会最新定调

国常会最新定调

21世纪经济报道
2026-10-27 16:03:13
韩媒曾扬言:一旦东亚开战,韩国会先炸青岛、大连,导弹可达北京

韩媒曾扬言:一旦东亚开战,韩国会先炸青岛、大连,导弹可达北京

梦在深巷aqa
2026-10-24 03:35:01
iPhone Duo 的铰链问题源自结构设计,苹果不宣布召回的底气在哪里

iPhone Duo 的铰链问题源自结构设计,苹果不宣布召回的底气在哪里

电科技网
2026-10-28 11:15:11
网红狗头萝莉负债数百万,被迫去足疗店当前台赚钱,求粉丝别嫌弃

网红狗头萝莉负债数百万,被迫去足疗店当前台赚钱,求粉丝别嫌弃

橙星文娱
2026-10-27 14:42:38
1935年徐向前拒绝跟随毛主席北上,晚年反思:成了他一生遗憾!

1935年徐向前拒绝跟随毛主席北上,晚年反思:成了他一生遗憾!

大运河时空
2026-10-14 20:00:05
梅根王室梦彻底碎了!哈里养不起家,豪宅烧钱上百万,退路快没了

梅根王室梦彻底碎了!哈里养不起家,豪宅烧钱上百万,退路快没了

艺利森
2026-10-28 14:14:10
火箭对阵雄鹿!伤病名单出炉:申京+亚当斯休战,新援出战成疑,饼皇迎首发?

火箭对阵雄鹿!伤病名单出炉:申京+亚当斯休战,新援出战成疑,饼皇迎首发?

熊哥爱篮球
2026-10-28 11:53:19
数据显示,超15%的中青年夫妻处于“干婚”状态,68%的中年人拥有固定深交的异性网友

数据显示,超15%的中青年夫妻处于“干婚”状态,68%的中年人拥有固定深交的异性网友

舒山有鹿
2026-07-25 09:57:20
微软向 6 万员工发出自愿离职邀请:覆盖全球超四分之一员工,副总裁也在列

微软向 6 万员工发出自愿离职邀请:覆盖全球超四分之一员工,副总裁也在列

InfoQ
2026-10-27 13:20:38
2026-10-28 16:20:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
178文章数 92关注度
往期回顾 全部

科技要闻

AI世界开口说话!谷歌新模型Genie 4有多神

头条要闻

博索纳罗败选后与妻女抵达美国 卢拉:逃离巴西"可耻"

头条要闻

博索纳罗败选后与妻女抵达美国 卢拉:逃离巴西"可耻"

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

王心凌近况!分手已9年,如今还是单身

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

宾利MULLINER再展定制实力 推哥白尼主题限量版车型

态度原创

教育
时尚
旅游
数码
公开课

教育要闻

山西2027年高考补报名!

教你把去年的毛衣,穿出今年的好看

旅游要闻

三明明溪翠竹洋“火山红韵”绘就农文旅共富新图景

数码要闻

华为FreeClip 2耳夹耳机拼色设计上市,限时优惠价1249元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版