东华师大团队首次发现3D纹理攻击漏洞

这项由东华师范大学联合清华大学、中关村学院、新加坡科技研究局等多家机构共同完成的研究，发表于2026年的ACM多媒体会议（ACM MM），论文编号为arXiv:2604.01618v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们看科幻电影时，经常会看到机器人被各种"陷阱"欺骗的情节。现实中，随着机器人变得越来越智能，能够理解人类语言、观察环境并执行复杂任务，它们似乎离完美的人工助手越来越近。然而，研究团队最近的发现却让人不得不重新审视这些"聪明"机器人的可靠性。

现在最先进的机器人使用一种叫做视觉-语言-行动模型的技术，简单说就是机器人能够看懂画面、理解指令，然后做出相应动作。就像一个优秀的服务员，能够听懂客人说"请把那个红色杯子拿给我"，然后准确地找到红色杯子并递过来。这种技术在实验室和一些实际应用中表现得相当出色，让人们对机器人的未来充满期待。

但是，正如再精明的人也可能被精心设计的骗局蒙蔽双眼一样，这些智能机器人也存在致命的安全漏洞。以往的研究主要关注两种攻击方式：一是在指令中做手脚，比如在"拿杯子"的指令后偷偷加上一些让机器人混乱的文字；二是在机器人的视野中放置特殊的2D贴纸或图案，就像路标上被恶意贴上假标签一样。

然而这两种攻击方式都有明显的局限性。语言攻击太依赖于具体的交互界面，而2D贴纸攻击则像变魔术一样需要精确的角度和位置才能生效，稍有偏差就会失效，而且这些贴纸通常很显眼，容易被发现。

研究团队提出了一种更加隐蔽且更具威胁性的攻击方式：3D纹理攻击。这就好比不是在物品上贴一张明显的假标签，而是直接改变物品表面的纹理和颜色，让它看起来仍然是原来的物品，但实际上已经被"做了手脚"。

要理解这种攻击的巧妙之处，可以这样比喻：如果说2D贴纸攻击像是在苹果上贴一张橙子的照片来欺骗机器人，那么3D纹理攻击就是直接改变苹果的表皮颜色和纹理，让它从任何角度看都像一个橙子，但形状仍然是苹果。这种改变更加自然，不容易被察觉，而且无论从哪个角度观察都能保持欺骗效果。

研究团队面临的第一个重大挑战是技术实现问题。目前的机器人仿真环境，比如广泛使用的MuJoCo物理引擎，主要关注物体的运动和碰撞，对于物体外观的处理并不支持梯度优化。这就像是你想要调整一道菜的味道，但厨房里没有提供调味料一样。

为了解决这个问题，研究团队开发了一种叫做"前景-背景分离"的技术。这种方法的精妙之处在于将整个场景分成两部分来处理：背景部分（包括机器人、桌面和其他环境对象）仍然由原来的MuJoCo引擎渲染，确保物理仿真的准确性；而目标物体则由另一个支持优化的渲染器Nvdiffrast来处理，这样就能够对物体的纹理进行精确控制和优化。

这种分离策略的关键在于确保两个渲染器产生的画面能够完美融合，就像电影特效中将实拍场景与计算机生成的特效无缝结合一样。研究团队通过精确对齐几何参数和光照条件来实现这一点。几何对齐确保目标物体在两个渲染器中的位置、角度和大小完全一致，而光照对齐则确保物体的明暗、反射效果与周围环境协调一致。

第二个挑战是如何让攻击在整个任务过程中持续有效。机器人执行一个看似简单的任务，比如"拿起碗放到盘子上"，实际上需要数百个步骤，每个步骤机器人都会获得新的视觉信息并做出决策。在这个过程中，机器人会从不同角度观察物体，物体的位置和朝向也会发生变化。

传统的3D攻击方法通常针对静态场景设计，无法应对这种动态变化。研究团队提出了"轨迹感知对抗优化"技术，这种方法能够识别任务执行过程中的关键时刻，并在这些时刻集中优化攻击效果。

这个技术的工作原理类似于一个经验丰富的导演在拍摄时知道哪些镜头最重要。在机器人抓取物品的任务中，靠近物体、准备抓取、提起物体这些时刻比其他时刻更加关键，因为这些时刻的决策错误会直接导致整个任务失败。

研究团队通过分析机器人视觉信息的变化规律来自动识别这些关键时刻。他们使用一个预训练的视觉编码器来提取每一帧画面的特征，然后计算这些特征随时间的变化速度和加速度。当变化速度突然加快或者加速度出现跳跃时，通常意味着机器人正在经历重要的行为转换，比如从移动状态转换到抓取状态。

系统会自动给这些关键时刻分配更高的权重，确保在优化攻击纹理时更加关注这些决定性时刻的效果。这就像是在考试中把更多精力放在分值更高的题目上一样，能够以最小的努力获得最大的攻击效果。

除了时间上的优化，研究团队还对纹理表示方法进行了创新。直接在高分辨率的纹理图像上进行优化容易产生过度拟合的问题，就像用过于复杂的密码，虽然很难破解但也很难记忆一样。研究团队采用了基于顶点的纹理参数化方法，将复杂的纹理简化为物体表面关键点的颜色属性，然后通过数学插值生成完整的纹理。

这种方法有两个显著优势：一是大大减少了需要优化的参数数量，提高了优化效率；二是生成的纹理更加平滑自然，不容易被检测出来，同时在不同模型之间的转移性也更好。

研究团队设计了两种不同的攻击策略。无目标攻击专注于破坏机器人的正常功能，让它无法完成指定任务，就像在导航系统中加入干扰信号，让司机迷路但不指向特定的错误目的地。有目标攻击则更加精确，不仅要让机器人犯错，还要引导它执行特定的错误行为，比如让本来应该抓取红色物品的机器人去抓取蓝色物品。

为了验证这种攻击方法在现实世界中的可行性，研究团队还引入了变换期望技术。这种技术在优化过程中模拟各种真实世界的变化，包括不同的观察角度、光照条件、图像模糊程度等。这就像是在实验室中预演各种可能的实际情况，确保攻击方法在面对真实世界的复杂性时仍然有效。

研究团队在LIBERO基准测试平台上进行了全面的实验验证。LIBERO是机器人学习领域的标准测试环境，包含四类不同复杂程度的任务：空间推理任务测试机器人的基本空间理解能力，物体操作任务考验机器人处理不同物品的能力，目标导向任务要求机器人根据指令完成特定目标，而长时序任务则需要机器人规划和执行多步骤操作。

实验结果令人震惊。在最先进的OpenVLA模型上，正常情况下的任务失败率仅为24.1%，但使用Tex3D攻击后，失败率飙升至88.1%，提高了64个百分点。在最困难的空间推理任务中，攻击成功率甚至达到了96.7%。这意味着几乎所有的任务都会因为这种攻击而失败。

更令人担忧的是，这种攻击还具有很强的跨模型转移性。在一种机器人模型上优化的攻击纹理，在其他模型上同样有效。比如在OpenVLA上优化的攻击纹理，在OpenVLA-OFT模型上的成功率仍然超过60%，在π0模型上也能达到40%以上的成功率。这说明这种攻击抓住了当前机器人视觉系统的根本弱点，而不是某个特定模型的缺陷。

研究团队还发现，即使是非常微小的纹理改变也能产生显著的攻击效果。在最严格的约束条件下，当纹理改变小到人眼几乎无法察觉时，攻击成功率仍然能够达到65%以上。这种隐蔽性使得这种攻击在现实中极难被发现和防范。

与传统的2D贴纸攻击相比，3D纹理攻击展现出了明显的优势。2D贴纸攻击在面对视角变化时效果急剧下降，当摄像头角度偏移45度时，攻击成功率从100%下降到67.4%。而3D纹理攻击在相同条件下仍能保持80%以上的成功率，表现出了更好的鲁棒性。

在真实世界的物理实验中，研究团队使用3D打印技术制作了带有攻击纹理的物体，在配备Franka Emika Panda机械臂的真实机器人平台上进行测试。结果显示，数字世界中优化的攻击纹理在物理世界中同样有效，攻击成功率保持在66%以上，证明了这种攻击的实用性。

研究团队还测试了各种常见的防御措施对这种攻击的抵抗能力。包括JPEG压缩、添加噪声、中值滤波、位深度减少等图像处理技术对Tex3D攻击几乎没有影响，攻击成功率仍然维持在86%以上。这表明现有的简单防护措施无法有效应对这种新型攻击。

这项研究的发现具有重要的现实意义。随着机器人在家庭、工厂、医院等场所的广泛应用，它们的安全性和可靠性变得越来越重要。一个恶意攻击者可以通过简单地修改环境中物体的外观来操控机器人的行为，让它们执行错误甚至危险的操作。

在家庭环境中，攻击者可能通过修改物品的纹理让家政机器人错误地处理有害物质或者误操作电器设备。在工业环境中，这种攻击可能导致生产线的严重事故。在医疗环境中，被攻击的机器人可能会拿错药物或者执行错误的医疗程序。

研究结果也揭示了当前机器人训练数据的局限性。现有的机器人训练数据主要来自相对理想化的环境，缺乏对各种视觉干扰和对抗性样本的充分考虑。这使得机器人在面对精心设计的视觉欺骗时显得格外脆弱。

面对这些威胁，研究团队提出了两个可能的解决方向。首先是在机器人训练过程中引入更多样化和更具挑战性的视觉场景，包括各种纹理变化、光照条件和潜在的对抗性样本。这就像是给机器人进行"防骗训练"，让它们见识过各种可能的视觉陷阱。

其次是在机器人的行动决策层面加入更强的约束和验证机制，过滤掉那些不合理或者可能有害的动作指令。这相当于给机器人安装一个"理性检验器"，即使视觉系统被欺骗了，决策系统也能识别出异常行为并拒绝执行。

这项研究的技术创新也为未来的机器人安全研究奠定了基础。前景-背景分离技术为在复杂仿真环境中进行对抗性研究提供了新的工具，而轨迹感知优化方法则为处理长时序任务中的对抗性问题开辟了新的思路。

从更广阔的角度来看，这项研究提醒我们，随着人工智能系统变得越来越复杂和强大，它们的安全漏洞也可能变得更加隐蔽和危险。我们需要在追求性能提升的同时，始终保持对安全性的关注，建立更加完善的测试和防护体系。

这项研究还引发了对机器人伦理和监管的思考。如何平衡机器人的智能化程度与安全可控性，如何建立有效的机器人安全标准和认证体系，如何在技术发展与风险控制之间找到平衡点，这些都是我们需要认真考虑的问题。

说到底，这项研究最重要的价值不仅在于发现了一种新的攻击方法，更在于提醒我们机器人系统的脆弱性远比我们想象的要大。在我们享受智能机器人带来便利的同时，也必须时刻保持警惕，持续改进它们的安全性和可靠性。只有这样，我们才能真正放心地让这些智能助手进入我们的生活和工作中。

当前的发现也为普通用户提供了一些启示。在使用机器人产品时，我们应该保持必要的监督和干预能力，不能完全依赖机器人的自主决策。同时，我们也应该关注机器人产品的安全更新和防护措施，选择那些重视安全性的产品和服务提供商。

未来的研究将继续探索更加有效的防御方法和更加安全的机器人系统设计。这场人工智能安全的攻防战才刚刚开始，需要研究者、开发者、监管者和用户的共同努力，才能确保智能机器人技术朝着安全、可靠、有益的方向发展。

Q&A

Q1：Tex3D攻击和普通的2D贴纸攻击有什么区别？

A：Tex3D攻击直接改变物体表面的纹理颜色，就像重新给物品"换皮肤"，从任何角度看都有效果。而2D贴纸攻击只是在物品上贴一张图片，需要特定角度才有效，稍微变换视角就会失效，而且贴纸很容易被发现。

Q2：为什么现在的机器人这么容易被3D纹理攻击欺骗？

A：主要原因是现在的机器人训练数据大多来自理想化环境，缺乏各种视觉干扰的训练。就像一个只在考试题目上练习的学生，遇到实际问题时容易出错。机器人没有见过足够多的"视觉陷阱"，所以很容易被精心设计的纹理变化迷惑。

Q3：普通人在使用机器人时如何防范这种攻击？

A：目前最好的办法是保持人工监督，不要完全依赖机器人自主决策。选择重视安全性的机器人产品，及时更新安全补丁。如果发现机器人行为异常，特别是在处理重要任务时，应该立即停止并进行人工检查。