用雨伞「钓」无人机？首个针对自主目标跟踪闭环系统的物理攻击

新智元报道

编辑：LRST

【新智元导读】研究者用特制雨伞干扰无人机视觉系统，让其误判目标在远去，从而失控俯冲。FlyTrap攻击无需信号干扰，仅靠物理图案就能欺骗多款商用无人机，实现静默捕获或击毁。实验显示，物理闭环攻击成功率超60%，且对新人物、新场景均有强泛化能力。这项研究揭示了AI感知系统的重大安全隐患，警示我们：视觉安全正成为智能设备的阿喀琉斯之踵。

随着消费级和工业级无人机的普及，自主目标跟踪（Autonomous Target Tracking, ATT） 已成为标配功能。

无论是 DJI（大疆）的跟随拍摄，还是警方的无人机巡逻，系统都依赖单目标跟踪（SOT）模型来实时锁定并保持与目标的固定距离。

在目前现实世界的安全假设中，如果无人机没有受到 GPS 欺骗或信号干扰，它就被普遍认为是安全的。

图1: FlyTrap物理对抗性雨伞以及测试的三款商用无人机

然而，加州大学尔湾分校的研究人员直接挑战了这一假设，证明了：通过操纵物理世界中的视觉特征，可以从算法层面接管无人机的飞行控制逻辑。

论文链接 (arXiv):https://arxiv.org/pdf/2509.20362

论文链接 (NDSS):https://www.ndss-symposium.org/ndss-paper/flytrap-physical-distance-pulling-attack-towards-camera-based-autonomous-target-tracking-systems/

项目主页与演示视频：https://sites.google.com/view/secure-safe-ai/flytrap

演示视频：https://www.tiktok.com/@asguard_uci/video/7599829206599552287

其他视频材料：https://www.youtube.com/playlist?list=PLlViq2qGRmiYQUEovXYaP3ww9AlWH4ZBt

FlyTrap的核心，距离拉近攻击 (Distance-Pulling Attack, DPA)： 该攻击利用了神经网络对于对抗样本感知时的脆弱性。

攻击者通过一把特制的「对抗性雨伞」，让无人机的视觉模型产生严重的边界框（Bounding Box）预测偏差。即便物理距离没有变化，无人机的跟踪算法也会认为目标正在迅速远去。为了维持设定的跟踪距离，飞行控制器会立即触发加速补偿，导致无人机失控俯冲。

FlyTrap攻击的发现具有深远的现实意义。在执法与边境管控场景中，该技术可作为一种非电子对抗手段，帮助相关人员在不使用信号干扰器的情况下，静默诱导并捕获自动跟踪的无人机 。

此外，对于个人隐私保护而言，当面临无人机恶意尾随或偷拍时，这种特制的「雨伞」能成为一种有效的自卫工具，保护个人安全与空间隐私。

从「视觉扰动」到「闭环攻击」

图2: FlyTrap攻击方法流程：闭环仿真示意图

FlyTrap的学术贡献在于它实现了对「感知-控制闭环」的精准物理仿真：

尺度感知漏洞：现有的无人机跟踪算法高度依赖物体的视觉面积来估算距离。因此，当对抗性雨伞图案诱导跟踪模型将边界框尺寸预测得更小时，无人机便会「误以为」目标在远离，从而触发加速补偿。研究人员在论文中进一步证明（Theorem 1）：若对抗图案使模型产生收缩率的边界框预测偏差，无人机最终会被拉近至距离（其中λ为雨伞与人体的面积比例常数，d0为初始距离），从而精确控制攻击距离。

对抗图案的优化生成：为了确保攻击在真实物理环境中的稳定性，研究人员构建了一个多目标联合优化框架来生成雨伞图案A：

其中T为随机物理变换（包括光照、倾斜角度、旋转等），各损失项分别负责不同的优化目标：
引导模型将边界框预测缩小至攻击目标，保持跟踪置信度以防止目标丢失，约束人体姿态估计保持自然以提升隐蔽性，则对图案进行平滑正则化，确保其可被物理打印。通过期望变换（EoT）优化，最终图案对光照、角度等现实环境变化具备良好的鲁棒性。

渐进式闭环模拟（PDP）：传统的对抗攻击往往只针对单帧静止图像，而 FlyTrap 面对的是持续逼近的动态控制闭环。为此，研究人员提出了渐进式距离拉近（Progressive Distance-Pulling, PDP）优化策略：在生成对抗图案时，模拟无人机从初始距离d0逐步逼近至的完整过程，在每一距离步长处进行3D渲染并反馈梯度。这使得生成的对抗图案能在无人机整个飞行逼近过程中持续产生累积误差，而非仅在某一固定距离有效，从而将平均攻击成功率从33.9%大幅提升至53.6%。

时空一致性控制:渐进式闭环模拟的优化方式也可以用来精确的控制攻击的时空一致性，目前自主无人系统中的SOTA视觉防御手段主要依赖多模型一致性检测（例如，人体姿态估计，人体移动时序特征）。在空间一致性方面，由于对抗样本图案完全由攻击者控制，FlyTrap可以利用adaptive attack同时对多个视觉模型（例如，目标检测，目标跟踪，姿态估计等）进行欺骗，使得多个视觉模型的预测在空间上重叠；在时间一致性方面，因为FlyTrap可以仿真无人机拉进的过程，攻击者可以优化视觉模型在时间维度上的一致性（例如，避免姿态估计在不同时间点发生非正常偏移）。因此，FlyTrap的设计可以从根本上绕过现有的时空一致性防御策略。

实验评估

大疆、哈浮无人机悉数「中招」

白盒攻击效果（White-Box Attack）

研究人员在四款主流开源跟踪算法上系统评估了FlyTrap的攻击效果，使用平均攻击成功率（mASR）作为核心指标。结果如下表所示：

图3: FlyTrap白盒攻击效果，各开源单目标跟踪模型mASR对比（PDP优化前后）

对比基线（直接使用目标人物照片作为图案）的平均 mASR 仅为 36.0%，FlyTrap 的 PDP 优化策略带来了显著提升。

泛化性与迁移性（Universality）

为验证攻击的普适性，研究人员测试了图案在未见过的新地点和新人物上的泛化能力：

• 地点泛化：在全新测试场景下，FlyTrap仍达到平均61.8%的mASR，显著优于基线的 27.3%。

• 人物泛化：针对训练时未出现的新目标人物，FlyTrap保持56.6%的mASR，远超基线的15.0%。

• 地点 + 人物双重泛化：即便地点和人物均为全新未见，仍能维持34.0%的mASR（基线仅12.6%），证明了攻击图案的强迁移能力。

真实商用无人机黑盒测试

为了验证漏洞的普遍性，研究人员在真实场景下测试了多款主流商业无人机：DJI Mini 4 Pro，DJI Neo，HoverAir X1

• 攻击成功率：在不了解任何内部算法细节的黑盒测试中，FlyTrap 对三款商用无人机的诱导成功率超过60%。

• 物理捕获：配合简单的网枪（Net Gun），攻击者可以在 5-10 秒内将被「钓」过来的无人机物理捕获。

• 碰撞击毁：攻击者可以将无人机拉近到1米以内从而实现物理击毁

图4: FlyTrap攻击DJI Mini 4 Pro并使用网枪进行物理抓捕（示意）

图5: FlyTrap攻击DJI Mini 4 Pro并可对其进行物理击毁（示意）

图6: 第一人称视角FlyTrap攻击DJI Mini 4 Pro，单目标跟踪算法被对抗性雨伞图案误导

总体结论

FlyTrap 的研究意义在于：它揭示了AI控制的自主无人系统的脆弱性。神经网络长期以来被证明容易受到对抗样本的攻击。但是先前的工作主要集中在AI模型本身，而研究人员更加关注AI模型在真实世界中部署的安全性，如视觉模型在面对物理扰动时缺乏鲁棒性，基于视觉模型的自主系统将会被攻击者任意的操控。

研究人员认为，未来的无人机防御不能仅依赖于信号屏蔽器，而需要引入「防御性感知」——例如，通过多视角一致性校验或基于深度估计的辅助验证，来识别并过滤掉这种针对视觉逻辑的恶意攻击。

作为负责任的安全研究者，研究人员已在论文发表前，将此漏洞报告给大疆（DJI）和哈浮（HoverAir）两家无人机企业。

作者介绍

作者团队来自加州大学尔湾分校（UC Irvine）计算机科学系。该研究由博士生谢少远 （Shaoyuan Xie）主导，Alfred Chen教授指导。陈教授团队长期致力于自动驾驶、无人机、机器人及智能系统的攻防和物理安全性分析，成果常年发表于S&P, USENIX Security, CCS, NDSS，CVPR，ICCV，ICLR，AAAI，ICRA，IROS等顶级会议。

参考资料：

https://arxiv.org/pdf/2509.20362