12毫秒暴露自动驾驶致命缺陷，北航新研究｜TPAMI2025

DynamicPAE团队 投稿
量子位 | 公众号 QbitAI

近日，部分L3级自动驾驶车型已经通过工信部批准正式上路，这标志着这我国自动驾驶产业的新阶段。

然而，假设你正乘坐自动驾驶汽车在高速上行驶，前方道路上出现了一个具有看似正常但实则为恶意生成纹理外观的障碍物，而你的自动驾驶车辆感知系统可能并未准确识别，可能因错判、漏判引发严重事故。

这类对智能系统具有诱导性且可以在真实世界中复现的纹理，正是物理对抗样本（PAE， Physical Adversarial Examples）。

无论是为发动PAE攻击还是防范PAE攻击，生成足够的PAE样本都至关重要。

目前已有不少方法研究如何生成PAE，但它们往往以静态场景为前提，无法有效应对动态变化（环境、如光、物体运动等）的现实环境。因此，如何实时生成适应不同场景的物理对抗样本，成为智能安全领域亟待解决的问题。

北京航空航天大学等机构提出了DynamicPAE框架，开创性地实现了实时场景感知的动态PAE生成方法。

该方法通过对抗训练中的反馈问题，结合残差引导的对抗模式探索和场景对齐技术，实现了PAE在动态场景中的毫秒级生成。该工作被IEEE Transactions on Pattern Analysis and Machine Intelligence 2025录用

DynamicPAE框架聚焦于解决实时生成物理对抗样本面临的多维度挑战。该方法通过对抗训练中的反馈问题，结合残差引导的对抗模式探索和场景对齐技术，实现了PAE在动态场景中的高效生成和优化。

研究面临两大核心挑战：

1.对抗样本训练中噪声阻碍了对场景相关PAE的有效探索，进一步导致训练退化问题，现有生成器难以稳定生成高质量的对抗样本；

2.数字域的对抗样本生成与现实场景对接较为困难，生成器训练环境与现实攻击者的观察信息，导致生成的PAE在实际应用中的适用性与隐蔽性不一致，进而影响了其在复杂环境中的有效性和稳定性。

DynamicPAE框架通过残差引导对抗模式探索、分布匹配攻击场景对齐和目标加权模块的设计，有效应对上述挑战，使得PAE生成过程更加稳定，且能够实时适应不同场景。

该框架在多个物理攻击场景中表现出显著的性能提升，在真实环境中的自动驾驶安全测试、物理对抗攻击等领域展现了广泛的应用潜力。

DynamicPAE框架

△图1 环境感知的物理世界对抗样本实时生成框架

DynamicPAE框架如图1所示，主要包括残差驱动的对抗模式探索方法与分布匹配的对抗场景对齐方法，解决了端到端训练动态对抗样本生成器时的模式易坍缩、环境难适配问题。论文首先将动态物理对抗样本生成问题定义为：

即寻找能够有效建模观察到的物理上下文PX∈p，与物理对抗样本δ间映射的生成器G。

其中Yadv是通过目标模型F定义的成功攻击的范围，⊕为攻击注入操作，它利用物理对抗样本δ=G(PX)作为输入，更新世界状态X∈x。

1. 对抗模式的探索引导：

研究发现物理对抗样本动态生成器的优化过程存在训练退化问题。为刻画该问题，据生成模型的信息处理过程，提出有限信息反馈模型，建模物理对抗样本δ与场景X关联的混沌性质，定义反馈信息比为：

其中，δ表示对抗样本，∇δL对抗样本空间上对抗损失的梯度，刻画单次优化所能得到的目标模型的反馈，Z表示在信息瓶颈理论下生成模型的对场景的关键编码。

生成模型的信息处理过程为X→Z→δ，I与H分别表示互信息与香农熵。

在引入物理环境不确定性的条件下，对抗损失梯度反馈信噪比低，即Information Ratio较低，阻碍了优化算法对动态对抗样本空间的探索，使得优化得到的生成器将不同的X映射到高度相近的δ，导致动态性失效。

为解决该问题，研究通过重新定义训练任务来绕过反馈信息匮乏的困难。

具体而言，建立辅助任务协同优化的范式，以λ∈[0,1]为集成比例，引入新的高信噪比“残差”任务，定义集成损失lλ残差任务损失LR条和件生成目标δλ和残差比例任务编码Zλ，并通过以λ为条件生成的方式修改损失函数以提高任务的解耦性和生成效果。

具体地，定义损失函数为：

使得在该任务的反馈信息比显著高于原有动态对抗样本训练任务，即：

从对抗样本的生成空间的角度来看，残差任务的目标是鼓励探索全局空间。

受扩散模型中为学习整个梯度场而构建去噪任务的启发，论文将辅助残差任务R(LR:=LInv)定义为局部重建任务，因为它与模型输入PX直接相关，并同时可让模型学习到如何生成不同强度的攻击，使样本具有更灵活的隐蔽性。

具体来说，采用均方误差MSE作为客观质量指标，LPIPS作为主观质量指标，并将它们整合为：

2. 分布匹配的攻击场景对齐

如何确保生成的PAE在现实场景中有效？

为了让生成的PAE能够在复杂多变的现实场景中发挥作用，DynamicPAE提出了分布匹配的攻击场景对齐方法。该方法包含两个关键模块：

1. 条件不确定性对齐数据模块：通过创建条件概率模型，生成攻击注入过程的参数和攻击者的观察，使训练环境与攻击者在现实世界中的不完整观察对齐，从而平衡了攻击的普遍性和性能。

2. 偏度对齐目标重加权模块：则利用偏度统计量自动重新加权损失，实现对不同攻击目标的一致隐身控制，同时进一步实现残差任务训练过程中“探索”与“利用”的平衡。

以对抗补丁生成为例。根据条件不确定性对齐原则，基于采集到的数据X建立训练数据概率图模型：

△训练数据概率图模型

其中，S和s’表示生成过程中注入的随机因素，θ表示对抗补丁的模拟放置参数，PX表示动态生成模型对于场景的观测，从而保障训练环境与真实环境一致。

对于残差任务引导的训练过程，重建损失“LInv”的采样强度配比代表了对生成器多样化纹理生成“探索”增强的能力，而攻击损失“LAtk”的采样强度代表了对于对抗补丁针对性生成的局部模式“利用”的能力。

进一步地，尽管模型以λ为输入，测试时相同λ下模型攻击性-隐蔽性权衡的具体行为也受损失项整体强度影响。

为建立攻击目标权重配比自适应调控机制，并针对原残差任务中的LInv进行调节，设定重构任务的损失强度α和新损失L’Inv，根据损失的偏度统计量作为指示器，定义新损失项L’Inv及其调节方程为：

可证明调控过程在合理条件下收敛，从而保障在对抗度量测试场景下，动态对抗生成模型在不同目标模型、不同任务场景下的一致攻击行为，保障度量的一致性。α控制器的示意图如下图所示。

△图2 损失分布的闭环控制示意图

实验结果

在多种数字和物理环境中，DynamicPAE相较于传统PAE生成方法展现了优异的攻击性能。

在使用COCO和Inria数据集进行目标检测实验时，DynamicPAE实现了显著的性能提升，尤其在面对DETR等强大模型时，平均AP（平均精度）下降幅度为58.8%，达到了2.07倍的攻击成功率提升。

DynamicPAE在推断速度上表现优异。

实验数据显示，在NVIDIA A40 GPU上，DynamicPAE生成单张对抗样本的平均耗时仅为12毫秒，相比于传统的PGD迭代攻击方法，速度提升了2000倍以上，且攻击性更优。

这一特性使得DynamicPAE能够轻松满足自动驾驶等场景对物理世界攻击实时性的严苛要求，真正实现了动态、自适应的物理对抗。

△图3 DynamicPAE与其他方法对比

△图 4 DynamicPAE与基线方法对比

上图可视化了一些目标模型的补丁生成结果。左侧是没有残差引导训练时，可以观察到所有四个目标模型生成的补丁都是相同的。

残差引导训练在攻击每个模型时成功找到了多样化的解决方案。尽管探索到的对抗样本模式本身的多样性有限，但其摆脱退化和单一解的行为是一致的。

△图5 DynamicPAE的机制分析

为表明DynamicPAE框架中样本不同是基于攻击者的观察生成的，而不是随机生成的，研究进一步分析了训练好的生成器的潜在表征Z。

首先根据物理对抗样本的风格对潜在表征进行标注，然后应用LDA进行降维。图5中，子图a表明模型成功学习到了样本的线性降维表征。研究进一步在降维空间中进行K近邻搜索，并在子图b中可视化了相应的物理上下文。

结果表明，KNN搜索结果在某些特征上（包括人类行为、服装的色彩、暴露的身体部位等）与查询具有显著相似性，这表明DynamicPAE通过端到端的训练，确实捕捉到了攻击目标（如行人检测器）的脆弱性特征与物理场景上下文之间的深层关联，从而实现了场景感知的生成能力

△图6 动态物理环境下的适应能力

为了验证模型在真实物理世界中的有效性，研究构建了包含光照变化、不同视角及屏幕反射等干扰的物理测试环境。

实验结果表明，DynamicPAE生成的对抗样本并非静态不变，而是能够根据环境光照和场景内容的改变进行动态调整

在视频分析实验中，面对不断变化的背景和移动的人物，DynamicPAE能够实时输出与当前帧最匹配的对抗纹理，保持攻击的持续有效性。相比于传统静态贴片在光照剧烈变化下攻击性能大幅下降的情况，DynamicPAE展现出了卓越的环境适应能力和鲁棒性

论文同时验证了DynamicPAE在黑盒迁移攻击、3D仿真环境泛化攻击、人脸识别分类攻击的有效性，验证了技术框架对无人驾驶对抗扰动测试生成场景的适配能力，同时消融实验进一步分析了各模块的影响，验证了所提方法的实际有效性。

在未来，相关工作可结合3D仿真模型生成和强化学习等技术，进一步完善动态对抗的生成能力。

论文链接：https://ieeexplore.ieee.org/document/11219170