量化稳定性与目标混淆之间的权衡

Quantifying Trade-Offs Between Stability and Goal-Obfuscation∗

量化稳定性与目标混淆之间的权衡

https://arxiv.org/pdf/2605.06630

摘要

对抗环境下的安全关键型自主控制不仅要求跟踪误差信号具备Lyapunov稳定性。对于运行在线贝叶斯推断的被动观察者而言，执行目标导向轨迹的智能体具有内在的意图可读性（legibility），因为任何Lyapunov吸引域的收缩动力学会导致观察者对潜在意图参数的后验信念不断集中。本文将连续状态空间上的意图隐私问题，首次形式化为一个联合控制问题，该问题同时作用于物理状态与假设观察者的潜在信念状态。

鉴于主要挑战集中于信念状态动力学的分析，本文假设智能体动力学较为简单，由微分包含建模。即智能体为全驱动系统，其控制输入受到有界未知扰动的影响。观察者的意图推断过程被建模为一个离散时间随机动力系统，其状态演化于Rao-Blackwellized粒子滤波器（RBPF）的信念状态空间之上，该滤波器基于大量可能的智能体目标随机样本进行推理。智能体的控制输入被建模为分段常数信号，其跳变时刻与RBPF的更新时刻同步。基于先前的意图推断框架及其在线可计算的、基于KL散度的信息泄漏度量，本文施加了一项隐私约束，即利用概率离散时间控制屏障函数（PCBFs），以高概率保证信息泄漏维持在预设阈值之上。一项关键技术贡献在于，分别针对RBPF的贝叶斯更新步骤与重采样步骤推导了独立的PCBF结论，从而不仅获得了针对完整更新过程的PCBF结果，还实现了隐私约束与智能体任务侧跟踪要求的融合。最后，通过考察隐私约束与跟踪包络（tracking envelope）之间的耦合关系，进行了联合可行性分析。

1 引言

控制Lyapunov函数（CLF）与控制屏障函数（CBF）为通过在线凸规划综合实时安全关键型控制器提供了标准机制 [Ames et al., 2016, 2019]。在该范式下，控制器在每个时间步仅受最小扰动，使得生成的控制输入在驱动Lyapunov函数趋于零的同时保持屏障函数非负，从而通过求解单一二次规划（QP）同时获得稳定性与约束满足的联合保证 [Ames et al., 2016]。该框架已被广泛应用于足式机器人运动控制、自适应巡航控制以及多机器人协同等诸多领域 [Ames et al., 2019]。

基于Lyapunov的控制器设计背后隐含着一个假设：闭环稳定性无疑是一种理想的系统特性。从经典理论来看，基于Lyapunov的设计旨在构造具有法向双曲不变流形（NHIM）结构的闭环动力学 [Palmer, 1995]。在该结构中，吸引域可分解为“目标参数化吸引子”与“法向纤维”的直积，且系统动力学在法向纤维上呈现收缩特性。因此，若外部观察者已知（或可推断出）该吸引子结构所对应的有限维参数向量，则随着智能体向目标收敛，闭环轨迹的收缩几何特性将导致观察者对这些参数的后验分布以不断加快的速度趋于集中。对于目标导向型智能体而言，关键的潜在参数包括目标位置、目标半径及期望到达时间。而任务最优轨迹恰恰最密集地分布在吸引流形附近，这一事实进一步加剧了系统的意图可读性问题。Dragan等人[2013]的研究表明，优化任务代价的轨迹具有内在的可读性：贝叶斯观察者仅需短暂的观测窗口即可快速集中对智能体真实目标的后验信念；若要降低此种可读性，智能体必须有意识地偏离任务最优轨迹。相关互补研究将观察者的推断问题建模为逆向规划 [Ramírez and Geffner, 2009; Baker et al., 2009] 或最大熵逆向强化学习 [Ziebart et al., 2008]，进一步证实：在Lyapunov方法最为有效的系统运行区间内，目标稳定轨迹恰恰蕴含最丰富的信息。

先前的研究 [Wang et al., 2025b] 针对本文所研究类型的连续状态系统，对该可读性问题进行了形式化建模与量化分析。该研究中，对手对智能体意图进行建模，并维护 N ≫ 0 个加权粒子，通过Rao-Blackwellized粒子滤波器（RBPF）从含噪位置测量中递归估计智能体意图。结果表明，在标称条件下对手能够迅速还原智能体的真实意图，这凸显了对于任何采用基于Lyapunov控制的智能体而言，可读性问题在实际应用中具有严峻的威胁。

本文旨在解答 [Wang et al., 2025b] 所遗留的控制综合问题：面对一个运行RBPF推断框架的强大对手，智能体应如何设计其控制输入，才能在延缓推断集中的同时，兼顾任务的稳定性与跟踪要求？

本文贡献。 本文的主要贡献如下： 首先，将意图隐私任务形式化为一个分段常数（间歇性驱动）控制问题。该问题直接作用于由RBPF权重更新（并扩展至RBPF状态估计变量）所诱导的概率单纯形上的潜在信念动力学，而非将其作为物理状态空间的辅助优化目标。

其次，推导了针对RBPF更新周期的有限时域概率隐私保证。通过分析重采样步骤所面临的技术难点被成功克服，其关键在于将RBPF更新视为信念状态空间上两个概率独立的随机变换之复合：即贝叶斯更新步骤与重采样步骤。针对上述每一变换，分别推导了信息泄漏增量的概率上界，并依据 [Mestres et al., 2025] 所建立的PCBF框架，将其融合为适用于完整RBPF更新过程的PCBF结论。值得注意的是，重采样变换的概率界完全独立于系统动力学与控制输入，这为未来将本方法扩展至更复杂的智能体动力学模型提供了研究动机。

第三，开展了联合可行性分析。通过构造两类控制输入（一类用于目标混淆，另一类用于优化跟踪）之间的仿射插值，深入考察了隐私约束与跟踪约束之间的耦合关系。约束间的冲突被显式化为对插值参数的不等式约束。分析表明，当预设的跟踪误差包络限制不过于严苛时，系统可实现联合可行。未来仍需深入探究RBPF的收敛特性，以期建立严格的理论结论：阐明在强制要求跟踪误差具备实用稳定性（practical stability）的条件下，目标混淆任务将不可避免地面临不可行性。

2 背景

本文主要基于两个来源的进展。2.1节回顾了 Wang 等人 [2025b] 的工作，其中引入了用于意图推断的 RBPF（Rao-Blackwellized 粒子滤波器）。2.2节回顾了 Mestres 等人 [2025] 关于概率屏障函数的必要结果。

2.1 意图推断

本文的出发点是定理1 所产生的下界是假设对手（putative adversary）的 RBPF 信息状态的与时间无关函数这一关键观察。因此，这些函数可以被用作控制屏障函数。

2.2 概率安全性与 PCBF

考虑一个离散时间受控随机系统

3 问题表述

为简化起见，假设智能体是全驱动的，但受到有界扰动的影响，

4 概率信息安全性界

本节将 PCBF 框架应用于 RBPF 信念状态更新，以获得有限时域的概率隐私保证。

4.1 信息状态动力学

4.2 贝叶斯更新屏障

4.3 重采样更新屏障

4.4 组合PCBF界

引理1与引理2均以高概率为屏障变化量（13）确立了加法下界，而非PCBF条件（7）所要求的乘法形式。乘法形式可通过将状态限制在下水平集（sublevel set）内予以恢复。

5 讨论：联合可行性

6 结论

本文探讨了目标导向型智能体在存在被动对手情况下的意图隐私问题，该对手运行在线贝叶斯推断算法以推断智能体的目标。本文并未修改任务或将隐私视为辅助惩罚项，而是将意图隐私形式化为一个控制问题，该问题在由潜在信念状态扩展的状态空间上具有分段常数驱动特性；同时，将 RBPF 信息状态
视为受控马尔可夫过程，并将观察者基于 KL 散度的信息泄漏作为待调节量。

主要的技术贡献是一个组合概率控制屏障函数（PCBF）结果，它为完整的 RBPF 更新周期提供了有限时域的概率隐私保证。贝叶斯更新步骤通过将观测 y y 控制向粒子云的切比雪夫中心，从而产生了屏障增量的一个加法下界。重采样步骤通过将霍夫丁不等式（Höffding’s inequality）应用于重新初始化粒子的随机贡献，产生了第二个加法下界。这两个下界通过并界（union bound）论证以乘法方式组合，从而得出了一个覆盖整个更新周期且失效概率为 δ f 的单一 PCBF 条件。

一项补充性贡献揭示了任务中的混淆部分与其跟踪部分之间的张力。研究表明，在存在严格的跟踪包络约束的情况下，智能体状态的 RBPF 表示所具有的巨大不确定性可能导致联合任务不可行。同时，如果放宽包络约束，可行性得以恢复，且这种关系已被量化。

仍有几个方向有待未来研究，其中最重要的是获得能够刻画 RBPF 意图滤波框架收敛性（及收敛速率）的收敛性结果。此类结果与跟踪问题和混淆问题的联合可行性密不可分（见引理 1），特别是在建立对有效混淆所允许的跟踪包络自然增长率的理解方面。为了进行验证，有必要开展进一步的数值仿真与硬件实验开发工作。

原文链接： https://arxiv.org/pdf/2605.06630