主动推理与函数参数化：微分平坦性和平滑随机实现

主动推理与函数参数化：微分平坦性和平滑随机实现

Active Inference and Functional Parametrisation: Differential Flatness and Smooth Random Realisation

https://www.mdpi.com/1099-4300/28/1/87

摘要

本文是首次尝试将构造性非线性控制理论技术与主动推理相结合。具体而言，我们关注微分平坦性与用于控制场景的生成模型设计之间的关系。我们特别强调微分平坦系统的路径性质，这些性质继承自其关于相继时间导数的定义，并将此与主动推理中构建连续时间生成模型时所使用的运动广义坐标联系起来。为了阐明基本概念，我们借助眼动控制的例子。 关键词：微分平坦性；主动推理；周期性平滑随机函数；路径公式化

1. 引言

   主动推理是计算神经科学中最有前途的形式框架之一（如果不是最有前途的话），在许多领域有许多应用（参见，例如，[1] 及其中的参考文献）。最近突显路径公式化和贝叶斯力学的发展——在 [2,3] 等文献中开发——为解决感知、规划和控制的许多方面提供了一个有原则且自然的环境。我们在本文中将引用的核心思想是，（自然或人工）生物利用隐式生成世界模型来对世界进行推断并控制其感知的世界。后者对于我们当前的目的更为显著。事实上，人们可以将生成模型的推断（即感知）角色仅仅视为获得边缘似然紧界的一种方法——这是通过行动优化感官数据时关注的量。

我们在此考虑一些条件，满足这些条件可能有助于构建非常适合控制环境的生成模型。关键在于，这些条件与非线性控制中开发的构造性框架直接一致（参见，例如，[4–6]）。因此，我们试图展示该框架，特别是微分平坦性结构属性，如何在主动推理应用于控制问题中被利用。

许多有洞察力的工作已经发表在这个一般领域，既包括主动推理与经典控制方案之间的联系和区别，也包括部署主动推理进行控制（仅举几例，参见，例如，[7–14]）。

乍一看，微分平坦性和主动推理似乎是相距甚远的框架。前者旨在将轨迹跟踪误差降至零，而后者最小化惊喜或变分自由能；前者本质上是确定性的，而后者自然地处理随机波动。我们将看到，轨迹跟踪误差确实是一种惊喜形式，并且微分平坦性的定义本身可以适应平滑随机波动，这特别适合神经科学应用。最小化惊喜或差异主要有两种方法： ◦ 第一种是将问题设想为一个优化过程，如主动推理中（以及最优控制或模型预测控制中）；在这方面，目标是满足一个优化准则，从而导致目标差异的最小化。 ◦ 第二种是为目标推导一个确定性控制（行动）方案，并在线估计波动以主动补偿它们。 第一条路线是主动推理所采取的，而第二条支撑了微分平坦性方法。然而，我们将看到这两个框架并不像人们可能认为的那样不同。事实上，自由能最小化所强制的模式动态——当这些动态具备微分平坦性属性时——会产生一种函数参数化，将这两个方案紧密联系起来。此外，这种参数化似乎是研究神经科学和生物学中非线性动力学的一个最富有成果且充满希望的工具。

更广泛地说，在此，我们试图突出我们框架的一些潜在有用特征，该框架汲取了动态控制系统的结构属性，并采用典型的路径式且保持物理特性的公式化。特别是，我们将看到微分平坦性最显著的特征——即微分参数化——如何在主动推理框架内发挥作用。更具体地说，这种微分参数化除其他关系外，还诱导了一个从感知到行动的可逆映射。

我们在第 5 节中感兴趣的问题是这样一个问题：我们拥有一个生成模型，该模型描述了（我们相信）某个系统如何作为某些控制变量的函数随时间演变。给定该系统的一个期望状态或路径，我们的兴趣在于理解为了实现该期望配置，必须如何设置控制变量。更具体地说，我们感兴趣的是生成模型应具备哪些属性，以便推断出实现某些目标的控制变量。

本文结构如下。我们首先简要介绍用于控制的生成模型的概念，并介绍一些我们随后将引用的关键定义。其中几个定义结果依赖于可微波动，这促使我们考虑我们将采用的随机波动解释（即使用随机周期函数）。在概述了我们感兴趣的这类生成模型的基本结构后，我们考虑支撑主动推理的原则如何约束我们在设计这些模型并为其设定目标时可能做出的选择。我们利用主动推理中关键目标函数的形式（变分自由能和期望自由能）来考察优良生成模型的一些通用属性，并考虑是否可以通过诉诸微分平坦性的概念来激发这些属性。在这些理论考量之后，我们通过一个基于眼动控制的实例来演示这些想法如何在实践中运作。最后，我们讨论其中一些想法与主动推理之间的关系，特别关注运动广义坐标的概念，该概念继承自与微分平坦性类似的思想，但结果却扮演着截然不同的角色。

1. 初步概念：生成模型、行动、状态与波动选择

2.1. 生成模型

如上所述，我们要研究的是基于生成模型表述的控制问题。为了阐明这一点——稍后将对此进行更详细的展开——请考虑我们要如何控制眼睛的位置，以便在表面上实现特定的注视点或跟踪一个移动点。为了决定如何移动眼睛，我们的大脑可能会采用这样一个模型：其中行动变量（ u u），如眼外肌的收缩，可能会影响状态（ x x）的动力学，例如视线角度或注视点；并且在该模型中，这些状态会返回一些可观测数据（ y y）（例如视觉数据）。我们现在精确地概述生成模型这一概念。

这种公式化的动机有两点。首先，它允许人们根据分配给每一阶运动的波动之间的协方差来表达不同平滑度的噪声过程。其次，通过应用链式法则，它允许人们通过 x x 的广义坐标的梯度来确定 y y 的广义坐标关于 u u 的梯度。这在稍后将很重要，届时我们将考察变分自由能梯度的下降——通过改变 u u——如何被理解为类似于脊髓反射弧的实行，从而使本体感觉数据与预期的设定点保持一致。

寻找从感知到行动的映射的需求是主动推理（使用运动广义坐标）和应用于控制的微分平坦性共同的关键思想之一。有趣的是，两者都通过诉诸生成模型中变量的连续导数来解决这个问题。

因此，它对应于相应随机微分方程组的确定性部分。

2.2. 行动、输出与状态

我们在此给出行动（action，或控制输入）、输出、状态和实现（realisation）的精确定义，这些将在第 6.2 节中用到。这些定义在 [4] 中是在微分代数设定下给出的；另见 [15] 以获取基础性的探讨，其类似于下文（尽管是在确定性设定下陈述的）。让我们注意到，随后的定义，特别是微分平坦性定义，是在存在波动的情况下做出的。这并不是说我们失去了这一概念的确定性特征，因为这些扰动很可能是确定性函数。如果它们足够平滑，即在一定阶数内可微，它们也可能是随机的。

注意，行动 u ( t ) ，或控制输入，是使我们能够作用于系统以实现特定目标的函数。因此，动力学方程形成了一个未定的微分方程组，因为控制函数 u ( t ) 并非先验确定的。一旦控制变量被固定（即，用已知的时间函数代入），系统 (1) 就变成了确定的（即，可以求解或积分）。

输出 y ( t ) ) 是由模型生成的。如果智能体是生物，这些输出或观测可能代表来自感官的信号；如果是人工系统，则代表来自传感器的信号。更准确地说，我们有以下定义。

并且，局部地，在一般正则点的邻域内（即，Ψ关于 u 的雅可比矩阵是正则的点），我们可以使用隐函数定理求解 (8) 得到 u。在此以及随后的定义中，这将被称为局部地和一般地。

状态变量代表系统的瞬时记忆：一旦控制（行动）变量被确定，对状态变量（在时间 t）的了解使得预测未来状态（在时间 t + dt）成为可能。一个互补的表述如下：动态系统的状态是一组物理量，对这些量的指定（在没有外部激励的情况下）完全决定了系统的演化。更准确地说，我们有以下定义。

一个模型的实现（realisation）由该模型的一个状态和一个状态表示组成，正如下述定义所述。

2.3. 波动选择

上述定义的一个有趣之处在于，它们依赖于存在可微（即平滑或解析）的波动。这意味着我们需要仔细思考我们所说的波动是什么意思——这通常是随机动力系统研究中的一个重要主题。对于出现在上述生成模型中的波动
，可以有几种选择。这些包括以下内容：

◦ 伊藤（Itô）意义下的随机过程。

◦ 斯特拉托诺维奇（Stratonovich）意义下的随机过程。

◦ 非标准无穷小量（参见，例如，[16–18]）；

◦ 具有 Hölder 连续样本路径的随机过程，产生随机常微分方程（RODEs）（参见，例如，[19]）；

◦ 粗糙路径（参见，例如，[20]）；

◦ 随机傅里叶级数（RFS）（参见，例如，[21,22] 了解度量和收敛性质，以及黎曼流形 [23] 和局部紧群 [24] 上的扩展；另见 [25] 了解工程师的视角）。

让我们选择后者，因为它们可能提供一种方便的 形式的波动，并且可以证明随机常微分方程的解收敛于斯特拉托诺维奇随机微分方程的解（参见，例如，[25]，定理 5.1）。因此，我们可以考虑所谓的周期性平滑随机函数：

平滑随机函数在原子尺度上可能不是合适的选择，在那裡粒子的运动是高度 erratic（不规则/ erratic）的。然而，它们在细胞和介观尺度上变得特别合适，并且最可能在宏观尺度上是合适的，在这些尺度上，许多波动是由动力学系统产生的，这些系统演化的时间尺度比给定控制问题所考虑的时间尺度更快（参见 [1] 以及 Stratonovich 的开创性观察：“在用马尔可夫过程替换实际过程时必须格外小心，因为马尔可夫过程具有许多特殊特征，特别是，由于缺乏平滑性，它们不同于无线电工程中遇到的过程……无线电工程中实际遇到的任何随机过程都是解析的，且其所有导数以概率 1 是有限的”（[33]，第 122–124 页））。

备注 2（小波随机级数）。 秉承上述精神，人们可能会倾向于考虑小波随机级数，因为小波展开比其傅里叶对应物表现更好。然而，C. Esser, S. Jaffard 和 B. Vede 的近期工作 [34]（另见 [35]）表明需要谨慎；与傅里叶级数相比，几乎每个连续函数的随机化都会产生一个几乎必然无处局部有界的函数。

为了对状态、控制输入和输出的概念提供更具体的直观理解，让我们考虑一个简单但具有代表性的例子。

1. 自由能、平坦性与概念相似性

3.1. 自由能与期望自由能

人们可以将主动推理和微分平坦性指导的控制方案都理解为从详细描述行动对感知影响的模型中，识别从感知到行动的映射。平坦性依赖于行动与感知之间存在一个可逆映射，使得期望的感知轨迹唯一地确定产生它的行动。主动推理涉及行动的选择，这些行动使感知与生成模型隐含的感知数据边缘密度的众数保持一致。这是由感知数据决定的反射性行动所介导的。识别期望感知轨迹的边缘密度通常用期望自由能来指定——其作用是基于替代行动序列最小化期望与预期感知轨迹之间的 Kullback–Lieber 散度（也称为风险）的能力，来确定这些序列的先验合理性。

与上述概述的那种控制理论公式化一致，主动推理可以被公式化为优化一个模型的泛函，该模型将可控变量与某些可观测结果联系起来。具体而言，它依赖于变分自由能的优化（最小化），该自由能作为那些观测的惊喜或负对数边缘似然的上界。变分自由能可以通过几种方式来公式化，以便就能量（即惊喜）和散度（即相对熵）而言，量化从事主动推理的系统的性能：

上文将变分自由能 F F 表述为两个概率分布（针对离散状态）或密度（针对连续状态）的泛函。标记为 p 的密度是与我们的生成模型相关联的密度，而 q 代表一种密度，它被不同地称为识别密度、近似后验密度或变分密度。就本文的目的而言，假设变分密度已经被优化，使得 q ( x ( t ) ∣ u ( t ) ) = p ( x ( t ) ∣ y ( t ) , u ( t ) ) 。自由能的每种表述都依赖于生成模型的不同分解。当表示为联合密度时，自由能的最小化可以看作是一个约束最大熵问题。在分解为条件概率和边缘似然时，自由能被视为惊喜（surprise）的上界——即在给定生成模型下，观测的负对数边缘似然、贝叶斯模型证据或不可能性。最后，将生成模型分解为先验和似然，使我们在复杂度（即为了解释观测值，我们必须偏离先验信念多远）与我们解释感官输入的准确度之间取得平衡。

除此之外，人们还可以构建期望自由能，以突出其他形式的差异，这些差异与控制优化特别相关。当在路径式设定中显式地构建时，我们有

期望自由能通常用于规划，在这种情况下，我们可能会沿未来路径对该量进行积分，并为具有较低期望自由能的控制状态路径分配更高的概率。与后续讨论特别相关的是这样一个想法：通过在我们希望获得的观测路径上设置先验（此处通过对目标进行条件化来表示），期望自由能的优化涉及确定能够实现这些结果的控制路径集。

我们现在可以识别出至少三个不同的最优性方面，即惊喜、不充分性和差异：

上述自由能（ F 和 G ）可被视为所谓的全局李雅普诺夫函数（参见，例如，[38]），它们捕捉了最优控制中看到的这些方面（参见，例如，[39,40]）。在下文中，我们将主要关注 G ，特别是风险项，而其他方面留待未来的工作。更准确地说，我们感兴趣的是微分平坦性的概念是否与优化 F F 和 G 的生成模型的选择相一致。在微分平坦模型上推导轨迹跟踪行动律将被视为最小化了 G 中的上述风险（参见第 4.6 节）。

表 1 总结了到目前为止使用的符号，其中粗体符号表示向量。

3.2. 微分平坦性

3.2.1. 能控性

当人们希望操控一个系统时，一个普遍存在的概念是全局能控性，如下定义所述（参见，例如，[41]）。

读者可能会注意到，这个定义纯粹是描述性的：它不包含任何操控系统的构造性程序；仅通过阅读定义，不可能推断出应用于从 x 0 到 x 1 的控制律的形式。这是一种属于解的存在性类型的定义，而不是针对给定问题的解构造的定义。

读者可能会注意到，这个定义纯粹是描述性的，因为它不包含任何操控系统的构造性程序。此外，它在本质上是逐点的，而不是路径式的。事实上，这个定义没有说明任何关于连接初始状态到最终状态的路径。这条路径可能是不合理的，但仍然满足能控性要求。我们将在下一节看到一个更强的、在我们看来更有用的属性，即微分平坦性。

3.2.2. 通过观察与行动的动机

主动推理的前提是，智能体寻求最小化其关于周围环境的信念或期望与其经历的实际状态之间的惊喜或散度。原则上，这种最小化可以通过有效的信息收集和行动来实施，或者根植于智能体模型的结构本身（例如通过学习及进化来细化）。

我们将考察一种情况，其中必要的效率被编码在智能体模型结构本身中。更准确地说，感知和行动的必要性通过以下方式直接得到满足：

(Odsf) 观测差异结构性实现。状态 x 可以通过智能体能够直接知晓的内容（即，无需任何推断、反思或计算）来恢复，即 y 、 u 及其时间导数。这相当于系统是构造性可观测的。

(Adsf) 行动差异结构性实现。目标 y μ r 与行动 u 之间的链接——达到该目标所必需的——是直接的，因为行动是作为目标及其时间导数的函数给出的。这相当于系统是左可逆的。

一个如 (23) 的系统被称为关于 z 左可逆，如果行动 u 是 z 及其导数的函数（参见 [42] 的性质 5）。因此，对于一个动态系统要同时满足 (Odsf) 和 (Adsf)，需要有一个函数 ω ，使得状态 x= 和行动 u u都可以用 ω 及其时间导数来表示。这对应于微分平坦性 [5,43,44]，这是许多实际动态系统共有的属性（参见，例如，[45] 及其中的参考文献）。

3.2.3. 通过直接与逆向视角的动机

3.2.4. 形式化定义

让我们考虑本小节的核心定义，为了便于阅读，该定义是针对具有指定参数的系统陈述的（参见，例如，[15,42,45]；另见补充材料，文件 AIandFP-FlatnessAndSRR-HMTPKF-2026-SupplMaterial-v1.pdf，D 节，以及 [48] 关于一个 Python 库，版本 0.10.2）。

让我们注意到，微分平坦性的定义是在存在波动的情况下做出的。后者可能是确定性的或平滑的随机函数（即，在一定阶数内可微）。我们将考虑特别提供行动作为感知和波动路径泛函的关系。这使得人们能够精确且定量地研究每个扰动函数可能对行动施加的影响。此外，产生行动——分别为状态——作为传感器和波动路径函数的关系是一般的（generic），在这个意义上，它对于任何（足够平滑的）感知和波动路径都是有效的。在这个意义上，微分平坦性的概念对于生成模型的随机性是不可知的（agnostic）。后者可能是确定性的（如平均生成模型的情况），受制于确定性但未知的扰动，或受制于随机（且足够平滑）的波动。前述定义自然地提供了以下特征描述：

与主动推理的一个有趣的接触点是，期望自由能泛函的优化意味着模型不同分量（具体而言，状态和观测之间）的高度互信息。这意味着从行动，经由状态，到观测的精确映射。关键在于，同样的互信息意味着我们会期望观测关于状态以及可能的行动具有高度的信息量。在此类模型中从其他变量恢复变量子集的潜力在启发式上与微分平坦性概念兼容。此外，对微分独立性的需求与将变分自由能解释为约束最大熵推断的目标函数有着有趣的联系——在没有“能量”约束的情况下，最佳配置是在系统各分量之间没有相互约束下的最大熵配置。

3.2.5. 函数参数化

函数参数化性质是微分平坦性的一个本质特征，如果不是迄今为止最本质的特征的话。事实上，原始模型：

正是对这些泛函的研究可能会引起主动推理领域的极大兴趣。

3.3. 概念相似性

我们现在可以通过一个简单的具体例子看到，微分平坦性和自由能最小化都强制要求从感知输出到行动（即控制输入）的逆映射。

例 3（简单的通用例子；相似性）。回顾以下具有标量行动（控制）和传感器输出的简单例子：

我们现在看到，自由能的最小化强制要求从感知输出到行动的一个（至少是近似的）逆映射。还有一个进一步的关系我们稍后会回述，它基于运动广义坐标，我们在此尚未探讨，且与上述最终方程有关。由于行动影响状态的变化率，进而影响感官数据，当前感官数据关于行动的梯度为零。通过注意到自由能中不存在感官数据与行动众数共同出现的项，可以明确地看到这一点。然而，正如此处所强调的，可能存在一个与感官数据的时间导数（即运动广义坐标的高阶）相关的非零梯度。这对于主动推理下行动的反射性表述是必不可少的。

1. 参考文献、基于平坦性的轨迹跟踪以及感知和主动推理

4.1. 与线性的等价性

4.1.1. 微分平坦性刻画

微分平坦系统类——尽管它在实践中出现得相当频繁——就反馈等价类而言是最简单的非线性类。事实上，我们有如下命题。

命题 2。一个系统是平坦的，当且仅当它可通过内生反馈和坐标变换实现线性化。

如果一个动态反馈不包含任何外部动力学，则称其为内生的。更准确地说，以下成立。

如果存在一个可逆变换交换它们的轨迹，则称两个系统是等价的。

关键在于，前述线性化不是局部的而是全局的，且平坦系统类与线性系统类相去不远，因为它们通过内生反馈和坐标变换是等价的。

4.1.2. 动态扩展算法

该过程使人们能够确定一个 m m 元组 ω = ( ω 1 , … , ω m ) 是否为平坦输出，并获得线性化反馈。

第一阶段——弱 Brunovský 指数收集

因此，具有 n 个方程的原始模型 (36) 已经被精确地，即没有任何近似地，简化为具有 m 个方程的平坦输出动力学 (53)，其中在大多数实际情况下， m m 显著小于 n 。

4.2. 微分平坦性与能控性

读者可能会问的一个自然问题如下：微分平坦性属性何时是可验证的？换句话说，确保给定系统平坦性的可检验条件是什么？对于一般非线性系统，答案仍然是一个未解决的问题。对于受限系统类或反馈等价类，存在一些条件。例如，单输入系统和静态状态反馈等价的条件是已知的（参见补充材料，文件 AIandFP-FlatnessAndSRR-HMTPKF-2026-SupplMaterial-v1.pdf，C 节）。

有一些简单的类是平凡平坦的。在单输入系统的情况下，那些在反馈等价意义下呈如下级联形式的系统类，

4.3. 轨迹设计与规划

为了执行对预定义轨迹的跟踪，人们必须首先设计该轨迹，即后续行动的目标。在某些情况下，该轨迹的设计将显而易见，例如，让眼睛沿直线移动，或做圆周运动，或者在没有障碍物时让手臂抓取物体。在其他情况下，规划轨迹的任务可能高度复杂，特别是在智能体和某些障碍物都在移动的情况下。关于规划的文献浩如烟海，且已在机器人学等领域得到了广泛研究，它在其中扮演着至关重要的角色（参见，例如，[60]）。

4.4. 综合律计算：跟踪控制器

4.4.1. 通用行动跟踪律

有许多方法可以实现具有稳定性的轨迹跟踪，即确保行动中的差异 渐近趋于零，相应的文献也是浩如烟海（参见，例如，[41] 作为经典参考）。出于我们的目的，即满足推断指南，[41] 中描述的所有定律都是不合适的。这是因为它们不依赖于路径性质，更重要的是，它们不依赖于类基性质。相比之下，基于平坦性的框架本质上是路径式的，同时嵌入了智能体模型的物理机制。

已知动力学是平坦的，且具有平坦输出 ω ω ，它可以通过线性化内生反馈 (50) 转换为如下形式的线性动力学

备注 7（开环与无模型）。前述行动律被称为线性化反馈控制器，这是因为平坦输出动力学在第一步中被精确线性化了。另一种可能性——很可能更有成效——是使用以下控制律之一。第一种可能的选择是开环控制器，即通过使用（第 13 页的）(29b) 获得的行动律，其中 ω 被替换为 ω r （参考轨迹），并且该开环律辅以无模型控制器，秉承 [61] 的精神。其他可能的选择包括辅以无模型控制器的 (74)、ADRC（自抗扰控制）[62,63] 或滑模控制 [64,65]。

例 5（简单的通用例子；跟踪）。再次考虑以下具有标量行动（控制）和传感器输出的简单例子：

该控制律假设完全知晓波动
。当这种知晓不可用时，我们必须基于一个确定性生成模型（这是智能体所知道的全部）来推导控制律，估计这些波动，并对它们进行补偿（例如，参见 [66] 关于所谓的无模型控制，或 [62,65] 关于其他方案）。

4.4.2. 眼动示例

例 6（眼动跟踪）。再次考虑例 4 及其生成模型：

4.5. 主动推理

主动推理的原理随后可表述为：在先验信念（即行动将使期望自由能极值化）下，通过行动和感知两者对自由能进行极值化（参见，例如，[2] 的图 7）：

上述极值化可以表述为梯度下降的解。

4.6. 与基于平坦性跟踪的联系

主动推理的必要性在于惊喜的最小化，即期望（或信念）与实际值之间的差异。鉴于第 3.1 节中对变分自由能的前述分解，我们在总结时突出了主动推理与非线性控制之间的联系。考虑智能体的动力学
。动态反馈（参见 (48)）

1. 预测作为主动推理与微分平坦性之间的联系

5.1. 延迟与 δ δ -平坦性

在源自神经科学或生理学的实际系统中，感知和行动环节均存在延迟。尽管这一点至关重要，但在前几节中尚未予以考虑。事实上，无延迟模型与包含延迟的模型之间存在根本性的差异；其中最显著的差异在于延迟系统所具有的无限维特性。为了更精确地说明，请考虑如下形式的延迟微分方程：

非正式地说， δ -平坦系统是一个延迟微分方程系统，当允许存在延迟时，它是微分平坦的。让我们看看这个概念在一个具体例子中是如何展开的。

5.2. 轨迹跟踪与预测器

当人们希望进行轨迹跟踪时，如 (99) 中所示，传感器输出和/或行动控制中存在的延迟将使得预测部分或全部隐藏状态或传感器输出成为必要。请结合前面的例子考虑这一点。

例 9。跟踪控制方案 (82) 现在被转换为

预测器状态 x ( t ) 由隐式关系 (110b) 给出，可以通过针对右侧积分的各种近似策略来求解该关系。然后，该简单示例的预测控制律应按如下方式实施。

例 10。跟踪控制方案 (106a) 现在被转换为

5.3. 广义坐标

在主动推理框架中，所谓的“均值的运动”与“运动的均值”之间存在着至关重要的区别。为了阐明这一区别，我们首先需要广义坐标的概念，它是通过线性化微分获得的。通常，代数中的微分运算 ∂ 被定义为这样一种运算：对于任何变量（此处为时间函数），链式法则都得到满足：

这种近似，当有效时，使人们能够相当容易地解决所谓的随机实现问题（回想一下，实现是一个涉及隐藏状态的微分方程，该隐藏状态是从输入/行动—输出/传感器微分方程获得的——参见，例如，定义 6；关于随机实现问题，参见，例如，[77,78]）。当在拉普拉斯近似下研究广义贝叶斯滤波时，这种近似也是合理的（参见，例如，[32]，第 3.3.4 和 3.3.5 小节）。

广义坐标可以被视为一个随当前点移动的坐标框架。在此视角下，它与人们可以应用于非线性系统的一形式变换相关联（参见，例如，[79,80]）；后者比此处使用的内生动态反馈更为一般。它还与 Cartan 移动标架方法相关联（参见，例如，[81]）。

1. 结论、局限性与未来方向

我们通过主动推理的视角考察了微分平坦性的效用（参见，例如，[1]）。这种效用已根据“作为推断的控制”进行了详细说明。具体而言，人们可能会得出结论，如果支撑主动推理或作为推断的控制的生成模型可以局限于微分平坦模型类，我们将获得一种极其高效的控制理论方案。因此，这项工作通过关注行动轨迹和各种差异的最小化（由变分自由能和期望自由能提供），使得从控制理论视角看待作为推断的控制的主动推理成为可能。 从主动推理的角度来看，这项工作是对微分平坦性及其与人们可能考虑和致力于的生成模型类型的特别相关性的入门。关键在于，本文是第一次（初步的）尝试在连续状态空间模型的设定中考虑期望自由能。 除了它们在开发控制系统中的作用外，人们还可以考虑本文概述框架的其他应用。一个领域是计算精神病学领域（参见，例如，[82–84]），在那里人们可以开发决策任务的生成模型——用主动推理解决——并用这些来理解精神病理学的计算机制。此类模型通常根据离散替代方案之间的选择来公式化。然而，正如我们的审稿人所指出的，微分平坦性涉及连续的、可微的状态空间。虽然计算精神病学的许多应用确实关注离散概率，但精神病学中有一些重要领域依赖于微分平坦性论述中所解决的那种连续变量。这些包括与精神病障碍中的紧张症相关的改变的运动动力学（参见，例如，[85]）和精神分裂症中改变的平滑追踪眼动（参见，例如，[86,87]）。 由于篇幅限制，这里有几个相关的概念无法在此讨论。这些包括刘维尔（Liouvillian）方面（参见 [88–90] 关于自动控制的相关内容及 [91,92] 关于在下丘脑 - 垂体 - 肾上腺轴模型和 Wilson–Cowan 种群网络设定中对此属性的考察），以及带有无模型控制的鲁棒跟踪（参见 [66]）。特别是刘维尔方面，当模型不是微分平坦时，提供了扩展平坦性概念的机会。未来的工作将考虑这些以及与能量传输和能控性相关的其他问题（参见，例如，[93,94] 关于相应问题的公式化）和变分函数传输。这些涉及根据显著特征来刻画模型，并理解重参数化如何可能变换这些特征。 我们讨论以下几点，强调当前处理的局限性并勾勒一些未来方向。

1. 广义坐标，其中一些局限性——由于其近似特性——可以通过平滑随机实现来避免。
2. 平坦性的扩展：刘维尔特性以处理模型不是微分平坦的情况。
3. 观测器和代数估计器，以从传感器输出估计隐藏状态。
4. 鲁棒控制律综合，以应对生成模型下的不确定性，包括波动。
5. 约束满足，其中约束被施加于隐藏状态、行动及其时间导数。
6. 特征传输：感兴趣的特征如何；例如，能量（L2 范数）、斜率或曲率等，如何通过函数参数化进行变换。

6.1. 广义坐标局限性

1. 第三，考虑最流行的糖尿病模型之一，即伯格曼（Bergman）最小模型（参见，例如，[95,96]）：

6.2. 平滑随机实现

这种类型微分的使用也与随机实现问题相关联（参见，例如，[10]，4.(c).(i)，第 15 页），这在一般情况下可能相当复杂。相比之下，微分平坦性属性通过平坦输出产生一个弱 Brunovský 规范形（参见 [97]，第 4.1 小节和定义 4.3）。这种规范形产生了所谓的平坦输出动力学，它很容易给出一个平滑随机实现，正如下面的命题所述。

当前框架可以被视为 [32] 第 4.1 小节“通过广义坐标的随机控制”段落中未来方向的一个充分提议。它还以一种相当简单的方式嵌入了非平稳平滑随机信号（参见 [32] 中的备注 4.1.1）。

6.3. 其他未来方向

我们现在简要考虑由于篇幅限制未能在本文中展开的未来方向。

6.3.1. 平坦性的扩展：刘维尔（Liouvillian）特性

尽管许多实际系统模型是微分平坦的，但在特定类别中，有些并非如此；对于许多生物学和神经科学种群模型来说，情况尤其如此。幸运的是，另一类更广泛的系统共享一种类似的属性，即所谓的刘维尔（Liouvillian）系统。刘维尔系统可以被视为平坦系统的扩展 [88,89,98]。后者最显著的性质是，系统的所有状态和控制变量都可以直接表达——无需积分任何微分方程——用平坦输出及其有限数量的时间导数来表示。所谓的刘维尔系统共享类似的性质，但为了推导刘维尔系统的轨迹，我们还需要积分少量微分方程，其解是解析已知的。由此可知，基于平坦性的控制方法可以扩展到求解有限数量的微分方程。

6.3.2. 观测器与代数估计器

6.3.3. 鲁棒控制律综合

当平均生成模型是对真实系统的粗略近似时，波动的累积效应需要在控制方案中得到补偿。所谓的鲁棒控制律旨在实现控制目标，例如轨迹跟踪，尽管存在波动、扰动和未建模动力学（即模型失配）。这些可以通过所谓的无模型控制方案来实现，其中波动的累积效应是在线估计并即时补偿的（参见，例如，[66]）。最近的 HEOL 方案（参见 [103]）通过略有不同的技术实现了相同的目标。虽然无模型控制通常与基于标称（或平均生成）模型综合的基于平坦性的反馈跟踪控制律相关联，但 HEOL 使用了一种基于开环平坦性的方案以及与简化平坦系统相关联的切线系统（或变分系统），即简化平坦系统参考轨迹周围的线性化系统。其他实例包括滑模控制和自抗扰控制（参见，例如，[62,64,65]）。

6.3.4. 约束满足

在实际应用中，动力系统总是受到约束：对状态的约束（例如，机器人的构型空间不是整个空间）和对行动的约束（例如，肌肉具有有限的功率）。这些可以通过当前框架中基于平坦输出轨迹优化的规划来处理（参见，例如，[104–106]）。一个有前景的框架是无模型预测控制（MFPC，参见 [107]），它混合了流行的预测控制（参见，例如，[108,109]）和上述的无模型控制。

6.3.5. 特征传输

与微分平坦性相关的函数参数化的另一个有趣特性是特征传输。这包括几何特征的传输：平坦输出轨迹的曲率如何与行动的曲率相关联；换句话说，从将行动表示为平坦输出及其导数的函数的关系中，推导出行动的曲率作为平坦输出曲率及其时间导数的函数。

原文链接：https://www.mdpi.com/1099-4300/28/1/87