无细致平衡条件的马尔可夫过程的动力学分解

Dynamical Decomposition of Markov Processes without Detailed Balance *

无细致平衡条件下马尔可夫过程的动态分解

DOI: 10.1088/0256-307X/30/7/070201

我们提出一种动力学分解视角来处理不满足细致平衡的马尔可夫过程。本工作推广了此前针对连续状态马尔可夫过程的分解框架，并明确给出了其在离散状态情形下的对应形式。我们通过研究类相对熵函数的演化，考察了各分解部分在动力学中所起的作用。我们发现，一种特殊的相对熵定义可将细致平衡部分与破坏细致平衡部分所扮演的动力学角色统一起来。该相对熵的演化自然地给出了过程收敛性的上界（或约束）。

马尔可夫过程长期以来已被广泛应用于物理学中。[1] 在采样任务中，人们通常首先强制施加细致平衡条件。然而，目前将马尔可夫过程用于建模生物过程的趋势日益增长——从复杂网络[2−4]到演化动力学[5,6]，以及其他诸多领域[7,8]。在这些过程中，细致平衡条件通常并不成立。面对这一困难，已有研究尝试对平稳马尔可夫过程进行分解，以理解其内在结构。[9,10]

近期，一种针对连续状态空间中连续时间马尔可夫过程的分解视角被提出，用以揭示其动力学特性。[11−14] 该视角将马尔可夫过程的结构分解为三个相互独立的部分：势函数、对称扩散矩阵与反对称矩阵。这一视角在局部与全局层面均揭示了系统的动力学行为，并建立了确定性动力学与随机动力学之间的直接对应关系。[15,16]

在本快报中，我们推广了上述分解方法，提出一个适用于马尔可夫过程的统一框架。该框架在连续状态与离散状态情形下提取出一致的结构，为在不同粗粒化层次上、结合离散与连续马尔可夫过程建模多尺度系统提供了新思路。此外，通过一种特殊的相对基尼熵（relative Gini entropy）定义，我们得以在离散与连续状态情形下统一刻画对称（满足细致平衡）部分与反对称（破坏细致平衡）部分的动力学作用。相对基尼熵的演化自然地为过程的收敛性提供了界限约束。

接下来，我们将首先介绍马尔可夫过程的分解视角。

随后，我们将研究类相对熵函数的演化。
一个具有唯一平稳分布 π π 的一般马尔可夫过程，可形式化为如下方程：

平稳分布可通过求解 Q π = 0 得到。由于 Q 不是满秩矩阵，该解恒存在，且为Q 的（对应零特征值的）特征向量。当 Q仅有唯一一个零特征值时，该解唯一；此外，存在图论算法可精确计算该平稳分布。[10]

主方程（6）的分解可形式化地通过以下步骤给出：

连续状态情形下的分解由本文作者之一发现，并经一系列工作逐步发展完善。[11−13,15,16,18] 该分解可通过如下散度形式的福克–普朗克方程（Fokker–Planck equation）予以展示：

可以验证， S S 与 A A 分别满足对称性与反对称性。

上述分解为离散状态与连续状态的马尔可夫过程提供了一个统一的视角。二者之间的一致性，或可为随机积分类型的定义提供一种自然途径——即通过给出一个无歧义的平衡分布来实现。

基于这一分解视角，我们现在借助类熵函数来研究马尔可夫过程的动力学行为。其中最著名的熵定义是源于信息论与统计物理的香农熵（Shannon entropy）：[19,20]

然而，香农熵在马尔可夫过程中通常并不具有单调演化性质。因此，若将最大熵原理应用于一般过程时仍采用这一熵定义，很可能导致不自洽的结论。另一方面，若我们纳入平稳分布并引入 相对熵 （relative entropy）的定义，则其单调性可得以保持。对于具有 n n 个状态的离散状态情形，相对 f f 熵定义如下：

其中 f f 是一个凸函数；不同的 f f 选取对应不同的熵定义，最常见的是相对香农熵（relative Shannon entropy）。

相对熵的单调性在文献中已有论述。[21] 图1作为示例，阐明了其单调性得以成立的内在原因：图中不同颜色代表从不同初始分布出发的演化轨迹。图1(a) 比较了非单调演化的香农熵与单调演化的相对香农熵；图1(b) 与图1(c) 则进一步解释了(a)中现象的成因：非均匀的平稳分布使得熵的极值点偏离中心位置，从而导致香农熵有时上升、有时下降。值得注意的是，图1(b)与(c)中不同轨迹的交汇点即为平稳态。

这种单调性表明，相对熵是刻画马尔可夫过程动力学行为的一个优良候选量。文献[13]已指出，在连续状态情形下，反对称的（即破坏细致平衡的）部分对相对香农熵的时间导数没有贡献；事实上，可进一步证明：所有形式的相对熵均具备这一性质。

然而，与连续状态情形不同，在离散状态情形下，仅当采用某种特殊的相对熵定义时，才能将对称部分与反对称部分的动力学效应明确分离。这种特殊的相对熵被称为相对基尼熵（relative Gini entropy），它对应于取，其定义如下：

需注意，基尼熵（Gini entropy）[22] 的定义是广义熵（Tsallis 熵）[23,24] 的一个特例，且在量子力学中被用作刻画量子态纯度的量度。此处我们额外加上常数 1，以便于后续讨论。

相对基尼熵的熵产生率可计算如下：

式 (17) 表明，相对基尼熵将随时间单调递增。此外，其时间导数不受过程中反对称部分的影响。这一性质揭示了反对称部分所关联动力学的守恒特性，并在离散与连续状态过程中，统一了对称（满足细致平衡）部分与反对称（破坏细致平衡）部分所扮演的动力学角色。对于其他熵定义，仅当系统接近平稳态时，方可忽略反对称部分的影响。相对基尼熵的这一独特性质，提示我们可进一步深入探究其对动力学行为的深刻启示。

接下来，我们通过以下定理表明：相对基尼熵的演化自然地为过程的收敛性提供了界限约束。

定理：相对基尼熵的演化可被如下不等式所界定：

综合上述结果，熵产生率的本征值界如式 (19) 所示。此前对该结果的证明 [25,26] 已隐含地运用了分解的思想。

马尔可夫过程的分解视角已被长期研究 [10]，早期工作主要集中于稳态分析 [9,10]；而现实需求日益要求对动力学行为进行更细致的刻画。本文所引入的分解是完备的——即完整保留了原过程的全部信息；所得的三个相互独立部分，既刻画了稳态，也揭示了动力学演化特性。

相较于非单调的香农熵，单调的相对熵在分析马尔可夫过程动力学时更为便利。在连续状态情形下，对称部分与反对称部分对相对香农熵导数的分离贡献，分别对应其耗散性与保守性本质 [13,27]。然而，在离散状态情形下，仅相对基尼熵仍保持这一性质，从而在离散与连续状态过程中统一了对称（细致平衡）部分与反对称（破坏细致平衡）部分的动力学角色。相对基尼熵的这一独特性质，值得进一步深入探索。

在实际建模中，离散状态与连续状态的马尔可夫过程常被互补使用：一方面可用连续过程近似离散过程，另一方面也可将连续过程粗粒化为离散形式 [28]。但二者之间存在一些微妙差异。例如，从轨迹角度看，连续过程通常由随机微分方程描述，不同随机积分方案（如 Itô 与 Stratonovich）会导致结果偏差 [15]；而在离散状态情形下则无此问题。本研究的观察为理解此类偏差提供了一种新思路。

综上所述，我们为一般马尔可夫过程引入了一种动力学分解视角，该视角同时把握了稳态与动力学结构。基于此分解，我们发现了一种特殊的相对熵定义——它可在连续与离散状态情形下，形式化地消除反对称部分的影响。我们认为，这一视角是处理马尔可夫过程的有力工具，后续研究值得沿此路径继续深入展开。

原文链接： https://iopscience.iop.org/article/10.1088/0256-307X/30/7/070201