开放线性系统的范畴论处理

A CATEGORICAL TREATMENT OF OPEN LINEAR SYSTEMS

开放线性系统的范畴论处理

https://lmcs.episciences.org/16126/pdf

摘要

按照扬·威廉斯（Jan Willems）思想构建的开放随机系统，是受到两种性质截然不同的不确定性影响的系统——一种是概率性涨落，另一种则是由根本性的信息缺失所导致的非确定性。我们以范畴论的语言对开放随机系统进行形式化表述。其中的核心概念是共偏性（copartiality），它刻画了信息缺失在系统中的传播方式（对应于威廉斯著作中σ-代数的粗糙性）。

作为一个具体实例，我们研究了扩展高斯分布，它将高斯概率与非确定性相结合，并精确对应于威廉斯提出的高斯线性系统概念。我们既从测度论角度，也从抽象范畴论实体的角度对其加以描述，从而能够严谨地刻画多种现象，例如含噪物理定律以及贝叶斯统计中的无信息先验。扩展高斯映射构成的范畴可被视为高斯概率与线性关系的相互推广，它将范畴概率的相关文献与控制理论中的信号流图等思想联系起来。

1. 引言

在计算机科学与工程中对系统行为进行建模时，我们会遇到不同种类的不确定性：

范畴论已成为研究系统及其组合的统一语言。特别是马尔可夫范畴（Markov categories）[Fri20] 对应于不确定性和信息流的理论，并已应用于多种场景 [FGP21, FR20, FGPR20]。在本文中，我们将用马尔可夫范畴对这三种不确定性进行数学分析。虽然概率性和非确定性不确定性的语义已广为人知，但我们基于等价关系提出的信息缺失模型则是新颖的。我们提出了共偏映射（copartial map）的概念，它在形式上与偏映射（partial maps）相对偶。一般而言，共偏性和非确定性具有不同的组合规则（第4.1节），但我们将看到，在线性关系的情形下，这些概念是重合的（命题4.5）。

因此，我们的主要目标变为对处于多种不确定性下的系统进行建模。实例可以包括既服从关系约束又具有概率噪声的物理系统，或者统计推断中的非正常先验（improper priors）。

已有大量文献致力于将概率和非确定性的数学理论结合为一个单一且性质良好的理论（例如 [BSV20, DPS18, Che17, GP20, VW06]）。这类方法通常围绕将相关理论表示为单子（monads），然后以合适的方式（例如使用分配律）将这些单子结合起来展开。然而，已有研究表明，在分布单子（概率）与幂集单子（非确定性）的情况下，不存在这样的分配律 [VW06, ZM19]。虽然存在一种结合这些单子的弱分配律 [GP20]，但其结果是一个由分布的凸子集构成的复合单子，不再具备某些理想性质（如交换性）。这一领域有时被称为不精确概率（imprecise probability），并且仍然是一个活跃的研究领域（例如 [LCS25]）。

在本工作中，我们脱离了单子方法，转而专注于结合概率与信息缺失型不确定性。威廉斯的开放随机系统（open stochastic systems）[Wil13] 已经 formulated 了一个涵盖这两种不确定性形式的框架。我们将回顾这些内容，进而致力于对该问题进行范畴论处理。

因此，在 Willems 的方法中，信息缺失是通过粗糙 σ σ-代数来建模的。每当 σ σ-代数包含所有博雷尔集，从而提供对底层量的完全访问时，他称之为封闭系统（closed system）。而在开放系统（open system）中， σ σ-代数较小，表明可用信息的缺乏。

来自自然定律的方程约束并非开放系统的唯一应用。另一个用例出现在统计推断中的无信息先验（uninformative priors）中：

例 1.2（无信息先验）。 统计推断中的一个典型情况是，我们试图预测一个量 X X，但只能访问另一个与 X X 有统计关联的量 Y Y（例如一个含噪测量值，见图 2）。根据贝叶斯定律（Bayes' law），我们对 X X 的预测应当考虑到我们要关于 X X 的先验知识

组合性（Compositionality）。 组合性是研究如何将系统从更简单的部分组合起来的学科。Willems 本人凭借其具有影响力的控制论行为方法（Behavioral Approach）[Wil07] 开创了这一领域。他提出，理解复杂系统应当通过将其“拆解”（tearing）为更简单的部分，“聚焦”（zooming）于这些部分并建模其行为，然后通过“链接”（linking）它们的行为来获得组合后的整体行为。幺半范畴论（Monoidal category theory）是一种广泛用于描述组合过程的语言，已被应用于数学、计算机科学、统计学、物理学和工程学中的众多场景（例如 [Fon12, Fri20, BE15, BCR18, BSZ14]）。如需一般性概述，可参见例如 [FS19b]。

Willems 的组合方法与范畴论语言非常契合。例如，Willems 关于关系约束的工作的某些方面已在 [FSR16] 中被范畴化。我们希望将这种方法扩展到具有关系约束和随机约束的系统，如含噪电阻。然而，我们遇到了两个直接的困难：

例如，含噪电阻可以用扩展高斯分布来描述

1.1. 贡献。 我们回答以下问题：如何用范畴论来捕捉 Willems 的开放随机系统框架，以及他的互连概念如何与范畴组合相协调？

我们通过定义一个扩展高斯映射的范畴 GaussEx 来证明这一点，该范畴忠实地结合了高斯概率与非确定性。GaussEx 的状态精确对应于 Willems 的高斯线性系统。我们既用测度论术语描述这些实体，也通过遵循特定组合律的抽象实体（不依赖测度论）来描述它们。

我们引入共偏性（copartiality）作为一种通过商空间映射来形式化信息缺失的方法。对于线性映射，共偏性与关系非确定性是重合的，这使我们能够将 GaussEx 视为高斯概率与线性关系的相互推广。然后，我们回到 Willems 的测度论方法，并证明范畴组合与他的互连概念是一致的（定理 5.6）。

注：本文基于我们的 CALCO 论文 [SS23a]，我们在该文中首次引入了扩展高斯分布。在这篇受邀期刊投稿中，我们以更详细的细节扩展了之前的工作，并将其置于更广泛的背景中。特别是，我们重写了推导过程，使其在遵循 Willems 的测度论定义的同时，也遵循我们的范畴论定义。这使我们能够证明一个新定理，即这些定义在定理 5.6 中是一致的。我们还在第 4.1 节给出了关于共偏性的独立介绍，并在第 6.2 节详细阐述了商空间和系统等价的处理。自 [SS23a] 发表以来，两篇后续出版物 [SS23b, SZPS24] 建立了扩展高斯分布与凸优化之间的联系。我们在第 6 节详细阐述了这些联系，但在那之前保持本工作的自包含性。

1.2. 大纲。 在第 2 节中，我们回顾测度论和高斯概率的基础知识，然后在第 2.2 节定义高斯线性系统/扩展高斯分布。

在第 3 节中，我们讨论幺半范畴论中的相关概念，特别是马尔可夫范畴，并给出建模关系非确定性（3.1）、测度论概率（3.2）和高斯概率（3.3）的示例范畴。

第 4 节介绍了我们的主要新定义，即马尔可夫范畴 GaussEx。我们首先介绍共偏性（4.1）及其与线性关系的关系（4.2），然后使用装饰余跨度（decorated cospan）构造定义 GaussEx（4.3）。

在第 5 节中，我们将我们的范畴组合概念与 Willems 的互补系统互连概念联系起来。我们的主要定理 5.6 表明这两者是一致的。本节以 5.3 结束，解释如何将互联推广到互补系统之外。

在第 6 节中，我们就扩展高斯分布及我们构造的细节提供更广泛的背景。6.2 涉及系统等价问题以及粗糙 σ σ-代数与商空间之间的关系，而 6.3 和 6.4 讨论了关于扩展高斯分布对偶理论及其完整公理化的近期工作。最后，我们在 6.5 节展示了作为 Julia 库的概念验证实现。

2. 开放随机系统

在本节中，我们介绍 Willems 意义下的高斯线性系统，以及我们对它们的抽象描述，即扩展高斯分布。我们首先简要回顾概率的测度论基础。标准参考文献请见 [Kal97]。

2.1. 高斯分布。 本文关注的概率分布类是高斯分布（Gaussian distributions），也称为多元正态分布。 R R 上的一元高斯分布具有如下形式

此时，尚不清楚这些规则是否遵循预期的定律，或者它们甚至是否是良定义的。我们将在命题 4.9 中通过构造一个扩展高斯映射的范畴 GaussEx 来肯定地回答这个问题，其中扩展高斯分布对应于状态。该范畴将是一个马尔可夫范畴（Markov category），这是概率论范畴模型含义的一种常见公理化方式。此外，GaussEx 忠实地包含了高斯分布和线性关系，表明扩展高斯分布的组合规则保守地推广了这两个示例。

3. 范畴概率概述

它们以特殊的交换弗罗贝尼乌斯代数（commutative Frobenius algebra）的方式与复制和删除操作相互作用。我们不在这里列出公理，请参考 [FS19a] 作为参考文献。

在超图范畴中，态射的方向性并不具有本质重要性：每个超图范畴都等价于其对偶范畴。另一方面，在马尔可夫范畴（Markov category）中，方向性是重要的，信息仅沿一个方向传播。这通过要求“丢弃计算输出等同于根本不执行该计算”来进行公理化。

马尔可夫范畴作为信息流的抽象理论已取得巨大成功。它们被用于建模各种与不确定性相关的效应，特别是概率性和非确定性计算 [Fri20]，以及新名称生成（fresh name generation）[FGHL⁺23]。我们现在回顾相关示例，然后为信息缺失和扩展高斯计算定义一个新的马尔可夫范畴。

3.2. 概率通道（Probability channels）。 我们现在利用马尔可夫核（Markov kernel）的概念将测度论概率转化为一个马尔可夫范畴，其本质上是参数化的概率测度。

命题 3.10 [Fri20]。Gauss 是 Stoch 的一个子范畴。

直观地说，高斯分布在线性映射下是封闭的，并且高斯噪声在加法下也是封闭的。因此，我们可以将 Gauss 视为概率通道范畴 Stoch 的子范畴。然而，值得注意的是，Gauss 本身具有比从 Stoch 继承的更丰富的结构；特别是，它是一个超图范畴，而 Stoch 不是。这是因为线性关系可以被视为确定性高斯映射，从而允许信息双向流动。我们将在第 4.2 节详细阐述这一点。

4. 扩展高斯映射的马尔可夫范畴

我们现在定义一个结合了高斯概率与线性关系的马尔可夫范畴 GaussEx。我们首先引入共偏性（copartiality）作为建模信息缺失的一种方式，然后将其与高斯概率相结合。

4.3. 扩展高斯映射（Extended Gaussian maps）。 为了将扩展高斯映射定义为形式对象，我们将线性关系的余跨度方法与高斯分布相结合。为此，我们采用装饰余跨度（decorated cospan）的概念 [Fon15, Fon17]。

4.4. 示例：弦图（String Diagrams）。 我们给出一个利用 GaussEx 的范畴结构从简单构建块创建分布的示例。弦图语言使我们能够以直观的方式可视化这种互连。

5. 互联（Interconnection）

在讨论了作为抽象范畴实体的扩展高斯映射之后，我们现在将内容联系回 Willems 关于组合的测度论方法。

我们已经看到，扩展高斯分布的卷积（加法）会增加它们的纤维，即增加不确定性。Willems 称之为互连（interconnection）的操作是这一过程的对偶操作，它会减少不确定性，即细化 σ σ-代数。我们通过一个例子来证明这一点：再次考虑含噪电阻

从统计学术语来看，这种连接操作应当表示对随机变量的条件化（conditioning）。但在范畴论设定中，条件化是一个众所周知的难题，例如已在 [SS21, LR23] 中被探讨过。态射 ⊃  ⁣  ⁣ ∙ ⊃∙ 是超图范畴结构的一部分，但通常不被像 GaussEx 这样的马尔可夫范畴所支持。

在 [Wil13] 中，Willems 讨论了高斯系统互连的一个特例，其中各组件系统提供的信息在某种意义上是互补的（complementary），因此可以在不需要条件化的情况下进行互连。我们回顾这种互补互连的概念，并证明它与扩展高斯映射的范畴组合是一致的。随后，我们将在第 5.3 节回到通过条件化实现一般非互补互连的问题。

5.1. 互补性（Complementarity）

注意虚线框中弱化的命名系统，以及它们使用 ⊃  ⁣  ⁣ ∙ ⊃∙ 进行的互连。GaussEx不是一个超图范畴，但如果我们检查（如定理 5.6 所示）相关的互补性条件成立，我们仍然可以手动互连系统。

有趣的是，我们对名称的使用让人联想到 [Smi24] 中复制组合（copy-composition）的使用，即耦合（couplings）和条件积（conditional products）的组合（归功于 [DS99]，另见 [Fri20, 第12节], [FF13]）。最后，我们对非互补互联给出展望。

6. 相关工作与更广泛的背景

在本节中，我们为我们的构造提供一些更广泛的理论背景。在 6.1 节中，我们简要概述了概率的范畴论方法。在 6.2 节中，我们系统地探讨了粗糙 σ σ-代数的作用以及系统等价性问题。

6.3 和 6.4 节展示了来自近期后续工作 [SS23b, SZPS24] 的关于扩展高斯分布的不同视角。这些包括涉及凸分析和二次函数的对偶性考量，以及以图形线性代数（Graphical Linear Algebra）风格对范畴 GaussEx 进行的代数表述。我们在 6.5 节通过讨论一个原型实现来结束本节。

6.1. 概率论的范畴模型。 马尔可夫范畴（以及相关形式化方法，如复制-删除范畴和超图范畴）是对“作为概率论的范畴模型意味着什么”的一种广泛使用的公理化方式。它们专注于随机计算的幺半结构（并行与顺序组合、相关性与独立性）。我们在这里使用马尔可夫范畴的语言，是因为我们的扩展高斯态射概念展现了这种结构并满足相关公理。这类范畴模型也与概率编程语言的按值调用（call-by-value）语义非常契合 [Sta17, Ste21b]。

还有其他针对范畴概率的方法，其目标各不相同。我们给出一个简要且非穷尽的概述，并评论它们在多大程度上可能与开放随机系统相关。

概率论在测度论结构与泛函分析结构（如 C*-代数或冯·诺依曼代数，即盖尔范德对偶性 Gelfand duality）之间表现出丰富的对偶性。这种方法是概率与拓扑推广（如非交换几何、自由概率和量子概率）的基础，并已得到广泛的范畴论处理（例如 [FJ15, Pav22]）。扩展高斯分布非常适合这一图景，我们将在本节剩余部分提及其中的一些对偶性理论。

效应理论（Effectus theory）[CJWW15] 是围绕余积 + + 的性质和效应演算（calculus of effects）而非随机计算的张量积 ⊗ ⊗ 构建的，涵盖了概率计算以及量子计算。它有一个基于效应代数（effect algebras）的对偶性理论，推广了前面提到的对偶性。然而，范畴 Gauss 和 GaussEx 没有余积，因此不是效应范畴（effectuses）。同样，概率单子（probability monads）的研究（例如 [Gir82, Ave16, FP17]）对于我们相当特定的设定来说似乎过于通用，而且正如引言中所讨论的，结合概率和非确定性的单子是棘手的。

范畴概率论的其他领域关注系统的余代数观点 [Sok11]、高阶概率计算（如准博雷尔空间 quasi-Borel spaces [HKSY17, VKS19]）、概率层（probability sheaves）和分离逻辑（separation logic）[Sim17, Sim24, LAJF⁺24]、线性逻辑 [DK20, ETP14]，或透镜（lenses）和纤维结构 [Smi24, SCS20, Smi23]。与我们工作的联系仍有待探索。

这表明，当试图定义一个陪域 σ σ-代数可以变化的一般通道形式体系时，我们可以使用 Stoch 中的共偏映射（copartial maps），其右腿是满射可测映射。检查细节（例如相关的推出是否存在）是未来的工作。

这代表了我们当前方法向非线性开放系统扩展的起点。例如，Willems 给出了供给和需求曲线的例子（见图 3）。

6.3. 方差-精度对偶性与二次函数。 到目前为止，我们将扩展高斯分布描述为范畴论和测度论对象。我们将简要勾勒它们如何从分析视角自然产生。为简单起见，我们仅考虑均值为零的中心高斯分布（centered Gaussians）。

也就是说，此类分布具有全局定义的（可能是奇异的）精度形式，但只有偏协方差形式。

通过考虑扩展高斯分布（和偏二次函数），我们保留了两种表示之间的对称性。关联这两种表示的对偶性是凸分析中著名的勒让德变换（Legendre-Transform）的一个实例：

6.4. 表述与超图范畴。图形线性代数（Graphical Linear Algebra）指的是一组关于各种范畴（如线性映射、线性关系和仿射关系）的可靠且完备的图解公理化体系 [PRS22, BPSZ19, BSZ17]。这类表述已被用于推理控制论框架，如信号流图、电路和 Willems 的线性时不变（LTI）系统 [BSZ14, FSR16]。

6.5. 实现。 我们在 Julia 库 GaussianRelations.jl [Sam24] 中给出了扩展高斯分布的概念验证实现。该库包含了 6.3 节讨论的协方差和精度表示，并实现了范畴组合、互连和条件化。

下面的代码按照例 2.9 的风格，以拉回分布（pullback distribution）的形式实现了含噪电阻。

将此实现与 [Ste21a] 等概率编程语言以及 AlgebraicJulia¹ 等范畴论框架集成将会很有趣。

原文链接：https://lmcs.episciences.org/16126/pdf