![]()
导语
基于有效信息的因果涌现表明,在动力学系统中宏观动力学可能比微观动力学表现出更强的因果效应。然而,因果涌现的识别与有效信息的最大化均依赖于粗粒化策略的定义,这构成了该领域的核心挑战。近期提出的基于近似动力学可逆性的因果涌现框架,通过奇异值分解技术规避了粗粒化依赖,但该方法目前仅限于离散状态的转移概率矩阵。为解决这一局限,本文针对高斯迭代系统提出了一种基于动力学可逆性的因果涌现量化框架,通过分析前向与后向动力学中逆协方差矩阵的奇异值分解来实现。
为系统梳理因果涌现领域的最新进展,北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起,组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。读书会将于2026年2月22日起每周日上午(创建读书会暂定时间为10:00-22:00)线上开展,持续约10周,包含主讲分享与讨论交流,并提供会后视频回放,诚邀相关领域研究者及跨学科兴趣者参与。
关键词:因果涌现 (Causal emergence),近似动力学可逆性(approximate dynamical reversibility),高斯迭代系统(Gaussian iterative systems),奇异值分解(singular value decomposition),逆协方差矩阵(inverse covariance matrix)
刘凯威丨作者
张江丨审校
![]()
论文题目:Singular-value-decomposition-based causal emergence for Gaussian iterative systems 论文作者:刘凯威,潘琳莉,王志鹏,杨明哲,袁冰,张江 论文链接:https://journals.aps.org/pre/abstract/10.1103/mfct-sxn5 发表时间:2025年11月25日 论文来源:PHYSICAL REVIEW E
作者简介:
简介
什么是涌现?因果涌现理论框架给出了定量的刻画:当一个系统可以被某种粗粒化方式简化为一个更简单的宏观动力学(状态数量更少),并且因果效应强度(以有效信息来衡量)会得到显著的提升的时候,则该系统中就存在着涌现现象。
尽管这一定义简单清晰,但是传统因果涌现现象的讨论却大多受限于离散状态的动力系统。近期,我们组发表在Physical Review E上的论文提出,当我们将系统扩展为连续状态变量的马尔可夫动力学时,则因果涌现现象就体现为对一个系统的降维,可以使得它的动力学的因果效应得到显著增强,为了找到这种增强方法,我们只需要对系统的动力学和协方差矩阵同时进行奇异值分解。
因果涌现实例
下面来看三个例子:
![]()
例1:带噪声的三维螺旋曲线
![]()
图1
图1中展示了一个三维空间中的螺旋线旋转模型(绕着竖直直线x1=x2=0旋转),同时该旋转的半径以及高度x3都逐渐提升。与此同时,系统的运动带有高斯噪声。
这个运动轨迹可以由方程描绘:
其中,动力学系数A和噪声的协方差矩阵∑如下图所示:
![]()
其中A中的第三行第三列元素A(3,3)便控制着螺旋线在x3轴上的上升速度。当A(3,3)很小的时候(小于1),则系统便产生了较明显的因果涌现现象:此时系统看起来没有高度的提升,只存在较大的不确定的噪声(下图协方差学矩阵∑的∑33元素),而表现为一个在x1,x2平面上的螺旋线。所以,我们只要保留x1、x2两个维度,就可以近乎完整地描述系统的旋转过程,增加x3只会增加系统的噪声和不确定性,故该系统在2维比3维存在更强的因果效应,存在因果涌现。
例2: 带噪声的马尔萨斯人口增长模型
![]()
图2
图2模拟的是一个马尔萨斯增长模型生成的增长曲线,该曲线的增长方程为也可以描述为(1)式,许多学者甚至是智库对于人类发展遇到的在资源、环境、社会甚至国际局势方面的诸多问题的研究与解释,都可以溯源到该模型。该系统的动力学系数矩阵A如下图所示:
![]()
可以明显看出,系数矩阵的两行完全相同。事实上,为了增加模型的冗余性(人为制造因果涌现的一种方式),我们给这两个维度的变量增加了拷贝,如下图:
![]()
这个系统中发生了因果涌现,是因为维度x1、x3高度相关,x2、x4高度相关,在存在噪声的情况下,如果我们去除这两个拷贝的变量,或直接将相关性强的维度求平均组合在一起,就可以起到降低噪声的作用,使2维情况下的宏观系统4维情况下微观系统因果性更强。
例3: 布朗运动
![]()
图3
图3则是一个噪声占主导的布朗运动,在统计物理中,该模型会被用于描述微观分子的运动规律。虽然这些模型以及他们衍生模型,应用在在不同领域。
它同样是由(1)式生成的10条样本轨道,系数矩阵和协方差矩阵如下图所示:
![]()
该系统中不同维度的噪声不同,有的维度噪声很小,有的维度却很大。删掉噪声大的维度,保留噪声小的维度,可以使整个系统噪声减小,从保留的确定性强、噪声小的维度、更容易观察到系统的演化规律,说明这几个保留的维度具有更强的因果性,这也是因果涌现存在的评判标准。
高斯迭代动力系统
那么,这三类系统的共性是什么呢?首先,它们都是高斯迭代系统,即:
![]()
其中f(xt)是变量确定的演化函数,是随机噪声的部分。
许多现实世界的复杂系统,无论是物理、生物、经济还是社会,都表现出由确定性规律和随机干扰相互作用构建的动力学。对于非线性函数,我们通常将其线性化以分析其局部性质,对于任意函数都可以通过泰勒展开在局部线性化,形如
![]()
或直接忽略掉常数项,简写为(1)式的形式。
我们称之为线性高斯迭代系统,其中,对应xt附近的雅克比矩阵。我们可以看到随着时间的推移,系统的噪声无限累加,整个系统也会越来越不可预测。例如Logistic Map,Hanon Map,包括一些连续动力系统(如Kuramoto、SIR、捕食者),都可以近似成这种形式。即使是线性模型,也能描述丰富的物理规律,其实上面三幅图描述的物理模型都只需要用一个线性的高斯迭代系统就可以有效的表达。
其次,在这三个例子中,我们都能够找到某种粗粒化策略,将原系统简化为一个更小维度的系统,从而让因果效应提升。于是,关键问题是,我们如何找到这样的粗粒化策略?特别是,针对一般的大型复杂系统,我们要如何找到呢?
近期,张江团队基于他们构建的基于动力学可逆性和SVD方法的因果涌现量化方法就很好地解决了这个问题,并发表在PRE【1】上。简单来说,针对一个给定的高斯迭代动力学系统,我们只需要对该系统的动力学和协方差矩阵做SVD分解,就可以找到判断系统是否存在因果涌现,以及如何找到最优的粗粒化策略。然而,为什么可以如此简单?我们又应该对谁做SVD分解呢?
因果性与可逆性
要想理解这个理论框架,首先,我们需要理解在一个给定的动力学系统中,因果性和可逆性是两个密切相关的概念。我们分别介绍:
因果性
任何一个动力学都可以看作是一个因果模型。其中,前一时刻的状态引起了后一时刻的状态的变化,因此前一时刻的状态是因变量,而后一时刻的状态是果变量。本文所讨论的因果性转指在给定因果变量的前提下,因变量对果变量的因果影响的效应强弱,即如果因变量发生改变,果变量也跟着发生改变的明确程度。
![]()
图4 我们在这里展示高斯迭代系统的因果效应强度(有效信息)与近似动力学可逆性(γ)的相关性,如图1所示,每张图的左侧为因变量的分布,右侧为果变量的分布。图1从左到右,因果效应逐渐增强,近似动力学可逆性也在增强。上下对应的两张图中的动力学相同,但是输入分布不同,因此它们的因果效应强度和动力学可逆性也都完全相同,即动力学可逆性只与动力学有关。
动力学可逆性
动力系统可以看作一个将前一时刻t的状态映射到后一时刻t+Δt时刻状态的函数。如果该映射是可逆的,我们就称该动力学是可逆的。例如,一个不受外力的匀速直线运动模型就是可逆的动力学,它在任何两个连续时刻之间的状态映射是一一对应的:只要知道物体在t时刻的位置xt,规定速度v,就可以唯一确定它在t+Δt时刻的位置xt+Δt;与此同时知道t+Δt时刻的位置xt+Δt,我们同样可以直接倒推出t时刻的位置xt。而这个回溯的过程可以视为一个速度为-v的逆向动力学,如图所示。
![]()
也就是说,如果动力学是可逆的,就意味着整个过程可以沿时间逆推——相当于时间可以倒流。
我们只需在物理上逆转运动方向,就能让过程回溯。如同在匀速直线运动的例子中,将速度反向,物体就会沿着原来的路径退回到起点,完全遵循逆动力学演化。
![]()
注:这里面的动力学可逆的概念与经典力学哈密顿系统中的可逆性存在着微妙的差别。在经典力学中,如果时间t反号,而动力学方程形式不变,则动力学是可逆的。我们这里的可逆性则要求只要动力学的Perron-Frobenius算符是可逆的就可以,因此我们的可逆性蕴含了力学中的可逆性。
近似动力学可逆性的量化
然而,现实中绝大多数动力学过程是不可逆的,尤其当存在随机噪声影响时。因此,不同动力学的可逆程度也有所不同,有些只是有轻微扰动但是接近可逆,有些则完全杂乱无章高度不可逆。但是如上面描述随机微分方程的两个路径图所示,我们会发现,对于含有高斯噪声的动力学,上分噪声的方差较小的动力学运动轨迹看起来更为平滑,变量的变化规律更易描述,直到任一时刻状态变量xt,我们推测出前一时刻或后一时刻的状态变量xt-1或xt+1将更容易。若噪声方差较大,预测就更为困难。由此可见噪声小的动力学将比噪声大的动力学更接近可逆动力学。这就引出了“近似动力学可逆性”的概念。
![]()
图5
张江团队早在npj Complexity的这篇文章【2】中定义了“近似动力学可逆性”基于马尔可夫链转移概率矩阵(TPM)的奇异值分解,通过,σi表示TPM的奇异值,量化动力学接近可逆置换矩阵的程度。其局限在于该方法只适用于离散状态的TPM矩阵,应用范围较小且难以基于数据解决实际问题。
本文利用泛函分析中奇异值谱与傅里叶变换方法,拓展了近似可逆性的概念,应用于(1)式的高斯迭代系统中,定义如下:
![]()
其中pdet(·)表示矩阵·的伪行列式运算。Γα之所以可以看作是对近似可逆性的度量,是因为当系统的正向、逆向动力学中的不确定性(即协方差矩阵的行列式值)噪声很大的时候,正向、逆向动力学的逆协方差矩阵(也叫精度矩阵)∑-1与A∑-1AT的行列式都会变得很小,动力学会变得高度不可逆。反之若系统正向、逆向动力学中的不确定噪声很小,甚至趋于0的时候,∑-1与A ∑-1AT会变得很大甚至趋于无穷,此时系统动力学就十分接近可逆动力学,此时用去噪声后的可逆动力学来近似高斯迭代系统则会变得有效。
这里,α是一个取值在0到2之间的参数,控制着正向动力学和逆向动力学在近似可逆性定义中的相对权重大小(如图5所示)。如果α<1,则可逆性更依赖于逆向动力学,否则若1"},"displayMode":"inline","viewType":"inline"}}">α>1,则可逆性更偏重正向动力学。这种正向反向动力学的依赖刚好与有效信息定义中的确定性和简并性起到了异曲同工的作用。通常,我们取1\"},\"displayMode\":\"inline\",\"viewType\":\"inline\"}}"},"namespaceURI":"http://www.w3.org/1999/xhtml"},"node",{"tagName":"span","attributes":{"mpa-font-style":"mkatyen316xq","style":"font-size: 15px;"},"namespaceURI":"http://www.w3.org/1999/xhtml"},"node",{"tagName":"span","attributes":{"data-meta-block-props":"{\"blockId\":\"9ddfda7d-ef0a-4164-9395-ea3ca1fe779d\",\"blockType\":\"EQUATION_BLOCK\",\"initData\":{},\"props\":{\"data\":{\"equation\":\"\\\\alpha\"},\"displayMode\":\"inline\",\"viewType\":\"inline\"}}"},"namespaceURI":"http://www.w3.org/1999/xhtml"}]">α=1,表示动力学可逆性对正向和反向没有偏好。
为了避免变量维度对动力学可逆性的影响过大,我们通常计算维度平均的可逆信息来优化指标,该指标是一个由奇异值决定的变量
![]()
这里rs,rκ 分别表示矩阵A∑-1AT,∑-1的秩,si和 κi分别表示矩阵∑-1AT和矩阵∑-1的第i个奇异值。
因果性与可逆性是密切相关的
事实上,张江团队早在npj Complexity的这篇文章【2】中就已经在离散马尔可夫链上发现了因果性与可逆性的密切关系。这主要体现为,因果性的量化指标有效信息在很多马尔可夫动力学上都表现出与近似动力学可逆性指标的对数正相关的特性,参考:因果涌现与“时间倒流”。
在这篇PRE文章中,刘凯威等人进一步将这一结论扩展到了连续状态的高斯迭代动力系统之中,并且给出了有效信息和近似动力学可逆性的解析表达式。
图4中有效信息的下方也同样展示了每一种映射对应的值(其中1\"},\"displayMode\":\"inline\",\"viewType\":\"inline\"}}"},"namespaceURI":"http://www.w3.org/1999/xhtml"},"node",{"tagName":"span","attributes":{"mpa-font-style":"mkatyen316xq","style":"font-size: 15px;"},"namespaceURI":"http://www.w3.org/1999/xhtml"},"node",{"tagName":"span","attributes":{"data-meta-block-props":"{\"blockId\":\"9ddfda7d-ef0a-4164-9395-ea3ca1fe779d\",\"blockType\":\"EQUATION_BLOCK\",\"initData\":{},\"props\":{\"data\":{\"equation\":\"\\\\alpha\"},\"displayMode\":\"inline\",\"viewType\":\"inline\"}}"},"namespaceURI":"http://www.w3.org/1999/xhtml"}]">α=1),可以看出它与有效信息一样会随着迭代映射中的方差σ增大而减小,随着系数a增大而增大,且只与动力学(因果机制p(xt+1|xt))有关,而与xt分布无关。这种观察并非偶然,事实上我们可以得到一般性的结论:近似可逆性与有效信息的近似线性相关,即
![]()
其中表示近似相等,当A满秩,且A∑-1AT=In即逆向动力学为为标准正态分布时,等号严格成立,为常数项。在附录中存在详细证明。由此可见,对于如(1)式的线性高斯噪声动力系统而言,动力学的近似可逆性与因果效应强度存在着一定的等价性。
因果涌现
在文献【2】中基于动力学近似可逆性的概念,张江等人提出了一种基于SVD分解的因果涌现量化定义,无需粗粒化,仅有动力学的奇异值谱特性就可以定量刻画因果涌现。然而,这些讨论都局限于离散状态的马尔可夫链系统。本文将讨论因果涌现在(1)式所示的线性高斯迭代系统的扩展,并证明两套框架的等价性。
通过基于奇异值分解的可逆性度量的因果涌现
基于最大化有效信息的因果涌现理论需要求解一个优化问题,从而得到最优的粗粒化策略。因此,我们需要一种更直接的不依赖于粗粒化方案的近似等价的因果涌现定义。这就是基于动力学可逆性概念的因果涌现定义,它可以把求解最优粗粒化方案W的问题,转化为对动力学进行SVD分解的问题。
由前文中维度平均可逆信息的定义式,我们可以得到它最终值取决于两个谱,一个是A∑-1AT的谱s1≥…≥sn,另一个是∑-1的谱κ1≥…≥κn,因此,仿照因果涌现的量化式子(前一个式子)我们可以从这两个谱的分布来定义基于动力学近似可逆性与SVD的因果涌现为(附录定义)
![]()
其中我们定义有效秩rϵ为在剔除所有包含小于给定阈值的奇异值,即满足κi <ϵ< pan> 或si <ϵ< pan> ,的维度后,动力学可逆性得以增强的新系统的维数,这种情况我们也称为模糊因果涌现。若∑-1AT或∑-1不满秩,那么ϵ=0时,仍然会出现0\n"},"displayMode":"inline","viewType":"inline"}}">ΔΓα(0)>0的情况,我们将这种情况定义为清晰因果涌现。这就是基于SVD的因果涌现量化方法的两种形式。
这套框架是合理的,最重要的一个原因是这套新的对因果涌现的定义近似是与Hoel等人【3】的定义的基于有效信息的因果涌现在连续系统在的结果是一致的。基于SVD的因果涌现与基于最大化有效信息得到的因果涌现,呈近似线性关系
![]()
当A满秩,且A∑-1AT=In即逆向动力学为为标准正态分布时,等号成立。
模型分析
基于这种量化方法,我们仅仅需要知道∑-1与A∑-1}AT的奇异值,并观察奇异值谱就可以让因果涌现是否存在一目了然。现在我们就可以回到我们开头提到的三个模型,对他们的因果涌现进行量化分析。
旋转模型
例如旋转模型的动力学,我们可以先在下图(a)中写出他的参数矩阵A, ∑,A,∑中黄色覆盖的模块代表了例1图1(a)中旋转轨迹明显,噪声较小的x1,x2维度,而灰色区域覆盖的模块代表无明显变换,只有噪声影响的x3维度。这样我们可以通过将所有维度依据其对应的∑-1与A∑-1AT的奇异值从大到小排序,从而绘制出奇异值谱。从(b)中,我们看到∑-1与A∑-1AT的奇异值都在第2和第3个维度之间存在着明显的数值上的衰减。于是,我们可以在这个位置设定阈值ϵ(水平虚线)并做截断,从而忽略掉截断(竖直虚线)右侧的接近于零的奇异值以及其对应的维度,而保留剩下的明显大于零的奇异值以及其对应的维度。
![]()
也就是说从这张图上,我们只需要观察奇异值谱上是否有接近或等于零的奇异值,就可以判断是否存在因果涌现,如果存在,则系统中就发生了因果涌现,否则就没有发生。而这种观察到的结果,可以直接用近似可逆性指标进行量化。
从物理意义上分析,若系统的正向或逆向动力学的逆协方差矩阵存在一个或多个为零或近似为零的奇异值,则称该系统发生了因果涌现,这些等于或接近零的奇异值所对应的奇异向量表征了动力学中冗余的维度,如同前文例1图1(a)中的x3维度,不仅动力学参数较小而且噪声很大,其存在显著降低了系统的整体的近似可逆性。
![]()
进一步讲,若通过适当的粗粒化操作消除这些冗余维度,则可实现动力学去冗余化的降维压缩,压缩后维度平均可逆性将得到提升,例如图中的三维动力学粗粒化为下中的二维动力学。
![]()
因此,可基于近似可逆性的最大可能的增长值,即通过理想粗粒化所能达到的单位维度动力学可逆性的最大提升程度,对系统因果涌现的强度进行定量刻画。
马尔萨斯增长模型
这一点对于另外两个模型也同样适用。
首先导致马尔萨斯增长动力学不可逆的一个原因,就是系统中的不同维度之间存在相关性,也就是说整个系统的自由度可能远低于其所占空间的维数。
我们举了一个最极端的例子,假设一个4维的向量,前两个维度x1,x2遵循增长率为0.2和0.05的马尔萨斯增长模型。同时另外两个维度x3,x4直接复制了前两个维度的状态如下图所示,他们和前两个维度高度相关,甚至可以视为冗余的维度。
最终生成数据如例2对应的图2所示,直接用肉眼观测数据我们如果不仔细观察也会觉得似乎只有两条曲线,似乎宏观的y1,y2就能直接描述动力学的演化。这一切并不单纯是我们的错觉。
![]()
我们严格按矩阵论和高斯过程的理论进行分析,该系统我们可以认为是A如下图(a)所示。若规定正向协方差矩阵为单位矩阵,如图(b)所示,我们可以明显感觉反向动力学协方差矩阵只有两个维度起主要作用,另外两个维度信息会大打折扣。
![]()
这一点,我们可以用下图的奇异值谱观察,我们可以看到横轴表示逆向动力学协方差矩阵的奇异值s1≥…≥s4, 纵轴表示奇异值大小,我们只能看到两个较大的逆向动力学奇异值,此时我们规定阈值ϵ=2, 因果涌现可以计算得到0\n"},"displayMode":"inline","viewType":"inline"}}">ΔΓα(ϵ)=0.4195。
![]()
布朗运动
相关性可以通过影响逆想动力学的协方差矩阵,降低动力系统的可逆性,同时正向动力学噪声本身,也会改变动力学的可逆性大小,如果某个维度噪声越大,该维度越不可逆。这也给我们研究动力学演化提供了一个新思路:在随机系统中寻找噪声小的维度,更能观察到系统整体的演化规律,第二个案例就能给出展示。
离散布朗运动是离散时间内连续布朗运动的近似,常用于数值模拟和随机过程建模。方程s1≥…≥s4可以被视为奥恩斯坦-乌伦贝克(OU)过程的离散版本方法。在这个模型中,f(xt)=a0+Axt是影响状态演化的漂移向量,协方差矩阵∑表示扩散系数,它决定了噪声的随机波动的幅度。由此我们可以直接得到对∑-1和AT∑-1A,如图所示。
![]()
进行SVD分解之后我们可以得到下图中的奇异值谱之后,规定ϵ=0.6,我们可以得到Δ0\n"},"displayMode":"inline","viewType":"inline"}}">Γα(ϵ)=0.5167,其中有效秩为4。
![]()
基于奇异值分解的粗粒化策略
最终我们可以从动力学的角度看出,因果涌现的产生其实是有两个关键因素,一个就是演化过程中,系统之间不同元素、不同维度之间存在相关性,导致自由度存在冗余。以鸟群为例,下图(a)中,左侧两只鸟完全独立不存在相关性,从动力学角度讲,若两只鸟运动速度与随机性都相同,则不存在涌现;一旦右侧两只鸟之间存在相关性,彼此进入了对方的检测范围(橙色圆环),那么此时的自由度就会降低,甚至可以将两只鸟看成一个整体分析更容易判断整体的运动趋势。
另一个就是噪声在不同维度存在不同的大小,有的维度随机性很强,难以预测运动趋势,但是有的维度就确定性很强,随机性很弱,如同下图(b)中较大的奇异值κ1代表维度确定性更强,随机性更弱,该维度可能的变化范围就更小;κ2代表维度确定性更弱,可能的变动范围会更大。此时如果重点分析随机性较小,确定性更强的维度,就能对系统的演化存在更有效的分析。
![]()
我们的粗粒化策略最终其实就是需要实现两个目的,第一,整合相关性强的维度,降低冗余的维度,寻找真正的自由度;第二删除噪声过强的维度,保留更有确定性的部分。我们只需要下面的两轮SVD法就可以实现。
对于任何高斯迭代系统,我们可以首先在AT∑-1 A和∑-1上执行奇异值分解,以获得两个奇异值谱\\cdots>s_n\n"},"displayMode":"inline","viewType":"inline"}}">s1>…>sn和\\cdots>\\kappa_n\n"},"displayMode":"inline","viewType":"inline"}}">κ1>…>κn。其次,我们需要对两组奇异值谱进行截断。然而,由于它们对应的奇异向量可能并不都是正交的,它们的子空间可能会重叠或冲突。因此,我们结合两个奇异向量矩阵并执行第二轮奇异值分解。基于此,我们可以通过降维得到粗粒化矩阵和相应的宏观动力学。经过两轮奇异值分解,我们得到最终的粗粒化策略。
我们最终达到的效果就是保留重合的空间,并对存在冲突的空间基于奇异值大小优先保留较大的奇异值。可以通过下图进行直观的理解,例如有效秩为2的时候,我们希望把三维动力学降维到二维空间。动力学中的奇异值谱s1=1.2,s2=0.8,s3=0.2和κ1=1,κ2=0.7,κ3=0.3对应的奇异向量u1,u2,u3与v1,v2,v3,u1与v1近乎重合,我们认为不存在明显的冲突,此时我们的策略可以得到一个居中的向量,尽量同时保留两个维度对应的奇异值s1与κ1;然而剩下的维度中,存在冲突,我们的方法会优先保留剩余奇异值中最大的s2对应的奇异向量v2,构建向量。将行向量w1与w2拼接后就可以得到粗粒化矩阵W,他可以将三维空间中的动力学投影到两条红色向量张成的二维空间当中。
![]()
例如图1中我们就可以得到将前两个维度保留,第三个维度舍弃的粗粒化策略。
知道粗粒化策略和其原理之后,我们就可以返回来看看开始的三个案例粗粒化得到的结果。对于旋转模型,我们之前提到三维动力学粗粒化为二维动力学。因此,可基于近似可逆性的最大可能的增长值,即通过理想粗粒化所能达到的单位维度动力学可逆性的最大提升程度,对系统因果涌现的强度进行定量刻画。而基于SVD得到的粗粒化矩阵做的就是舍弃第一个维度,并将前两个维度重新组合,变成二维动力学。
![]()
而马尔萨斯增长模型由于复制的存在,我们基于奇异值分解的粗粒化策略将x1,x3信息合并,x2,x4信息合并,达到降维并增强可逆性的效果。可见我们的框架一个重要的功能就是可以找到系统中相关的维度,并将其合并。
![]()
而对于布朗运动,基于SVD我们可以计算具体的粗粒化策略,得到下图中的矩阵W。通过粗粒化策略的求解,我们可以观察到我们的宏观态yt=Wxt,其保留了x1,x2,x3,x5四个维度,正向、逆向动力学噪声都较大的x4,x6,x7,x8被舍弃。这些维度对应的关系如右图所示,这里1-8节点代表8个维度。(连线代表i节点与j节点之间动力学连接,由矩阵A决定,若0\n"},"displayMode":"inline","viewType":"inline"}}">Aji-Aij>0则会出现一条i指向j的连边,颜色越接近黑色Aji-Aij越大,反之亦然)。
![]()
我们可以发现,其实我们这个案例,在正向、逆向动力学的协方差矩阵都不是对角阵,即不同维度的可逆性存在差异的情况下,我们会优先保留包含正向或逆向动力学中噪声的逆协方差矩阵较大的奇异值的维度,这些维度噪声更小,动力学函数的梯度更大,可逆性更强。保留这些可逆性强的维度,忽略噪声大可逆性弱的维度,就能让整个系统具有更强的因果性,因果涌现也会随之产生。
神经网络学习下的SIR模型
在NIS+中的SIR模型在这里也可以通过可逆性与SVD分解计算因果涌现并研究其底层产生涌现的机理。现实中的大多数系统都无法获得精确的动态模型来计算因果涌现的解析解。然而,我们可以通过观察到的时间序列数据训练神经网络来获得近似动力学。神经网络模型如下图所示,我们通过训练神经网络,学习到SIR动力学的映射函数与协方差矩阵,并计算近似可逆性与因果涌现。
![]()
我们用神经网络(NN)在易感-感染-恢复(SIR)模型生成的训练时间序列数据上的因果涌现现象时,模型有两个自由度,如下所示
![]()
其中S表示易感态样本的比例,I表示感染态的比例,R表示恢复态的比例,三者的关系如图所示。
![]()
我们可以采取和增长模型相同的数据处理方法,x3,x4直接复制了前两个维度的状态,得到x=(S,I,S,I),之后我们可以将模型离散化,即
![]()
由此可以通过机器学习得到下图中的生成数据。数据虽然处于三维空间,但其实只有S和I两个自由度。
![]()
经过神经网络训练后,对得到的正、逆向协方差矩阵求平均值,我们就可以近似估计出系统的两个协方差矩阵,如下图所示,可以看出,AT∑-1A(如图c所示)有两个较大的奇异值,差距比∑-1(如图d所示)更大。规定ϵ=5在模型训练中,当训练周期为50000时,我们可以得到最终有效秩rϵ=2,因果涌现的值为Δ0\n"},"displayMode":"inline","viewType":"inline"}}">Γα(ϵ)=0.8685。
![]()
我们可以得到左上图中的粗粒化策略参数矩阵,粗粒化策略将x1,x3信息合并,x2,x4信息合并,达到降维的效果。这一点与左下方中NIS+【4】的编码器的梯度相符。同时图右侧我们可以看到随着协方差矩阵中标准差参数σ增大,基于有效信息与基于可逆性的因果涌现都在σ=0.01时达到峰值,这与NIS+中的结果相符。
![]()
而整个方法也为我们处理一些未知模型或者难以计算的模型如何检测因果涌现的大小提供了一个有效的途径,为我们基于数据驱动的因果涌现打下了基础。
总结与讨论
本文提出了基于近似动力学可逆性的因果涌现新框架,适用于高斯信息系统。该方法直接利用正向、逆向动力学逆协方差矩阵的奇异值分解来量化因果涌现,其度量 不依赖于预设的粗粒化策略,具有更高的计算精度与效率。同时,从这两个矩阵的奇异向量可直接导出最优粗粒化方案:它自动合并强相关维度并剔除噪声主导维度,从而得到物理意义清晰、可解释性强的宏观描述,克服了传统方法依赖人工设计以最大化有效信息的局限。理论分析进一步揭示了两个框架之间的内在联系,并通过随机参数采样得到了证实。
本工作的另一创新在于将 SVD 系统性地应用于随机动力学分析。传统研究多聚焦于确定性系统或仅将噪声视为扰动,而我们将 SVD 作用于连续马尔可夫过程,同时涵盖确定性映射 与随机协方差,并以逆协方差矩阵作为信息载体,其奇异值揭示了系统内嵌的可逆信息。这一视角统一处理了确定性、随机性与可逆性,能够辨识驱动复杂系统演化的关键自由度,为理解各类实际系统的动力学本质提供了新途径。
这篇工作在最后提出了神经网络学习下的因果涌现,其实我们可以认为是机器本身作为观察者,在不可逆的系统中,寻找可逆性。智能体在本质上不可逆的宏观世界中,通过学习“粗粒化”——即忽略细节、进行归类与压缩——来构建一个近似可逆的动力学模型。这看似矛盾:压缩本身意味着信息损失,本应引入不可逆性;正如玻尔兹曼所指出的,观测者因信息受限而在宏观层面看到熵增与不可逆。然而,智能体所做的恰恰是在这一“不可逆的宏观废墟”上有意识地重建秩序与可逆性:它并非复原微观细节,而是通过有选择的忽略,提炼出那些能够保持预测稳定性与因果解释力的宏观模式,从而在信息简化后的表征中重新构造出近似可逆的动力学规律。这揭示了一种深刻的适应性智慧:智能体不是被动承受不可逆性,而是主动塑造一种简化的、却更具操作性与可理解性的“可逆表象”,并借此在复杂世界中有效认知与行动。
尽管取得进展,当前框架仍面临若干挑战:其一,模型目前局限于线性 GIS,非线性情况需局部线性化,但梯度病态可能导致框架失效;其二,连续时间情形缺乏客观的 CE 量化公式,离散化的时间步长对结果影响显著;其三,当系统方程未知时,依赖神经网络估计动力学会引入数据依赖性与参数误差。未来工作将致力于优化现有框架,并借助机器学习将其应用于维切克、仓本等复杂模型以及气象、脑电等真实数据,以探索 CE 与临界状态的关系,并在实际系统中验证其洞察力。
参考文献
【1】Liu K, Pan L, Wang Z, et al. SVD-based Causal Emergence for Gaussian Iterative Systems[J]. arXiv preprint arXiv:2502.08261, 2025.
【2】Zhang J, Tao R, Leong K H, et al. Dynamical reversibility and a new theory of causal emergence based on SVD[J]. npj Complexity, 2025, 2(1): 3.
【3】Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.
【4】Yang M, Wang Z, Liu K, et al. Finding emergence in data by maximizing effective information[J]. National Science Review, 2025, 12(1): nwae279.
因果涌现第七季——从理论到应用
在神经系统中意识的生成、城市交通的拥堵演化、全球产业系统的协同与失稳之中,始终潜藏着一条贯穿微观与宏观的因果脉络:个体行为本身或许简单,却能在尺度跃迁中孕育出高度组织化、难以还原的整体结构。复杂现象并非微观规则的线性叠加,而是源于多尺度动力学作用下逐步形成的因果组织。正是在这一背景下,因果涌现理论被提出,并在因果涌现 2.0、工程化涌现以及多尺度因果抽象等工作中推进,逐渐发展出一套融合动力学分析、信息论度量以及谱方法与人工智能工具的研究框架,从而将研究重心从“复杂性本身”转向“因果结构如何出现、如何被度量并在现实系统中发挥作用”。
为系统梳理因果涌现领域的最新进展,北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起,组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。读书会将于2026年2月22日起每周日上午(创建读书会暂定时间为10:00-22:00)线上开展,持续约10周,包含主讲分享与讨论交流,并提供会后视频回放,诚邀相关领域研究者及跨学科兴趣者参与。
![]()
详情请见:
线性代数:一名合格科研人的筑基课
在科研世界中,无论你研究的是人工智能、生物信息、网络科学,还是物理与工程,几乎所有复杂系统的建模与推理都指向同一种底层语言——线性代数。它不仅是计算公式的集合,更是一名科研人理解“结构”、刻画“变换”、判断“稳定性”、提取“信息”的基本思维框架。本课程以系统科学的视角重新解构线性代数,带你越过技巧、直达本质,在跨学科的真实问题中建立起科研必备的数学基石。集智学园联合清华大学数学博士诸葛昌靖老师推出「」,并邀请武汉大学数学与统计学院周进教授于1月20日、1月27日就特征值与特征向量在复杂网络中的应用做特别加餐分享。课程已于12月20日开启,欢迎加入社群交流。
![]()
详情请见:
1.
2.
3.
5.
6.
7.
8.
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.