自然通讯·物理:机器学习新框架助力破解复杂系统的动力学奥秘

摘要

识别非线性动力系统的控制方程，对于理解一个动力学系统的物理特征以及构建其精确动力学模型至关重要，多数情况下，非线性动力系统仅可获得部分数据的特性，使得研究人员在处理非线性动力系统带来了困难，对此，作者团队发展出了一种适用于部分观测系统辨识问题的一种机器学习框架。

关键词：部分观测非线性动力系统 、系统识别、机器学习、可解释符号模型

王亦理丨作者

赵思怡丨审校

论文题目：Discovering sparse intertable dynamics from partial observations 论文链接：https://www.nature.com/articles/s42005-022-00987-z 发表时间: 2022年8月12日 发表期刊：Nature Communications:Physics

挑战与困境

在部分观测条件下研究非线性动力系统，研究人员不仅需识别并建模潜在的动力学行为，还必须重构系统中隐藏或未被观测的状态变量，这构成了系统辨识中的核心挑战。

一方面，传统线性系统辨识方法在处理非线性系统时性能受限；另一方面，尽管深度学习模型在系统辨识中表现出强大拟合能力，但其“黑箱”特性限制了模型的可解释性，难以揭示系统的物理机制。这些方法学上的局限，进一步加剧了部分观测非线性系统辨识的难度。

针对上述难题，MIT物理系的研究团队提出了一种全新的机器学习框架，该框架创新性地结合了全系统状态重构编码器与稀疏符号模型——后者直接学习系统控制方程，通过匹配符号模型的高阶时间导数完成训练，该方法可通过将已知的物理约束条件融入编码器架构和符号模型设计，可轻松适应特定的非线性动力系统，为系统辨识与状态重构构建了灵活和高效的框架。

特别地，作者在实现这种框架时开发了一种算法技巧，使得标准自动微分方法能够计算高阶符号时间导数。（代码链接见文末“补充信息”一节)

部分观测非线性系统的机器学习识别

问题形式

考虑一个由一阶常微分方程定义的动力系统：

其中，观测到的状态由已知投影函数xv =g(x)给出，而隐藏状态xh需要通过聚合函数a(·,·)构造，要求xv,xh,a(·,·)满足条件a(xv,xh) =x。

研究的目标是：在重构隐藏状态xh的同时，确定描述系统动力学的控制方程F。

当缺乏关于动力系统结构的先验知识时，通常假设可见状态xv = (x1,x2,…,xk)作为完整状态x= (x1,x2,…,xk,xk+1,…,xn)的一个子集，此时g是x在子集xv上的投影，其余分量xh=(xk+1,xk+2,…,,xn)构成隐藏状态，而聚合函数a只是简单的对xh,xv的拼接。

若具备系统相关先验信息，就可以相应地选择合适的g和聚合函数a，以更好地反映动力学结构。

框架构成

该机器学习框架包含两个核心组件：编码器和可解释符号模型。编码器通过可见状态重建对应的隐藏状态xh，而符号模型则用于表征动力系统的控制方程F。

图1：机器学习方法框架的构成及训练策略

图2：机器学习方法框架的构成:编码器与稀疏符号模型

编码器eη通常采用具有可学习参数η的神经网络架构，以可见状态的序列为输入，重构得到的隐藏状态序列为输出。

根据塔肯斯嵌入定理（Takens’ embedding theorem），只要隐藏状态与可见状态充分耦合时，上述重构是可行的。此后，通过聚合函数就能获得完整状态的重构结果。重构状态可用于计算由对应控制方程的符号模型
定义的符号时间导数:

其中：θ1,θ2…,θm为可学习系数，f1,f2…fm 为预定义项。当系统状态的维度未知时，研究团队指出可通过将预定义项视为一个超参数，以调整该超参数的方式来实现高精度与简洁性之间的最优平衡。

训练策略

优化目标：在训练过程中，优化目标是均方误差（mean squared error， MSE）损失函数。该损失函数考虑了不同阶数时间导数的贡献，并在其中引入了经验方差（empirical variance）和权重超参数（hyperparameter），实现了对不同阶数的有限差分校准进行适当加权，以确保训练的有效性和准确性。

图3：联合训练策略 符号时间导数、有限差分时间导数、MSE 损失

训练目标的损失函数形式为：

其中表示第p阶有限差分导数，ap是决定损失函数中各阶导数重要性的超参数。

仅使用部分观测数据联合训练编码器和符号模型的意图体现在损失函数中的项

其中是可见状态的高阶符号时间导数，同样由符号模型隐式定义。是数据中的有限差分估计。

符号模型稀疏化:为实现符号模型的稀疏性，研究团队采用了一种在稀疏线性回归（sparse linear regression）中常用的阈值方法：在训练过程中定期检查可学习系数θi，若某系数的绝对值低于设定阈值，则将其置零为。

数值实验结果

为检验该机器学习框架的性能，研究团队设计了三种系统的数值实验测试该框架的性能。

常微分方程系统的数值实验

常微分方程系统实验的实验对象是两个经典的混沌非线性动力系统——罗塞尔系统（Rössler system）和洛伦兹系统（Lorenz system）。

实验结果表明，该框架能够准确识别出这两个系统的控制方程，同时成功重构隐藏状态 ，充分显示了框架在常微分方程系统下的高精度建模能力。

图4：ODE实验， 罗塞尔系统，u,v为可见变量，w 为隐藏变量——三维动力学轨迹、可见状态(u,v)上的投影，真实状态（蓝色）与重建状态（绿色虚线）的隐藏状态w随时间变化的轨迹被呈现出来，并通过绿色散点图直接对比展示

图5：ODE实验，洛伦兹系统，(u,v)为可见变量，w 为隐藏变量——三维动力学轨迹、可见状态(u,v)上的投影，真实状态（蓝色）与重建状态（绿色虚线）的隐藏状态w随时间变化的轨迹被呈现出来，并通过绿色散点图直接对比展示

偏微分方程系统实验

研究团队研究团队进一步在偏微分方程系统上测试，包括：带有指数衰减源项的二维扩散系统（2D diffusion system)，和二维扩散型洛特卡 - 沃尔泰拉捕食者 - 猎物系统（2D diffusive Lokta–Volterra predator–prey system)。

实验结果表明，该框架在这两个偏微分方程系统中均能准确识别控制方程并重构隐藏组分，表明该框架在偏微分方程系统这类复杂场景下依然具有良好的适应性。

图6：PDE实验，二维扩散系统 ，u为可见变量，v为隐藏变量——内容包括可见状态u随时间变化的快照，t = 0时刻同步呈现真实状态v与重构状态v，真实状态v与重建状态v的对比图

图7：PDE实验，扩散型洛特卡 - 沃尔泰拉系统 ，u为可见变量，v为隐藏变量——内容包括可见状态u随时间变化的快照，t = 0 时刻同步呈现真实状态v与重构状态v，真实状态v与重建状态v的对比图

一维非线性薛定谔方程的相位重构实验

研究团队还考虑了一维非线性薛定谔方程的相位重构（phase reconstruction）问题。在此实验中，仅利用可见的振幅数据，识别潜在的动力学规律并重构隐藏的相位。基于先验知识，作者假设投影函数，聚合函数。

由于局部时空编码器难以直接实现相位重构，作者为每个时空点学习其对应的相位参数。为缓解由此带来的训练困难，引入了编码器正则化项：，来确保训练过程中符号时间导数与重构状态的一致性。

实验结果显示，该方法成功识别出了非线性薛定谔方程数据的控制方程，并大致捕捉到了正确的相位分布。此外，研究团队还指出，利用该方法提取的控制方程，后续可以采用其他更专业的非线性相位恢复算法作为后处理步骤，这也为该框架在实际应用中的拓展提供了思路。

图8：线性薛定谔系统的系统识别与相位重建 ——a.文章的方法正确识别了正确的非线性薛定谔方程；b.可见变量，波函数的模|ψ|，c.需要被重构的隐藏变量相位φ=arg (ψ) ;d.相位的空间导数及重建结果

讨论与展望：优势、局限及未来方向

该研究提出了一种基于机器学习的框架，能够在部分观测条件下，同时识别稀疏可解释的动力学规律并重构隐藏状态。该方法结构简洁、使用灵活，与依赖显式积分的方法相比，计算效率更高，为部分观测非线性系统的建模提供了有效新途径。然而，由于依赖数据中高阶有限差分时间导数的估计，该方法对噪声较为敏感。

研究团队表示，未来团队将致力于现有框架中融入能够同时识别动力学规律和提取噪声概率分布的新方法和适用于符号回归任务（symbolic regression tasks）、具有多层可组合单元的符号模型，以进一步提升方法在噪声环境下的性能，增强框架的实用性。

补充信息

点击链接可访问本文作者的开源代码https://github.com/peterparity/symder

报名读书会：「非线性动力学与混沌」

集智俱乐部联合北京师范大学张江科研组联和南信大李春彪科研组师生共同发起，由师生共同领读《非线性动力学与混沌》，以分章节精读的方式，带领大家系统学习非线性动力学的基本理论与典型模型，结合洛伦兹系统、Kuramoto模型等经典案例，深入探讨混沌的起源、分形与奇异吸引子等前沿问题。

本读书会不仅读书，还会系统化地梳理本书中的重要概念，并整理为百科词条。也就是说，读完本书，我们会梳理出一套非线性动力学与混沌相关的百科词条，这才是重点。

我们也会通过梳理词条的方式，让学员组成学习小组进行比赛，最终会评出优秀学习小组获得复杂科学知识卡、汪小帆签名的《非线性动力学与混沌》、张江签名的《规模法则》、以及译者签名的《复杂-诞生于混沌与秩序边缘的科学》以及特色集智文化衫！

详情请见：

拓扑学课程：从空间直觉到系统科学

你是否曾思考过：为什么咖啡杯在数学上可以变成甜甜圈？为什么混沌系统中会出现周期轨、可约化结构和“奇怪吸引子”模式？为什么神经网络、量子物理甚至心理结构，都可以从“拓扑”角度理解？

拓扑学不仅是数学的抽象分支，更提供了系统的思维方式，让我们理解连续性、结构不变性乃至复杂系统的整体规律。从欧拉七桥问题到DNA的缠结，从量子场论到思维科学与脑科学，拓扑学思想正在各学科中普遍而深刻地重塑着我们的认知方式。

集智学园联合北京大学博士金威老师开设，课程将于11月23日开启，现在加入可享早鸟价格。

详情请见：

1.

2.

3.

4.

5.

6.