NeurIPS 2023 | Koopa: 基于库普曼理论的非平稳时序预测模型

针对现实中普遍存在的非平稳时序数据的预测问题，本文提出库普曼预测模型（Koopa），基于理论支撑建模非平稳数据的时变特性，层次化挖掘时间序列的动力系统，并在广泛的时序预测任务上取得了最优结果。

论文名称： Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors 论文链接： https://arxiv.org/abs/2305.18803 代码链接： https://github.com/thuml/Koopa

时序预测在现实生活中具有广泛应用，覆盖气象、能源、经济、运维等诸多领域。近年来，以循环神经网络（RNN），时序卷积网络（TCN），变换器（Transformer）以及多层感知机（MLP）搭建的深度模型在时序预测场景中取得了不断突破。

然而，现实场景中大部分时序数据存在非平稳性，具有更复杂的时序变化模式，以及随时间变化的数据分布，对以往模型的建模能力带来了严峻挑战，目前为止，很少有从理论基础出发，天然适配非平稳时序数据建模的深度模型结构。

为解决上述挑战，我们从动力学视角建模时序数据，基于库普曼理论（Koopman Theory）设计了一种时序预测模型Koopa（Koopman Forecaster），该模型具有如下特点：

• 
  

  适配非平稳特性：库普曼理论能够建模时变动力系统的状态转移，天然契合非平稳时序数据的预测场景；

  
  

• 
  

  轻量化高效：基于线性层搭建，相较领域前沿模型，在取得SOTA效果的同时，仅需平均1/4的训练时间及显存占用；

  
  

• 
  

  适应预测分布变化：可结合滚动预测以及算子更新机制，无需重新训练即可适应业务数据的实时分布变化。

  
  

离散时间动力系统可用转移方程 描述，其中 表示任意时刻的系统状态，状态的转移规律蕴含在向量场 中。对于复杂非线性动力系统，直接寻求转移函数 是非常困难的。相比之下，线性动力系统的建模非常简单： 可以使用一个矩阵（作用于有限维动力系统）或者算子（作用于无限维函数空间）来表示。

为了研究非线性动力系统，库普曼理论表明：对任何非线性系统，都可以找到测量函数 ，将系统状态映射到一个无限维线性动力系统，并由一个线性库普曼算子 控制：

库普曼理论在有限维非线性动力系统和高维线性动力系统之间搭建了一座桥梁： 测量函数将具有复杂转移的非线性系统映射到高维线性系统，在新系统中库普曼算子的线性和优良谱性质可以轻松地完成状态转移，最后再通过测量反函数变换回原系统，完成对复杂非线性系统的状态转移。

库普曼理论示意图

2.2 设计思路

复杂动力系统往往还具有时变（time-variant ）特性。即使映射到高维空间，在空间的不同区域其转移规律也可能不同，可直观理解为描述系统的库普曼算子还具有时间下标 。针对时变动力系统，库普曼理论一般使用不同的算子来描述不同的区域。

非平稳时序数据与复杂动力系统的关系

对非平稳时间序列而言，由于数据分布的变化，会存在明显的随时间变化的转移规律。受此启发，我们将时间序列看作一个动力系统：先将时间序列映射到测量空间中，这个空间的不同区域实则对应原本序列的不同时期，每个区域（时期）的状态转移可以用不同的算子描绘，每个区域内通过线性算子前推得到未来的状态，再反变换到原本序列空间。整个过程在库普曼理论保证下，完成了复杂的非线性状态转移以及非平稳性建模。

三、模型设计

3.1 整体结构

如下图，Koopa模型由多层基础模块（KoopaBlock）组成。不同于以往库普曼预测模型，我们首次引入深度残差连接结构（Deep Residual Struture），充分融入深度学习思想，对复杂时序数据的动力系统进行分层建模： 每个基础模块拟合之前模块学习的残差，以层次化的库普曼算子描述复杂非平稳数据。

Koopa整体结构

为了更好地建模时间序列，我们充分考虑非平稳数据的可分解特性。基于Wold's Theorem，对任意弱平稳时间序列有如下分解：

为确定性分量（例如正弦波 ）一般具备时不变性（例如周期，幅值，频谱）； 为高斯白噪声，作为线性滤波器 的平稳过程输入。

受此启发，我们认为时序数据在动力学视角下可进一步被分解为时不变（time-invarinat）和时变（time-variant）组分，两种组分应使用完全不同的建模方式。如上图，时不变组分在不同时期具备相对稳定的转移，我们使用全局共享算子建模从历史观测到未来预测的转移；时变组分在不同时期具备不同的转移，是非平稳性的主要成因，所以我们针对不同时期计算局部化的算子。

我们提出一种基于傅立叶分析的方法滤出上述组分，并设计两种不同的库普曼预测器（Koopman Predictor）进行分别建模。每个KoopaBlock由上述模块组成，计算过程如下：

其中 代表层序号，下标 分别代表时不变/时变组分。另外，时变预测器除了输出预测外，还会输出对历史观测的拟合结果，与基础模块的输入相减后进入下一模块，继续建模残差的动力系统。Koopa模型通过堆叠获得可扩展性（Scalability）以建模复杂非平稳数据，预测结果为所有基础模块中两种预测器输出的总和：

3.2 模块实现

3.2.1 基于傅立叶分析的组分分解

为分解出时变/时不变组分，我们从时间上的“全局”视角分析时序数据，考虑到训练时模型的输入是通过在数据集上分窗得到的，我们将利用这个序列集合，找到时变与时不变的组分。

时序分析的两个维度一般包含时域与频域，其中，频率是描述的正是一个全局概念，使用傅立叶变换，我们可以获得序列各种频率的强度（频谱），进而提取数据集的时不变特性。

具体而言，我们对每个序列进行傅里叶变换 ，计算训练数据的频谱强度分布，强度高的频率即为数据集（整段时期）的主要频率， 记强度排名前 的频率集合为 。每次输入待预测序列时，利用傅立叶变换将频率在 的组分过滤为时不变组分，而剩余的组分就是每个序列所处时期的独特成分，即为时变组分。计算过程如下：

3.2.2 时不变库普曼预测器

如下图所示，在时不变组分的建模中，我们使用一对编/解码器学习测量函数与其反函数，在编码得到的历史观测特征表示 上学习全局共享的转移算子，得到预测结果的表示 ，并解码为时不变组分预测输出：

左：时不变预测器结构；右：时变预测器结构

3.2.3 时变库普曼预测器

由于每个时期的时变组分的状态转移都不同，我们需要使用局部化的算子独立描述每个窗口的序列输入。如上图右所示，我们首先对历史观测进行分段：

并使用一对编/解码器学习到高维线性系统的变换：

根据分段结果，使用数据驱动的eDMD算法获得时变算子 （ 在每个窗口都是独立计算且不同的），计算如下：

基于得到算子可以对历史观测的动力系统计算拟合结果：

也可以进一步外推得到对未来的预测结果：

最后重新将这些分段组合即可得到模块的拟合输出和序列预测：

编/解码器基于多层感知机搭建，时不变算子通过可学习的参数矩阵实现，时变算子通过eDMD解析计算得到。模型完全基于线性层搭建，充分考虑非平稳时序数据的内在属性，以模块之间的互相配合，可扩展的层级组织，完成对复杂非线性时序动力系统的建模。

四、实验分析

我们在七个公开的预测任务基准上测试模型效果，覆盖52种不同的预测场景，在模型效果与计算效率取得了显著突破。

4.1 预测效果

我们展示了模型在代表性任务上的预测效果（纵轴），计算效率（横轴）以及显存占用（图标大小），可以发现：

横轴：训练时间；纵轴：预测误差

• 
  

  在预测效果上，Koopa大幅超越此前的库普曼预测模型KNF以及线性模型DLinear；

  
  

• 
  

  相较于此前效果SOTA但计算代价极高的PatchTST模型，Koopa体现出显著效率优势。在序列数较多的交通流量预测任务上（Traffic），Koopa最多可节省 的的训练时间并且仅需其 的显存开销；
  

  
  

此外，在M4数据集的单变量预测实验中，Koopa取得了一致最优预测效果。

M4数据集预测结果

4.2 模块分析

4.2.1 消融实验

我们进行了模块消融实验，证明所提出的傅立叶分解模块有效地适配了建模非平稳数据所需的分解方式，以及所提出库普曼预测器之间的互补性。

模型消融实验

4.2.2 分解效果

我们进一步验证了分解模块的有效性。如下图所示，通过对比获得组分的时变性程度（Degree of Variation）。证明了所提出的模块能有效分离时变分量与时不变分量。

左：组分时变性对比；右：算子可视化

4.3 算子可视化

我们在汇率数据上以年为间隔采样时序数据，并可视化各期学到的算子。如上图，不同时期算子表现出明显的差异性，且序列的上升阶段对应值较大的热力图，下降阶段则反之，为非平稳时序数据建模提供了更好的可解释性。

4.4 算子谱分析

我们对算子进行了谱分析，以特征值距单位圆的平均距离衡量算子稳定性。从左到右三张子图分别表示：

• 
  

  仅包含时不变算子的单层模型；

  
  

• 
  

  包含时不变算子和时变算子的单层模型 ；

  
  

• 
  

  具有时不变算子和时变算子的多层模型；

  
  

算子特征值可视化

不同于以往库普曼预测器，我们首次提出时变分解和分层学习机制，能够学到更稳定的算子，从而提高训练过程的稳定性。

4.5 自适应滚动预测

不同于以往模型固定的输入输出场景，Koopa可利用到来的数据来自适应更新算子。我们提出一种滚动预测与算子更新结合的机制，该算法能使模型无需训练即可适配数据分布变化，进一步提高预测效果， 在非平稳的时间序列中取得了尤为显著的提升。

自适应机制提升预测效果

我们还基于库普曼算子的线性性质，首次针对动力系统的滚动式预测，提出了算子更新的加速版本，详细实现可参考论文附录。

五、总结

针对非平稳时序预测这一现实中广泛存在的科学问题，本文探索时间序列的动力系统，提出了一种库普曼理论驱动的高效时序预测模型。实验结果表明，该模型具有显著的效果与效率优势，预测可解释性以及自适应滚动预测的能力， 对于经济、气象、运维等领域具有优秀的应用潜力。

Illustration by Iconscout From Pablo Stanley

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球