Nature子刊！北航-联通开源Diviner非平稳时间序列预测模型，解决超长序列预测难题

始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区将努力打造成huggingface之外最活跃的中立开放的AI开源社区。“”即开源共享计划，自研的开源模型和数据集，以及基于开源成果衍生的开源模型和数据集等，欢迎发布到wisemodel.cn社区，方便大家更容易获取和使用。

Diviner模型是一种深度学习模型，用于解决长期5G网络流量预测的非平稳性问题。模型设计包括稳定过程和分层结构，以捕捉多尺度稳定特征。在处理复杂流量模式的大型端口月级预测中，Diviner表现出显著的性能提升。Diviner模型由北航与联通合作开发，目前模型已经发布到了始智AI wisemodel.cn开源社区平台，时间序列领域目前的开源模型相对较少，欢迎研究时间序列模型方向的朋友也把更多这个方向的开源模型和数据集等发布到wisemodel社区。

https://wisemodel.cn/models/CapricornGuang/Diviner（模型地址）

通过广泛的实验，Diviner模型展现了其在各种预测场景中的适用性，无需任何修改即可应用，显示出解决更广泛工程问题的潜力。Diviner提出的多尺度稳定特征提取与建模包含以下两部分。

Diviner框架图

一、研究背景和挑战

1.时间预测的重要性与挑战

长时间序列预测在各类领域上有着广泛的应用，如气象预报，电力建设，网络容量规划等。现有的时序预测算法建模非平稳序列的能力不足，长期预测效果较差，且在实际应用时容易受到随机因素的干扰。真实场景下时间序列具有高度不平稳的性质，深度模型难以从复杂的变动中建模稳定时序特征，这也是长时间序列预测的主要瓶颈。

Diviner Jena 车流量预测效果图

行业常用方法是将现有预测方法的范围扩大来进行长期预测，但这种方法对大跨度预测无效，因为大跨度会暴露时间序列的非平稳性，导致性能严重退化。真实世界的时间序列数据的固有非平稳性由多尺度时间变化、随机扰动和异常值引起，带来各种挑战。

2.长期预测的难点：非平稳性问题

长期预测揭示了时间序列数据的非平稳性，降低了现有方法的性能。现实世界中的非平稳性源自多尺度时间变化、随机扰动和异常值，带来多种挑战：(a) 多尺度时间变化要求模型全面考虑时间序列中的非平稳模式。(b) 随机因素要求模型具有高鲁棒性。(c) 数据分布转移问题源于时间序列非平稳性。

长期时间序列预测不平稳性归因图

研究团队开发了一个名为Diviner的深度学习模型，旨在通过整合稳定过程和多尺度特征来应对非平稳时间序列的建模挑战。该模型在5G网络流量预测任务中展现了优于现有技术的性能，特别是在处理具有复杂流量模式的大量端口时。此外，Diviner显示出广泛的适用性，能够在多种预测场景中无需调整即有效应用

二、Diviner模型简介

1. 平滑滤波器注意力机制：特征尺度调整

平滑滤波器注意力机制是Diviner模型的核心组件之一，它基于Nadaraya-Watson回归，调整特征尺度，使模型能够从不同尺度处理时间序列并访问非平稳时间序列中的多尺度变化特征。该机制通过一个可学习的核函数和自掩蔽操作来实现，前者可以缩小（或放大）变化以适应特征尺度的调整，后者则有助于消除异常值。在1D时间序列的情况下，通过自适应加权平均值来估计回归值，其中自适应权重随内部变化（减小或增加）而变化，实现了特征尺度的动态转换。这种机制不仅可以过滤掉随机成分，还可以动态调整特征尺度，从而全面访问时间序列。

更适用于非平稳时间序列的特征变换模块

2. 差异注意力模块：稳定规律的发现

差异注意力模块通过计算稳定偏移特征之间的内部联系来发现非平稳时间序列中的稳定规律，从而克服不均匀分布的干扰。具体来说，该模块包括差分和累积求和（CumSum）操作，这两个操作位于自注意力机制的两端，通过连接每个时间步的偏移来捕捉非平稳时间序列内部的联系。差分操作将趋势中的小变化与长期趋势分离开来，使时间序列在固定的平均水平附近稳定变化，并且分布变化较小。然后，通过自注意力机制连接偏移，捕捉时间序列变化中的时间依赖性。最后，使用累积求和操作累积偏移特征，生成符合发现规律的非平稳时间序列。

更适用于非平稳时间序列的特征变换模块

三、实验设计：数据集、评估指标和实验设置

1. 数据集

为了验证DIVINER模型的有效性，团队选取了7个具备优良预测效果的基线模型进行对比，并在在涵盖天气，电力，经济，温度，控制，网络等领域的7个公开数据集上进行实验，实验结果图下表1，表2。长期预测性能在MSE和MAE指标上相比于最优基线取得20.87%，15.38%的相对提升， 平均预测性能在MSE和MAE指标上相比于最优基线取得16.44%，11.45%的相对提升。

2. 评估指标

为了评估模型的性能，采用了均方误差（MSE）、平均绝对误差（MAE）和平均绝对比例误差（MASE）作为评估指标。这些指标能够量化预测值与真实值之间的差异，其中MSE和MAE直观地反映了预测误差的大小，而MASE则提供了一个标准化的误差评估，有助于在不同的时间序列数据集上比较模型性能。

四、实验结果与分析：Diviner模型的性能优势

1. 与最先进方法的性能比较

Diviner模型在时间序列预测实验中，MSE和MAE指标上相对最优基线分别提升了16.44%和11.45%。在长期预测上，性能提升了20.87%(MSE)和15.38%(MAE)，表明其强大的长期趋势建模能力。短期预测提升了10.66%(MSE)和6.89%(MAE)，展现了快速准确预测短期变动的能力。另外，尽管从总体上讲各类模型的预测误差随着预测长度的增长而不断上升，DIVINER模型相比于最优的基线模型也有着更加稳健的表现。

2. Diviner在复杂真实流量数据上的性能

实验中使用中国联通提供的智能都市网络中的5G服务网络端口流量数据集（NPT），包括了2021年全年每15分钟记录一次的大量真实世界都市网络流量端口数据。数据集分为三个子集：NPT-1、NPT-2和NPT-3，分别包含{18, 5, 5}个端口的数据。为了进行训练和测试，数据集按照9:1的比例按时间顺序划分。

Diviner模型在5G网络流量预测方面展现了显著的性能优势。在NPT数据集上，Diviner在MSE上平均降低了38.58%（0.451 → 0.277），在MAE上平均降低了20.86%（0.465 → 0.368）。在不同预测跨度的可扩展性方面，Diviner的dMSE 130（4.014% → 0.750%）和dMAE 30（2.343% → 0.474%）远低于先前的艺术水平，表明当预测范围变长时，性能退化较小，预测鲁棒性显著提高。

3. 深入讨论非平稳建模能力与预测效果

在NPT-2和NPT-3实验中，Diviner模型在长期网络流量预测的准确性和鲁棒性方面显著超越现有技术水平。通过平均MASE误差比较，Diviner在基于Transformer框架的模型中表现最佳，其次是Autoformer、Transformer和Informer。这一结果验证了考虑非平稳性可以增强神经网络模型的时间序列建模能力，尤其是多尺度非平稳性建模能进一步提升深度学习模型的预测性能。

Diviner大尺度天气预测效果图

五、讨论与展望：Diviner模型的局限性与未来研究方向

1.对数据模式的临界转变的处理

Diviner模型在处理数据模式的突变时遇到困难，因为这些突变可能由未测量的外部因素引起。模型能识别时间序列的内在规律，但无法预测未见过的模式。未来研究可探索动态网络方法来检测这些临界转变。

2. 预测时间跨度和历史数据量的影响

Diviner模型在短期预测或历史数据有限时，性能可能与其他深度学习模型相近，因为这些情况需要更强的可扩展性和更多信息挖掘。未来研究应探索如何提升Diviner在这些情况下的性能。尽管Diviner在多个领域具有潜力，但面临挑战和局限。研究需增强模型的适应性和泛化能力，以及改进对数据模式转变的处理，以扩大应用范围和提升预测精度。

论文标题：Long term 5G network traffic forecasting via modeling non-stationarity with deep learning

作者：Yuguang Yang, Shupeng Geng, Baochang Zhang, Juan Zhang, Zheng Wang, Yong Zhang, David Doermann

机构：Beihang University, Zhongguancun Laboratory, China Unicom, University at Buffalo

论文链接：https://www.nature.com/articles/s44172-023-00081-4

编辑：赵雅鑫

----- END -----

欢迎加盟

始智AI wisemodel社区自2023年9月上线以来，取得了积极的进展，初步形成一定的影响力，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员（根据个人意向可备注“求职”或“创业”）

系统升级

系列模型：

欢迎投稿

欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。

持续关注和支持

开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护。期待更多开发者将开源成果发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，可以申请加入wisemodel社群，持续关注社区动态。

关于始智AI wisemodel.cn开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将努力打造成“HuggingFace”之外最活跃的社区，汇聚主要AI开源模型和数据集等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。