可处理上万变量，攻克高维时序预测难题！华人团队开源模型、基准

新智元报道

编辑：LRST

【新智元导读】华人团队开源新模型U-Cast，像「放大镜+过滤器」一样，从上万条时间序列里秒抓关键层级，预测更快更准；同步发布十领域真实大数据集Time-HD，供全球研究者免费练手，推动高维时序预测进入「ImageNet时刻」。

从金融市场的上千支股票，到智慧城市交通网络的上万个传感器，我们正全面进入一个由高维时间序列数据驱动的时代。

然而，当前主流的时间序列预测（TSF）模型，大多仍停留在仅包含几个或几百个变量的低维环境中进行评估（Table 1）。

当面对成千上万个变量构成的高维复杂系统时（Time-HD），则往往在效率与性能上表现出明显的局限性。

此外，大规模数据集已被证明是多个研究领域取得突破的关键支撑。

例如，CV中的ImageNet、MS COCO，NLP中的GLUE、SQuAD，以及Graph中的OGB，都在推动相应领域的发展中发挥了决定性作用。

然而，在时序预测领域，始终缺乏同类的大规模基准，这使得研究进展受到制约。

进一步地，高维环境才能真正释放通道依赖型模型的价值。

而在现有的低维数据集上，通道依赖型（Channel-Dependent, CD）模型相较通道独立型（Channel-Independent, CI）模型并未表现出稳定且显著的优势。

这一现象容易引发怀疑，即显式建模通道间关系是否真的有效？

之前有研究提出是维度数量本身限制了CD方法潜在优势的发挥。

通过理论分析（Theorem 1 and 2），他们证明了在高维环境下，当存在非冗余变量时，CD模型的贝叶斯风险（Bayes risk）始终低于CI模型，且这一优势会随着维度增加而不断扩大。

在此基础上，合成数据和真实数据的实验进一步验证了这一结论。

当数据维度变高时，即变量从几百个飙升到上万个时，时序预测会面临两个挑战：

1. 复杂的层级结构：在大规模系统中，变量之间往往呈现出隐含的层级关系（例如，金融市场中从板块到行业再到具体公司的层次）。现有模型大多无法有效捕捉这种多尺度关联 。

2. 效率与扩展性瓶颈：传统的依赖通道间交互的模型，在面对上千个变量时，其计算成本和内存消耗会呈指数级增长，变得不切实际。

埃默里大学的华人研究团队近期提出了全新的高维时序预测架构U-Cast，通过层级式潜查询网络高效建模多尺度依赖关系，并结合满秩正则化提升特征解耦能力，在预测精度与效率上均超越现有方法。

为了系统评估模型性能，研究团队同时发布了高维时序预测基准Time-HD，为未来相关研究提供了统一且可扩展的实验基准。

论文链接：https://arxiv.org/pdf/2507.15119

代码链接：https://github.com/UnifiedTSAI/Time-HD-Lib

这项研究强调了两个亟需突破的方向：设计更强大的CD模型，以及构建真正意义上的高维时序预测基准。

U-Cast

高效洞察层级奥秘

为应对上述两大挑战，研究者提出了U-Cast架构，其核心设计包括以下关键组件：

层级式潜查询网络（Hierarchical LatentQueryNetwork）：U-Cast不再依赖在所有变量间进行全局注意力计算的传统方式，而是引入一小组可学习的「潜查询」（latent queries）。

这些潜查询如同信息提取器，能够逐层从高维变量中筛选并压缩关键信息，从而高效建构数据的潜在层级结构，实现对复杂多尺度依赖关系的建模。

Channel Embedding

给定输入多条时间序列，T是时序输入长度，先通过Linear层获取其相应的embedding ， C代表channel数量（即维度），d代表embedding dimension。

Hierarchical Latent Query Network

每一层都用一个latent query（可学习）作为query与embedding做attention来达到降维（）的目的。

Hierarchical Upsampling Network

使用skip connection作为query参与attention来指导维度重建，可以在保留原有信息的基础上增加层次结构信息。

Output Projection

最后使用Linear层将d映射到时序预测长度S

全秩正则化（Full-Rank Regularization）

高维时间序列普遍存在冗余性，导致模型容易陷入学习重复或低效表示。

为此，U-Cast在训练过程中引入一种新颖的正则化目标，以约束表示空间保持更高秩的多样性。

该机制能够有效减少通道间冗余信息，促使模型学习到更加独立且结构化的特征表示，从而提升预测的精度与稳健性。

这里

优化目标（Overall Objective）

最终同时优化ground truth loss和研究者提出的Full-Rank Regularization loss

Time-HD

为高维预测设立新基准

为了验证U-Cast的性能并推动社区发展，研究团队构建了Time-HD——首个专为高维时间序列预测设计的大规模基准，具有以下特性：

高维多尺度：16个数据集，变量数从1161到20000，规模包括4个GB级、8个百MB级和4个十MB级，支持分布式和单卡训练。

领域广泛：涵盖神经科学、能源、交通、金融、流行病学、云计算、气象、社会行为等10个领域。

来源多样：同时包含合成与真实数据。Neurolib与SIRS基于微分方程模拟，适合科学建模与假设检验；其余为真实观测数据，用于检验模型在实际场景的泛化能力。

采样多频：覆盖毫秒、分钟、小时和天级采样，并采用频率相关预测步长，更贴近真实应用。

实验效果

精度领先：在16个数据集里，U-Cast在12个数据集的MSE指标上排名第一。与iTransformer相比，平均预测误差降低了15%

效率出众：U-Cast不仅预测得更准，还更快、更省资源。如下图所示，在达到最低预测误差（MSE）的同时，U-Cast的训练速度（12ms/iter）和显存占用（0.2GB）远低于表现相近的iTransformer（20.8ms, 2.8GB）等模型。

消融实验：验证了每个模块对U-Cast的影响，消融掉任何一个模块都会降低U-Cast的表现。

满秩约束到底是否有效？

上图展示了变量的协方差矩阵从随机初始化状态（Epoch 0）到较优收敛状态（Epoch 10）的演化过程。

随着训练迭代，协方差矩阵的结构发生了显著变化，由稠密逐渐转向稀疏。这表明满秩约束能够通过减少通道间的冗余，有效促进表示的解耦。

总结

研究人员通过提出U-Cast模型与发布Time-HD基准，为高维时间序列预测设立了新的标杆：

提供了性能卓越、效率优越的基线模型；

为研究社区探索更大规模、更真实场景的时序预测开辟了新方向。

随着配套代码库Time-HD-Lib的开源，未来高维时序预测研究有望迎来新一轮创新浪潮，助力时序预测迈向高维。

参考资料：

https://arxiv.org/pdf/2507.15119