破解预测坍塌! 全球首个万亿级流匹配时序大模型日晷开源

始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在，欢迎加入共同成长。A800/H20等算力6.25元/卡时，支持在线微调训练，及线部署和。

时序预测是气象、金融等领域的关键工具，但现有方法存在显著局限：统计模型缺乏泛化性，深度学习在数据稀缺时性能骤降，且主流技术仅支持确定性预测，难以捕捉时序内在的非确定性。更严峻的是，大规模预训练中普遍出现模式坍塌现象——模型因强先验损失函数陷入过平滑预测，丧失对异构分布的拟合能力。

为突破瓶颈，清华大学大数据系统软件国家工程研究中心提出日晷（Sundial），首个基于流匹配（Flow Matching）的生成式时序大模型，被ICML 2025接受为Oral文章。其核心创新在于：

一，针对时序预测的非确定性，提出基于流匹配的预测损失函数，能根据历史序列生成多条预测轨迹，并缓解时序大模型预训练时的模式坍塌。二，构建了首个万亿时间点规模的高质量时序数据集，发布了支持零样本预测的预训练模型。三，相较统计方法和深度模型，无需专门微调在多项预测榜单取得效果突破，具备毫秒级推理速度。其模型和代码已上线始智AI-wisemodel开源社区，欢迎体验。

模型和代码地址

https://www.wisemodel.cn/models/THUML/sundial-base-128m

https://www.wisemodel.cn/codes/THUML/Sundial/intro

01.

时序大模型

时间序列揭示了数据随时间的变化规律，时序预测在气象、金融、物联网等多个领域中发挥着重要作用。针对时序数据的统计学习，机器学习，深度学习方法层出不穷，然而，不同方法都有各自的优势区间：深度学习模型虽好，但在数据稀缺时容易出现性能劣化；统计学习方法虽快，但需逐序列拟合，缺乏泛化性。

训练数据与模型效果的规模曲线同样适用于时序分析

最近研究旨在构建时序大模型：在大规模时序数据上预训练，在分布外数据上预测（零样本预测）。由于不需要训练，其资源开销主要集中在推理，速度媲美 ARIMA 等统计方法，并拥有更强的泛化性。谷歌，亚马逊，以及 Salesforce 等公司相继自研时序大模型，用于在特定场景下提供开箱即用预测能力。

02.

非确定性预测

目前业界的深度模型主要支持确定性预测：给定历史序列，产生固定的预测结果。然而，时序预测存在非确定性，对预测结果的把握取决于信息的充分程度。

深度学习以数据驱动的方式建模时序变化的随机过程，实际观测到的序列也是上述随机过程的一次采样。

因此，时序预测不光存在信息完备的难题，即使信息充分，未来结果也存在一定的不确定性。决策过程往往更需要对预测结果的风险评估（例如方差，置信度等），因此概率预测能力至关重要。

03.

预测训练模式坍塌

概率预测并非难事。均方损失函数能建模高斯先验的预测分布，尖点损失函数（Pinball Loss）可实现分位数预测。

然而，为时序大模型赋予概率预测能力充满挑战：大规模时序数据往往呈现复杂多峰分布——相似的历史序列，在不同领域/样本中可能出现完全不同的未来变化。

时序预测的非确定性来自时序数据的分布异构性。时序数据还存在其他异构性：例如维度异构，语义异构等。目前时序大模型尚处于如何有效处理时序数据异构性的阶段

在大规模时序数据的复杂异构分布上训练，以往模型往往给出「过平滑」的预测结果（上图右）。

虽然从优化目标来看，该结果是全局最优的，但预测结果没有提供实际有效的信息。

作者团队将该现象称为时序模型「模式坍塌」，源自使用带先验的损失函数，限制了模型的假设空间 (Hypotheses Space)。

为缓解模式坍塌，Moirai使用混合分布处理模棱两可的预测情况。然而，混合分布依然引入了概率先验，不够灵活。

亚马逊Chronos将时间序列离散化，使用交叉熵优化学习弱先验的多峰概率分布。

但是，交叉熵损失依赖离散化，存在精度损失和词表外泛化（Out-of-Vocabulary）等问题，不够原生。

日晷相较此前时序大模型的区别：（1）时序原生性：无需离散化，使用 Transformer 直接编码连续时间值，突破语言建模（Language Modeling）（2）分布灵活性：不引入分布先验，基于生成模型学习灵活的数据分布，突破参数先验（Parametric Densities）

针对原生性和灵活性的矛盾，该工作深入原生连续编码和生成式建模，提出首个基于流匹配的生成式时序大模型。无需离散化，在连续值序列上进行处理和预测；无需假定预测分布，释放模型对大规模时序数据的学习能力。

04.

时序Transformer+流匹配生成

日晷模型主体为可扩展Transformer，使用重归一化，分块嵌入和多分块预测等技术适配时序数据特性，并融入了FlashAttention，KV Cache等进行效率优化。

日晷可视作一种ARMA模型（自回归和与移动平均）：Transformer自回归地学习任意长度的时间序列表征；基于该表征，时间流（TimeFlow）将随机噪声转换为非确定性预测结果

基于Transformer提取的上下文表征，研究人员提出时间流预测损失（TimeFlow Loss），将历史序列表征作为生成条件引入到流匹配过程中。

流匹配是生成式建模的前沿技术，通过学习速度场，将简单分布变换为任意复杂分布，从简单分布中采样随机噪声，能够生成服从复杂分布的样本。

所提出的损失函数不引入任何概率先验，模型将采样随机性引入训练过程，扩展了预测分布的假设空间，增强了模型的拟合能力，使其能更加灵活地处理时序数据的分布异构性。

推理时，通过多次从简单分布中采样，模型能够生成多条符合历史变化的预测轨迹；基于多条预测样本，能够构建预测序列的分布，从而估计预测值，方差和置信区间等。

日晷可多次采样生成未来可能出现的情况，隐式构建预测值的概率分布，使用者可在此基础上计算关心的分布指标，或者引入反馈信号进行调优

05.

万亿时间点预训练

该工作构建了领域最大的时序数据集TimeBench，由真实数据和合成数据构成，覆盖气象、金融、交通、能源、物联网等多个领域，包含小时到日度等多种采样频率和预测时效，总计万亿（10^12）时间点。

TimeBench由大量真实数据和少量合成数据组成，覆盖多种时序预测的应用相关领域

在万亿数据基础上，模型在扩展的数据量/参数规模中预训练，验证了生成式时序大模型的「规模定律」。

不同参数规模的模型训练曲线

06.

预测榜单效果

日晷在多项榜单中进行了测试，涵盖多种输入输出长度，包含点预测以及概率预测场景：

• GIFT-Eval 榜单：日晷的零样本预测能力超过此前Chronos，Moirai，以及分布内训练的深度模型。

GIFT-Eval 为 Salesforce 发布的预测榜单，包含24个数据集，超过144,000个时间序列和1.77亿个数据点，跨越7个领域，10种频率，涵盖多变量，短期和长期的预测场景

• FEV 榜单：日晷大幅超过 ARIMA 等统计方法，取得了与 Chronos 相当的效果，仅需1/35的推理时间。

GIFT-Eval 为 AutoGluon 发布的预测榜单，包含27个数据集，指标从左到右依次为：概率预测（WQL），点预测（MASE）和推理时间（ms）

• Time-Series-Library 榜单：日晷取得了第一的零样本预测效果，随参数规模扩大，效果持续提升。

07.

开箱即用模型

目前开源的基础模型，仅需不到十行代码，就可调用模型进行零样本预测，并提供了均值预测，分位数预测，置信区间预测等示例。

模型可在CPU上直接推理，生成多条预测结果的时间不到一秒。

日晷结合了连续值编码、Transformer和生成式预测目标，缓解了时序数据预训练的模式坍塌问题。通过万亿规模预训练和工程效率优化，模型提供了开箱即用预测能力和毫秒级推理速度。

所提出的生成式预测范式有望扩展时序模型的应用前景，使其成为许多行业的决策工具。

未来，该工作计划探索在多变量预测场景下的训练和微调技术，融入特定场景下的机理知识和决策反馈，进一步释放时序大模型的泛化性和可控性。

----- END -----

wisemodel相关：

系统升级：

系列模型：

关于wisemodel更多

1

欢迎持续关注和支持

开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。

2

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn

3

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。

4

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。

向上滑动查看