当AI大模型读懂时间：时序与时空数据分析的范式革命

原文发表于《科技导报》2025 年第18 期 《面向时间序列和时空数据分析的大模型研究进展 》

近年来，大模型凭借其强大的序列建模能力、优异的表征学习潜力和灵活的预训练−微调范式，在自然语言处理和计算机视觉领域取得了突破性进展，也为时间序列和时空数据的挖掘分析带来新的发展机遇。本文综述了大模型在时间序列与时空数据分析中的研究进展，提出了未来研究亟需在可解释性增强、多模态联合建模以及模型架构创新等方面取得突破。

近年来，人工智能领域见证了基础模型（FMs）的崛起与蓬勃发展。基础模型从早期预训练语言模型发展到现在的大语言模型（LLMs）和视觉语言模型（VLMs），在多模态理解、推理和跨域泛化等方面展现出卓越性能。

值得注意的是，时间序列和时空数据与自然语言序列在序列结构上具有本质的相似性。这种结构上的相似性自然地引出一个关键问题：我们能否以及如何有效利用现有强大的LLMs，赋能通用的时间序列与时空数据的分析任务？或者说，能否借鉴LLMs的成功范式，构建专门针对时间序列与时空数据特性的基础模型？探索上述问题，将大模型的技术优势引入时间序列与时空数据的挖掘分析中已成为当下的学术前沿热点。

01

基础理论与关键技术

1.1 时间序列与时空数据分析

时间序列（time series）定义为一组按时间排序的随机变量的集合{Xt |t ∈ T}，时间序列的观测值可以认为是随机变量的实现。时空数据（spatio−temporal data）是指同时包含时间维度和空间维度的数据集，用于记录和分析时空动态变化规律及其内在关联。

1.2 LLMs

LLMs通常是具有大规模参数和计算能力的自然语言处理模型。这种大模型具有但小模型不具有的能力通常被称为“涌现能力”（emergent abilities），为序列建模带来了前所未有的潜力，并重塑了人类使用人工智能的方式。

1.3 预训练基础模型

预训练基础模型（PFMs）是指在大规模语料库上进行预训练的通用人工智能模型。随着PFMs的巨大成功，针对时间数据设计和预训练的基础模型也在不断涌现，但仍处于早期发展的阶段。

1.4 骨干网络

1）Transformer架构。其核心创新在于对注意力机制的利用，该机制允许模型动态地关注输入数据的不同部分。根据这种网络架构的变形，目前主流的框架可分为Encoder−decoder（编码器−解码器）、Encoder−only（仅编码器）、Decoder−only（仅解码器）3种，如图1所示。

图1 3种主流模型训练框架

2）扩散（Diffusion）模型。其通过一个迭代的正向扩散过程系统地、缓慢地破坏数据分布中的结构，然后学习一个反向去噪过程来恢复数据中的结构，从而得到一个高度灵活且易于处理的生成模型（图2）。

图2 扩散模型用于时间序列和时空数据分析

3）其他模型。除Transformer和扩散模型这类近年来备受关注的架构外，一些经典的深度学习模型，包括多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）和图神经网络（GNN）仍然是时间序列与时空数据分析领域的重要基石。

02

LLMs赋能时间序列与时空数据分析

自然语言处理领域LLMs的快速发展揭示了其在序列建模和模式识别方面前所未有的能力，这为时间序列与时空数据分析提供新的研究范式。我们基于LLMs的时序与时空数据分析方法，并依据模型架构设计将其划分为3类（图3）。

图3 微调LLMs组件设计分类

2.1 直接查询LLMs

PromptCast引入了一种新的基于提示（Prompt）的学习范式，在特定领域场景中，尤其是当结合领域相关的上下文提示和先进的预训练LLMs时，直接查询LLMs可能带来显著优势。

2.2 时间数据的标记化设计

Nie等提出了时间序列的补丁表示方法，保留了数据的原始相对顺序，并将局部信息聚合到每个补丁中。OFA、LLM4TS、TEST、TEMPO和Time−LLM等工作主要采用这种补丁表示方法对时间序列数据进行标记化。

2.3 提示设计

PromptCast为利用LLMs进行时间序列预测开发了基于模板的提示，而一些方法通过整合LLMs生成的或收集的背景信息来丰富提示设计。为应对分布偏移的挑战，TEMPO引入一个共享的提示池，以不同的键值对的形式存储，然后通过相似性分数匹配机制为微调选择最具代表性的软提示，从而让模型更好地利用已有的经验知识。

2.4 微调策略

微调作为一种强大的工具，能够使大型预训练模型适应于特定的任务和应用场景。作为一项标准做法，OFA微调了位置嵌入和归一化层，并冻结了自注意力层和前馈神经网络。TEMPO进一步使用低秩自适应（LoRA）微调自注意力模块，以适应不同的数据分布。LLM4TS提出了一种2阶段微调方法，从而保障在不破坏语言模型固有特性的基础上使得模型能够更好地适配各类不同域的数据及不同的下游任务。

2.5 集成LLMs作为模型组件

相较于依赖直接查询或微调LLMs来生成输出，一些研究选择将冻结的LLMs作为模块嵌入，以扩展和增强输入序列的特征表示空间。冻结的LLMs可以作为多阶段建模中的一个功能强大的组件，它提供对数据的中间处理或前一个组件的输出，并将它输入到随后的神经网络或回归分析。

03

构建专用的时间序列与时空数据基础模型

3.1 时间序列基础模型研究进展

自然语言处理和计算机视觉领域的基础模型近年来呈现指数级增长，而时间序列领域的基础模型研究仍处于早期阶段，近期已有一些开创性的工作开始填补这一空白（表1）。

表1 代表性时间序列基础模型汇总

TimeGPT−1是由Nixtla提出的第一个时间序列大模型，无需额外训练就可以在金融、电力、气象等各种领域生成准确的预测。在TimeGPT−1发布后，时间序列基础模型的发展进入加速阶段，包括Lag−Llama、TimesFM、Chronos、Moirai和Time−MoE等代表性工作。作为首个开源大型预训练时间序列基础模型，MOMENT将通过对时间序列的掩码预测任务进行预训练。Chronos直接采用与语言模型相同的交叉熵损失函数进行训练。Time−MoE采用逐点标记化（point−wise tokenization）方法进行时间序列嵌入以完整保留时序信息。

作为时序预测领域的新兴技术，时间序列基础模型各具优势，适用于不同的应用场景，但也伴随着一定的局限性，特别是在处理高频数据、长跨度预测任务时，其效果往往不及传统统计方法。当面对上下文信息不足的情况时，模型的泛化能力也会明显下降。此外，由于需要针对不同垂直领域独立开发，这些模型的训练过程通常需要消耗大量计算资源。

3.2 时空数据基础模型研究进展

相较于单一时间序列数据，时空数据普遍呈现出2个关键的基本特性：异质性与自相关性。这些固有特性不仅显著增加了时空数据建模的复杂度，也对基础模型提出了更高的泛化能力要求。当前时空数据基础模型的发展仍处于相对分散的状态，应用场景也呈现出明显的碎片化特征（表2）。

表2 代表性时空基础模型汇总

3.2.1 城市时空动态建模

针对城市时空数据的多模态特性，UrbanVLP提出一种视觉−语言−时空联合预训练框架，其核心创新在于设计时空对比学习策略，将不同模态的时空模式对齐到共享的潜在空间。类似的，CityFM专注于城市多任务泛化，实现跨场景迁移。OpenCity进一步引入地理编码先验知识，增强了模型对空间异质性的建模能力。UniST实现了对城市多样化时空动态性的统一建模和精准预测，展现出强大的通用性和泛化能力。

对于轨迹数据的PFMs，旨在从输入数据中学习通用的顺序模式。TrajFM采用轨迹屏蔽和自回归恢复机制来增强其学习能力。UniTraj轨迹基础大模型实现跨任务、跨区域的泛化能力，并在不同数据质量下保持鲁棒性。PTrajM则是引入 Trajectory−Mamba作为可学习模型，实现对连续运动行为的有效提取。

3.2.2 气象与地球系统建模

气象预测是时空数据基础模型的典型应用场景。谷歌的DeepMind研究所开发的天气预报模型GraphCast显著提升了中长期气象预测的精度。微软团队发布的ClimaX通过微调技术来解决广泛的气候和天气任务。上海人工智能实验室发布的FengWu大模型解决多种大气变量表征和相互影响的问题。华为提出的Pangu−Weather提前一周预测全球天气。

04

挑战与机遇

4.1 增强模型的可解释性

构建系统性理论框架以解析LLMs在时间序列和时空数据分析中的学习模式与应用逻辑，成为亟待突破的关键问题。此外，需研发适用于时间序列和时空数据的因果关系识别方法。

4.2 发展多模态模型

LLMs可通过适配学习构建多模态联合表示—既捕捉时序数据的序列依赖性特征，又保留其他模态的独特信息特性，实现跨时间分辨率的多模态信息融合，从而充分挖掘不同时间尺度下的互补信息，进一步提升任务表现。

4.3 适应数据分布偏移

最新的研究聚焦于领域对抗训练等技术，通过对齐不同领域的特征分布，推动模型学习跨域不变性特征；此外，元学习技术通过快速学习新分布的适配规则，仅需少量新分布数据即可实现模型对新分布的快速迁移，进一步强化了基础模型应对分布偏移的能力。

4.4 创新模型架构

传统的Transformer架构和基于它们的LLMs具有受限的上下文依赖记忆，特别是在处理长序列时面临挑战。需要创新性的方法，如稀疏注意力机制、高效的基于图的表示以及将Transformer与其他架构结合的混合模型。最近，谷歌提出的Infini−Transformer能够在有限的内存条件下处理极长的输入；Meta等开发新架构Megalodon实现了无限上下文处理能力。

05

结论

最新研究表明，大模型在时间序列和时空数据分析中展现出应用潜力。一方面，基于LLMs的提示工程、标记化和参数微调等技术，为自然语言与时序/时空数据的模态对齐提供了可行路径。另一方面，面向时序与时空特性的专用基础模型通过跨域预训练，逐步形成统一的时空动态表征能力。

当前研究仍面临若干挑战：

（1）时空数据的异质性和自相关性导致模型泛化能力受限，跨领域迁移时易受分布偏移影响；

（2）多模态对齐存在语义鸿沟，数值型时空数据与文本/视觉等模态的联合表征仍需突破；

（3）模型可解释性不足制约其在关键领域的可信应用。

未来，面向时间序列与时空数据分析的大模型需聚焦以下方向：

（1）模型架构创新，融合物理机理与数据驱动优势，提升对非平稳动态的建模能力；

（2）多模态协同学习技术突破，建立时空−语言−视觉的统一表征，实现跨模态知识迁移；

（3）可信赖性增强机制构建，发展因果推理、不确定性量化等技术提升模型可解释性。

本文作者：罗远波、孙嘉、陶俐芝

作者简介：罗远波，南方海洋科学与工程广东省实验室（广州），助理研究员，研究方向为时间序列建模与地理时空数据智能分析；陶俐芝（通信作者），江西师范大学鄱阳湖湿地与流域研究教育部重点实验室，助理研究员，研究方向为水文气象多尺度问题建模与分析。

文章来 源 ： 罗远波, 孙嘉, 陶俐芝. 面向时间序列和时空数据分析的大模型研究进展[J]. 科技导报, 2025, 43(18): 48−56 .

本文有删改，

点击面向时间序列和时空数据分析的大模型研究进展.pdf获取全文。

内容为【科技导报】公众号原创，欢迎转载
白名单回复后台「转载」

《科技导报》创刊于1980年，中国科协学术会刊，主要刊登科学前沿和技术热点领域突破性的研究成果、权威性的科学评论、引领性的高端综述，发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、科技新闻、科技评论、专稿专题、综述、论文、政策建议、科技人文等。