解锁动态：时间序列和时空数据大模型综述 | 周三直播·时序时空大模型读书会第一期

导语

受到大语言模型（LLM）在通用智能领域的启发，“大模型+时序/时空数据”这个新方向迸发出了许多相关进展。此次「」第一期将由香港科技大学（广州）助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、莫纳什大学博士生金明、澳大利亚新南威尔士大学讲师薛昊、美国佐治亚理工学院博士&松鼠AI首席科学家文青松五位发起人围绕"时间序列和时空数据大模型综述"直播分享，并进行本季读书会talk主题介绍。

直播将于北京时间5月8日晚19:00-21:00线上公开进行，欢迎感兴趣的朋友参与讨论交流！

分享内容简介

本期读书会作为「」系列读书会的第一期直播分享，集齐五位发起人老师围绕"解锁动态：时间序列和时空数据大模型综述"进行主题分享，主要分为时序时空大模型背景简介、本季读书会talk主题介绍、Time-LLM论文分享、发起人圆桌讨论总结等环节，旨在开启读书会导读，形成对时序时空大模型技术演进方向的初步认知。

分享内容大纲

Part1：时序时空大模型背景简介

梁宇轩老师首先将先后介绍时序时空数据、传统时序时空模型、大模型的相关背景。

之后进行“Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook”综述简要分享。该综述汇集了关于时间序列和时空数据的大型模型为中心的研究最新进展，涵盖四个关键方面：数据类型、模型类别、模型范围和应用领域/任务。此外也将介绍以方法学为分类的综述“Foundation Models for Time Series Analysis: A Tutorial and Survey”。

最后将介绍“Position Paper: What Can Large Language Models Tell Us about Time Series Analysis”论文，讨论大模型怎样赋能时序时空数据通用智能，包括大模型赋能增强器（LLM-as-Enhancer）、大模型赋能预测器（LLM-as-Predictor）、大模型赋能智能体（LLM-as-Agent）三个部分。

Part2：本季读书会talk主题介绍

专题一：时序大模型（姚迪老师）

• 时间序列和时空数据大模型综述

• 大模型赋能时序数据分析

• 时序数据基座模型

专题二：时空大模型（梁宇轩老师）

• 大模型赋能时空增强器（LLM-as-Enhancer）

• 大模型赋能时空预测器（LLM-as-Predictor）

• 大模型赋能时空智能体（LLM-as-Agent）

专题三：轨迹大模型（薛昊老师）

• 轨迹表征学习

• 大模型应用专题：POI轨迹预测，城市移动模拟生成

• 时序大模型介绍和背景

• Time-LLM介绍

• • 设计动机

  • 框架结构

  • 实验结果

• 其他有代表性的时序大模型工作

• • 例如OFA，LLMTime，TimesFM等

  • 未来方向展望

核心概念

• 时间序列 Time Series

• 时空数据 Spatio-Temporal Data

• 大语言模型 Large Language Model

• 基座模型 Foundation Model

• 深度学习 Deep Learning

• 轨迹 Trajectory

主持人介绍

（1）梁宇轩

梁宇轩，香港科技大学（广州）智能交通学域、数据科学与分析学域助理教授、博士生导师。长期从事人工智能与时空数据挖掘技术在城市计算等领域的跨学科交叉研究。在TPAMI、TKDE、AI Journal、KDD、WWW、NeurIPS、ICML、ICLR等多个权威国际期刊和会议发表高水平论文70余篇。谷歌学术引用量3700余次，h-index为30，多篇论文入选最具影响力KDD/IJCAI论文。长期担任TKDE、TMC等国际知名期刊审稿人，KDD、WWW、NeurIPS、ICML等国际顶级会议程序委员会成员，曾获评SIGSPATIAL杰出程序委员会成员。多次担任数据挖掘和人工智能顶级会议相关研讨会（UrbComp、AI4TS）的程序主席。曾获得新加坡数据科学联合会论文研究奖，第二十三届中国专利优秀奖，第四十九届日内瓦发明展银奖等海内外奖项，多项研究成果在京东智慧城市相关业务中落地应用。

（2）姚迪

姚迪，中国科学院计算技术研究所副研究员，硕士生导师，中国计算机学会高级会员，ACM SIGSPATIAL中国分会执行委员，主要研究方向为时空数据挖掘，异常检测，因果机器学习等。在KDD、WWW、ICDE、TKDE等领域内顶级学术会议和期刊发表论文30余篇，长期担任担任多个期刊会议的审稿人和程序委员会委员，获得中科院院长优秀奖，MDM最佳论文候选奖，入选微软亚洲研究院“铸星计划”，研究成果在阿里、网易、滴滴等多个互联网公司中应用。

（3）薛昊

薛昊，目前在澳大利亚新南威尔士大学（UNSW Sydney）计算机科学与工程学院担任讲师职位。他于2020年从西澳大利亚大学获得博士学位。在完成博士学位后，曾在RMIT大学计算技术学院和UNSW Sydney工作过。目前是澳大利亚国家科研委员会（ARC）卓越决策与社会自动化中心（ADM+S）UNSW分支的副研究员。研究兴趣包括时空数据建模、时间序列预测、基于语言生成的预测以及时间序列表示学习。

（4）金明

金明，澳大利亚蒙纳士大学（Monash University）博士。长期从事图神经网络与时序数据挖掘相关研究，在ICLR、NeurIPS、IJCAI、TNNLS、TKDE等多个权威国际期刊/会议发表高水平论文20余篇，谷歌学术引用量近1000余次，其科研工作曾入选IJCAI最具影响力论文。长期担任NeurIPS、ICLR、ICML、TPAMI、TNNLS、TKDE等国际知名会议/期刊程序委员会成员。研究兴趣包括时序/时空数据挖掘和动态图神经网络。

个人主页：https://mingjin.dev/

（5）文青松

文青松，美国佐治亚理工学院（Georgia Tech）电子与计算机工程博士，人工智能、决策智能和信号处理方向专家，在松鼠AI、阿里、Marvell等公司超10年的技术和管理经验，近100篇文章发表在人工智能相关的顶会与顶刊，多篇文章被AI顶会(NeurIPS, ICLR等)评选为Oral/Spotlight论文，两次入选IJCAI最具影响力论文并排名第一，两次获得AAAI人工智能系统部署应用奖，获得ICASSP Grand Challenge冠军。近期研究兴趣为智能时序与AI教育, 也是AI顶会 (AAAI, IJCAI, KDD, ICDM等) Workshop on AI for Time Series, Workshop on AI for Education的主要组织者之一。

个人主页: https://sites.google.com/site/qingsongwen8

本期主要参考文献

[1] Ming Jin, Qingsong Wen, Yuxuan Liang, et al.Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook. arXiv.org, 2023, abs/2310.10196

文献解读推文：

该综述主要将现有文献分类为两大类：时间序列分析的大型模型（LM4TS）和时空数据挖掘（LM4STD）。基于此，论文进一步根据模型范围（即通用与特定领域）和应用领域/任务对研究进行分类。论文还提供了一个全面的相关资源集合，其中包括数据集、模型资产和有用的工具，按主流应用进行分类。该综述汇集了关于时间序列和时空数据的大型模型为中心的研究的最新进展，强调了坚实的基础、当前的进展、实际应用、丰富的资源和未来的研究机会。

[2] Yuxuan Liang, Haomin Wen, Yuqi Nie, et al.Foundation Models for Time Series Analysis: A Tutorial and Survey.arxiv.org, 2024, abs/2403.14735

该综述旨在提供关于时间序列分析的基座模型（FM）的全面概述。现有相关综述主要关注FM在时间序列分析中的应用或流程方面，但它们通常缺乏对FM为何以及如何帮助时间序列分析的基本机制的深入理解。为了解决这个问题，该综述采用以方法论为中心的分类，勾勒出时间序列FM的各种关键要素，包括模型架构、预训练技术、适应方法和数据模态。此外，该综述还探讨了时间序列FM未来可能的研究方向。

[3] Ming Jin, Yifan Zhang, Wei Chen, et al.Position Paper: What Can Large Language Models Tell Us about Time Series Analysis.arxiv.org, 2024, abs/2402.02713

该Position Paper采用以方法论为中心，旨在描述大模型如何赋能时间序列分析，包括大模型赋能增强器（LLM-as-Enhancer）、大模型赋能预测器（LLM-as-Predictor）、大模型赋能智能体（LLM-as-Agent）三个部分。从以上三方面入手介绍了相关代表性论文与未来方向。

[4] Azul Garza, Max Mergenthaler-Canseco.TimeGPT-1. arXiv:2310.03589, 2023

文献解读推文：【https://zhuanlan.zhihu.com/p/665409859】

业界首个时序基础模型TimeGPT，并开放了相关模型的API（https://docs.nixtla.io/）供用户体验。

[5] Xingchen Zou, Yibo Yan, Xixuan Hao, et al.Deep Learning for Cross-Domain Data Fusion in Urban Computing: Taxonomy, Advances, and Outlook. arXiv:2402.19348, 2024

随着城市的不断发展，城市计算通过利用不同来源（例如地理、交通、社交媒体和环境数据）和模态（例如时空数据，视觉和文本模态）的跨域数据融合的力量，成为可持续发展的关键学科。最近，看到利用各种深度学习方法促进智慧城市跨域数据融合的上升趋势。为此，提出了第一篇综述——系统地回顾了为城市计算量身定制的基于深度学习的数据融合方法的最新进展。与之前的综述相比，本文更关注深度学习方法与城市计算应用的协同作用。此外，还阐明了大型语言模型（LLM）和城市计算之间的相互作用，提出了可能彻底改变该领域的未来研究方向。

[6] Wei Chen, Yuxuan Liang, Yuanshao Zhu, et al.Deep Learning for Trajectory Data Management and Mining: A Survey and Beyond. arXiv:2403.14151, 2024

该论文全面回顾了深度学习在轨迹数据管理和挖掘的发展和最新进展。首先定义轨迹数据并简要概述了广泛使用的深度学习模型。系统地探索了深度学习在轨迹管理（预处理、存储、分析和可视化）和挖掘（轨迹相关预测、轨迹相关推荐、轨迹分类、行程时间估计、异常检测和移动性生成）中的应用。值得注意的是，本文还概括了大型语言模型（LLM）的最新进展，这些进展具有增强轨迹计算的潜力。此外，本文总结了应用场景、公共数据集和工具包，并最后概述了 DL4Traj 研究当前面临的挑战并提出了未来的方向。

其它补充参考文献

1. Y. Zheng et al., Urban computing: concepts, methodologies, and applications. TIST 2014.

2. G. Jin et al., Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey. TKDE 2023.

3. Y. Liang et al., Modelling Trajectories with Neural Ordinary Differential Equations. IJCAI 2021.

4. Y. Liang et al., TrajFormer: Efficient Trajectory Classification with Transformers. CIKM 2022.

5. Y. Liang et al., Fine-grained Urban Flow Prediction. WWW 2021.

6. Y. Xia et al., Deciphering Spatio-Temporal Graph Forecasting: A Causal Lens and Treatment. NeurIPS 2023.

7. Y. Liang et al., AirFormer: Predicting Nationwide Air Quality in China with Transformers. AAAI 2023.

8. M. Jin et al., Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook. arXiv 2023.

9. M. Jin et al., Position Paper: What Can Large Language Models Tell Us about Time Series Analysis. arXiv 2024.

10. Y. Liang et al., Foundation Models for Time Series Analysis: A Tutorial and Survey. arXiv 2024.

11. Y. Liang et al., Exploring Large Language Models for Human Mobility Prediction under Public Events. arXiv 2023.

12. X. Xu et al., Temporal Data Meets LLM -Explainable Financial Time Series Forecasting. arXiv 2023.

13. Q. Zhang et al., Spatio-Temporal Graph Learning with Large Language Model. Openreview 2023.

14. S. Zhang et al., TrafficGPT: Viewing, Processing and Interacting with Traffic Foundation Models. arXiv 2023.

15. Y. Yan et al., UrbanCLIP: Learning Text-enhanced Urban Region Profiling with Contrastive Language-Image Pretraining from the Web. WWW 2024.

16. M. Jin et al., Time-LLM: Time Series Forecasting by Reprogramming Large Language Models. ICLR 2024.

17. X. Liu et al., UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting. WWW 2024.

18. C. Liu et al., Spatial-Temporal Large Language Model for Traffic Prediction. arXiv 2024.

19. X. Wang et al., Where Would I Go Next? Large Language Models as Human Mobility Predictors. arXiv 2024.

20. X. Liu et al., LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting. NeurIPS 2023.

21. Z. Zhou et al., Large language model empowered participatory urban planning. arXiv 2024.

22. S. Lai et al., LLMLight: Large Language Models as Traffic Signal Control Agents. arXiv 2024.

23. Jin M, Koh H Y, Wen Q, et al. A survey on graph neural networks for time series: Forecasting, classification, imputation, and anomaly detection[J]. arXiv preprint arXiv:2307.03759, 2023.

24. Xue H, Salim F D. PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting[J]. 2022.

25. Zhou T, Niu P, Wang X, et al. One Fits All: Power General Time Series Analysis by Pretrained LM[J]. arXiv preprint arXiv:2302.11939, 2023.

26. Sun C, Li Y, Li H, et al. TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series[J]. arXiv preprint arXiv:2308.08241, 2023.

27. Chang C, Peng W C, Chen T F. Llm4ts: Two-stage fine-tuning for time-series forecasting with pre-trained llms[J]. arXiv preprint arXiv:2308.08469, 2023.

28. Jin M, Wang S, Ma L, et al. Time-llm: Time series forecasting by reprogramming large language models[J]. arXiv preprint arXiv:2310.01728, 2023.

29. Defu Cao, Furong Jia, Sercan O Arik, Tomas Pfister, Yixiang Zheng, Wen Ye, and Yan Liu. 2023. TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting. arXiv preprint arXiv:2310.04948 (2023).

30. Xu Liu, Junfeng Hu, Yuan Li, Shizhe Diao, Yuxuan Liang, Bryan Hooi, and Roger Zimmermann. 2023. UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting. arXiv preprint arXiv:2310.09751 (2023).

31. Santosh Palaskar, Vijay Ekambaram, Arindam Jati, Neelamadhav Gantayat, Avirup Saha, Seema Nagar, Nam H Nguyen, Pankaj Dayama, Renuka Sindhgatta, Prateeti Mohapatra, et al. 2023. AutoMixer for Improved Multivariate Time-Series Forecasting on BizITOps Data. arXiv preprint arXiv:2310.20280 (2023).

32. Garza A, Mergenthaler-Canseco M. TimeGPT-1[J]. arXiv preprint arXiv:2310.03589, 2023.

33. Rasul K, Ashok A, Williams A R, et al. Lag-Llama: Towards Foundation Models for Time Series Forecasting[J]. arXiv preprint arXiv:2310.08278, 2023.

34. Woo G, Liu C, Kumar A, et al. Unified training of universal time series forecasting transformers[J]. arXiv preprint arXiv:2402.02592, 2024.

35. Goswami M, Szafer K, Choudhry A, et al. MOMENT: A Family of Open Time-series Foundation Models[J]. arXiv preprint arXiv:2402.03885, 2024.

36. Gao S, Koker T, Queen O, et al. UniTS: Building a Unified Time Series Model[J]. arXiv preprint arXiv:2403.00131, 2024.

37. Ansari A F, Stella L, Turkmen C, et al. Chronos: Learning the language of time series[J]. arXiv preprint arXiv:2403.07815, 2024.

读书会阅读材料较多，为了更好地阅读体验，可扫描下方二维码进入集智斑图页面，阅读并收藏感兴趣的论文。

https://pattern.swarma.org/article/293

直播信息

时间：

2024年5月8日（周三）晚上19:00-21:00（北京时间）。

1、集智俱乐部 B 站免费直播，扫码可预约。

2、本期读书会公开进行，扫码即可直接获取读书会回看权限。欢迎感兴趣的朋友报名新一季时序时空大模型读书会，加入群聊，获取系列读书会回看权限，成为“Time-LLMs”社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动社区的发展。

斑图地址：https://pattern.swarma.org/study_group_issue/671

报名成为主讲人：

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：

时序时空大模型读书会招募中

现代生活产生了大量的时序数据和时空数据，分析这些数据对于深入理解现实世界系统的复杂性和演化规律至关重要。近期，受到大语言模型（LLM）在通用智能领域的启发，"大模型+时序/时空数据"这个新方向迸发出了许多相关进展。当前的LLM有潜力彻底改变时空数据挖掘方式，从而促进城市、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时空分析智能形式迈进。

集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学（广州）助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人，共同发起以，鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力，共学共研相关文献。读书会第一期分享从5月8日（周三）19:00 公开直播，后续分享时间为每周三19:00-21:00（北京时间）进行，预计持续10-12周。欢迎感兴趣的朋友报名参与！

详情请见：