基于层级时间标记LLM 迁移预测框架，以层级时间标记重构移动预测

编辑丨%

城市中的人类出行并非连续、均匀的时间序列。通勤、周末出游、周期性活动，构成了一种强烈的「节律结构」。但现有的人类移动预测模型，大多仍将轨迹视作等间隔时间点的线性序列：要么难以捕捉长期依赖，要么在序列拉长后计算成本迅速失控。

来自美国波士顿东北大学（Northeastern University）等的研究团队提出RHYTHM（Reasoning with Hierarchical Temporal Tokenization for Human Mobility），尝试用一种更接近人类行为组织方式的视角，重构移动预测问题：先把时间「拆成有意义的单位」，再让大模型进行推理。

相关信息以「RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility」为题，发布在 arxiv。

论文链接：https://arxiv.org/abs/2509.23115

把连续时间，拆成「日」与「周」的层级结构

历史上，预测人们的移动方式一直是个挑战，原因很简单：人类的移动往往是随机的。然而，仔细观察，你可能会看到人体运动的规律或节奏。掌握这种节奏，也许就能预测人们的移动。

RHYTHM 的第一步不是建模，而是时间重编码。研究者将用户的历史轨迹按固定长度切分为多个片段（，每个片段内部用注意力机制建模短期行为模式，而片段之间再通过更高层级的注意力捕捉跨天、跨周的长期依赖。

图示：RHYTHM 的开发设想。

这种层级时间标记（hierarchical temporal tokenization）带来两个直接结果：一是显著缩短模型需要处理的有效序列长度，二是显式保留了人类移动中最关键的周期结构，而不是让模型困在冗长序列中自闭式学习。

冻结的大模型，只负责「理解与推理」

与直接微调大模型不同，RHYTHM 选择将预训练 LLM完全冻结，只把它作为一个通用的序列推理引擎。每个时间片段会被配上对应的语义描述提示（例如该时间段的轨迹特征），这些提示先由 LLM 离线编码成语义向量，再与时间标记后的轨迹表示融合。

这样一来，LLM 不需要在训练阶段反复参与前向计算，却仍然为模型提供了高层语义理解与跨片段推理能力，避免了上下文爆炸和算力浪费。

图示：RHYTHM 的拟议架构。

研究团队在三个真实世界的人类移动数据集上，将 RHYTHM 与多种主流方法进行对比。结果显示，在总体预测准确率上，RHYTHM 平均提升2.4%；在更具不确定性的周末场景中，提升幅度达到5.0%。与此同时，由于序列被显著压缩、LLM 主干被冻结，模型训练时间减少了24.6%。

团队还用七天的的运动数据测试了 RHYTHM，发现它能可靠预测接下来一天、接下来几天和接下来一周的运动。理论上，它其实可以预测更远的未来，但误差也会因此而更大。

这些结果表明，性能提升并非来自更大的模型或更长的历史输入，而是来自更符合行为规律的时间组织方式。

一个关键转向

在遇到极端事件时，人们都想预知未来，以便自己能做出更及时的反应。想要达到这一点，RHYTHM 就不能对预训练 LLM 的质量一直保持高度依赖。在未来的扩展中，团队可能会整合自回归解码，以更接近逐步模拟人类移动决策。

相关报道：https://techxplore.com/news/2026-01-ai.html