KTH联合Google Research等提出GESTO，实现以人为中心的时空记忆高效动态场景推理

为了使机器人能够长期部署在真实环境中，仅仅让系统记忆“空间中存在何物及其位置”仍然不够，还需进一步理解“人如何使用这些物体，以及这些交互如何构成更高层次的活动”。现有的4D场景图虽然能够刻画物体与空间随时间的演化历程，却普遍缺乏对活动结构的表征。而视频理解中的活动层次则多局限于帧或片段层面，未能与持续存在的3D场景实体建立有效关联。

针对上述问题，本文介绍由谷歌研究院与慕尼黑工业大学等机构联合提出的 GESTO 框架，一种以人为中心的时空记忆表征，GESTO将4D场景图与两级活动层次相耦合，以支持动态场景中的回溯式推理。具体而言，GESTO 从RGB-D序列中自动提取带时间戳的人-物原子交互，将其关联至持久化的物体节点，进而将相关交互组织为目标驱动的事件，并借助事件上下文来修正不确定的物体关联。实验表明，GESTO 在新增的 Space2Event 与 Event2Space 数据集上分别达到0.73与0.75的性能，这验证了活动层次与3D空间关联的融合可以显著增强与人类活动相关的时空推理能力。

论文题目：
GESTO: Human-Centric Spatio-Temporal Memory for Reasoning in Dynamic Scenes
文章链接：
https://arxiv.org/abs/2608.10886

一、研究背景

服务机器人在家庭、办公室等共享空间中，经常需要回答带有时间和活动语义的问题，如“今天早上用哪个杯子喝咖啡”，“红色的杯子是否已清洗”，“午后人们经常在哪个房间聊天”。这类问题并不只是物体检索，也不是单纯的事件分类，而是要求机器人把物体、地点、时间和人的行为连接成可查询的长期记忆。

如上图所示，GESTO 的目标是让查询可以跨越多个层级，从自然语言问题映射至高层事件（如“制作咖啡”），扩展至原子交互（如“清洗杯子”，“放置红色杯子”，“操作咖啡机”），最终回溯至4D场景图中具体的物体、位置和时间证据。

二、本文方法

本文方法的核心目标是构建一个统一表示 ，同时记录动态空间结构、人类活动层级，以及二者之间的关联关系。论文将该表示定义为：

其中， 是时空场景图， 是层级活动图， 是连接活动和场景实体的关联边。 维护持续物体节点 和地点节点 ，记录哪些实体存在、它们在哪里、何时被观测到。 则包含两级活动：较细粒度的是原子交互，较粗粒度的是目标驱动事件。

上图展示了 GESTO 的整体流程。系统首先将 RGB-D 观测流切分为短时序片段，借助视觉语言模型提取人‑物原子交互，并将其中的目标物体与 4D 场景图中的持久物体节点进行关联。随后，系统将这些原子交互组织为更高层次的目标驱动事件，并利用事件上下文修正未匹配或置信度较低的物体关联。最终生成的增强场景图 可被关系感知的查询工具调用，供智能体进行检索，从而支持推理在物体、位置、原子交互与高层事件之间灵活跳转。

2.1 用两级活动图连接原子交互和目标事件

GESTO 中的原子交互定义为：

其中， 表示人， 表示动作， 表示被交互的目标物体， 表示交互发生的时间区间。例如，“上午 8:00 至 8:01 之间，有人冲洗了蓝色杯子” 就是一个原子交互。高层事件则定义为：

其中， 是一组相关的原子交互， 是语义摘要。事件的时间区间由其最早和最晚的组成交互决定。

如上图所示，活动图和时空场景图在最细粒度处被连接起来。每条关联边 将一个原子交互 关联到一个持续物体节点 。由于原子交互会组成目标驱动事件，物体节点又属于地点节点，这条边使高层事件可以继承具体物体、地点和时间证据。

2.2 从 RGB-D 观察流中提取并关联原子交互

GESTO 将输入流切分为 15 秒片段，利用 Cosmos-Reason2 [1] 提取其中的人‑物原子交互，输出目标物体标签及对应时间窗口内的逐帧边界框，作为后续与持续场景图节点关联的候选证据。几何一致性以交互边界框与 4D 场景图中候选物体跟踪框的平均 IoU 度量，语义一致性以交互标签与物体描述的文本嵌入相似度度量。本文采用 DAAAM [2] 作为场景图backbone，FastSAM [3] 生成物体掩码，sentence‑t5‑large [4] 计算嵌入，并设定阈值 、。

2.3 用事件上下文修正不确定的物体关联

GESTO 的一个关键设计是让关联边和事件结构相互修正。原子交互所属的高层事件可以帮助判断某个未连接的交互应该关联到哪个物体上。首先从初始估计 和 出发，进行一轮交替细化：

其中， 根据事件上下文修正交互-物体关联， 再根据更新后的关联重新检查事件归属。对于未链接的交互，GESTO 只在周围已关联的交互和事件共同指向单一候选物体时才补充边，避免凭空创建新物体从而带来干扰信息：

如果某个交互在物体关联修正后不再与原事件一致，LLM 判断模型会将它重新分配给相邻的事件，如果没有合适的事件就新建事件。

2.4 用关系感知智能体查询活动-空间记忆

在查询阶段，GESTO 在 DAAAM 的物体中心工具调用智能体基础上进行扩展，使其能够访问 中存储的事件、原子交互、关联物体、地点及时间区间。在自然语言问题中，智能体可以灵活地选择检索路径：既可从高层事件中访问原子交互与物体节点，也可以从特定物体或地点出发反向追溯相关活动，最终返回答案。该工具接口使 GESTO 能够有效解决传统物体记忆难以处理的两类查询：一是从空间到事件（如“红椅子被用来做什么”或“休息室里发生过什么”），二是从事件到空间（如“人在工作时使用了哪些物体”或“午饭后大家通常在哪个房间聊天”）。

三、实验结果

本文选取了三类基线方法进行对比。DAAAM 提供以物体为中心的4D场景图，ReMEMbR 提供长时程时空记忆，EGG 则为最相关的机器人基线方法。在评价指标方面，benchmark按照答案格式可以分为四类。其中，文本查询采用基于LLM的语义评分（0~1），二分类查询采用F1分数，时间查询以预测时间戳与GT误差在两分钟以内计为正确，节点查询因为GT点云没有公开，在该实验中是忽略掉的。此外，作者也新增了两个各含20个查询的专用测试集Space2Event（从空间实体查询活动）与 Event2Space（从活动查询空间实体），统一采用相同的LLM语义评分进行评测。

3.1 定量实验结果

上表展示了GESTO与基线方法在标准文本、二分类和时间查询上的性能。结果显示，GESTO分别取得0.71、0.75和0.70，显著优于DAAAM（0.43、0.58、0.10）和ReMEmbR（0.52、0.49、0.38），表明仅记录物体与观测历史不足以支撑活动推理，而显式构建交互与事件层级能带来更稳健的性能。更值得注意的是，GESTO完全自动构建记忆，其文本准确率（0.71）已略微超过EGG auto-caption（0.70）。而当EGG置于相同的自动输入下，三项指标会立马下降到0.33、0.29、0.50。这说明GESTO的优势并非源于额外标注，而在于其将自动抽取的活动证据组织为更适合查询的层级记忆结构。

3.2 消融实验结果

上表展示了GESTO各组件消融的实验结果。移除事件层级后，文本准确率从0.71降至0.52，时间准确率从0.70降至0.40，Space2Event从0.73降至0.53，表明复杂的交互难以直接回答时间与活动相关问题，需要将其聚合成事件来作为查询单位。当移除上下文感知关联机制后，约30%的交互因遮挡而无法进行几何匹配，时间准确率降至0.59，Space2Event和Event2Space分别降至0.65和0.61，这表明关联细化能够有效的缓解缺失链接带来的问题。

3.3 定性实验结果

上图展示了 GESTO 在第一人称视角数据上的可视化效果。本文采用相同的流程处理了 EgoLive 与 HOI4D，仅仅调整 Cosmos-Reason2 的提示词来适配第一人称输入。针对查询 “Do you know where I put the kettle after I poured the water?”，智能体按照 pours water、pours and places kettle、places on cabinet等已经验证过的关联交互来追溯证据，最终输出回答：水壶置于厨房白色柜子上。该实验表明 GESTO 的表示形式不依赖固定外部视角，只要输入能生成交互、物体与空间证据，其活动关联记忆结构就可以持续进行优化。

四、总结

GESTO 的核心贡献在于将机器人长期记忆从物体中心拓展至到具身动作中心。其并非仅存储帧级描述或物体轨迹，而是将原子人‑物交互、目标驱动事件、物体节点及地点节点整合在同一个可查询的图结构中。该层级活动关联机制在标准的时空问答和新增的活动‑空间查询任务上，均显著优于纯物体记忆基线及。同时，论文也指出了当前方法存在的局限，视觉语言模型在动作识别方面较为可靠，但在遮挡、相似物体区分及功能性物体关联等场景中仍存在误差，且长期部署中记忆规模将持续增长。

参考

[1] NVIDIA, “Cosmos-Reason2-8B: Physical ai common sense and embodied reasoning model,” https://huggingface.co/nvidia/Cosmos-Reason2-8B, Mar. 2026, hugging Face model card, updated March 10, 2026; accessed June 10, 2026.

[2] Gorlo N, Schmid L, Carlone L. Describe anything anywhere at any moment[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2026: 35002-35013.

[3] Zhao X, Ding W, An Y, et al. Fast segment anything[J]. arXiv preprint arXiv:2306.12156, 2023.

[4] Ni J, Abrego G H, Constant N, et al. Sentence-t5: Scalable sentence encoders from pre-trained text-to-text models[C]//Findings of the association for computational linguistics: ACL 2022. 2022: 1864-1874.

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈