MIT开发时空记忆框架，让机器人记住"钥匙放哪了"

一名汽车工厂工人能记住自己前一晚将半成品零件放在哪个储物箱，并能迅速返回取回。但与她并肩工作的机器人，却难以形成和调用这种"时空记忆"。

如今，麻省理工学院（MIT）的研究人员开发了一种长期记忆框架，让机器人能够快速构建并调用对复杂大型环境的详细心理模型。

未来，这项技术将允许工人直接对机器人助手说"去拿我们昨晚开始组装的那个零件"，机器人便能完成任务。

这一新方法将先进的地图表示与机器人在长期运动过程中收集的丰富环境描述相结合，使机器人能够快速访问这段记忆，并以自然语言回答关于环境的复杂问题。

该记忆框架在回答问题的准确性上优于现有最先进方法，且运行速度足以支持移动机器人实时使用。

除机器人领域外，这一方法还可应用于增强现实系统，帮助维修工人检测异常，或协助通勤者进行路线导航。

MIT航空航天系副教授、信息与决策系统实验室（LIDS）首席研究员、MIT SPARK实验室主任卢卡·卡洛内（Luca Carlone）表示："如果我们希望机器人与人类并肩工作、更好地与人类互动，它们就必须说人类的语言。机器人必须像人类一样对时间和空间进行推理。这正是我们方法的核心——将传统地图转化为基于语言的地图，让机器人更容易理解和调用。"

论文的第一作者是MIT研究生尼古拉斯·戈洛（Nicolas Gorlo），共同作者还有麻省理工学院前研究科学家、现任德国纽伦堡工业大学教授卢卡斯·施密德（Lukas Schmid）。该研究近期在计算机视觉与模式识别会议（CVPR）上正式发表。

时空记忆的构建

记忆使人工智能系统（如聊天机器人）能够回答复杂问题，并对与用户的历史交互进行推理。

卡洛内说："我们希望设计一种新型记忆——时空记忆，使AI驱动的机器人能够记住真实的交互和传感器观测数据。就像ChatGPT一样，但要扎根于现实世界，能够回答任何关于环境的问题，比如'我把钱包放哪了？'"

为构建这一记忆框架，MIT研究人员将两个研究方向融合：计算机视觉与机器人地图构建。

多模态计算机视觉模型能够理解并详细描述场景中的物体，但通常一次只能处理单个标注；而机器人地图构建框架虽能创建整个公寓或大学校园级别的三维地图，却往往缺乏对物体的详细描述，或计算成本极高。

MIT研究人员创建的方法被命名为"任意地点、任意时间、任意时刻的任意描述"（DAAAM），融合了两者的优点。

使用DAAAM时，机器人在环境中移动，会对所见物体附加丰富的描述。例如，机器人可能会记录MIT校园内某栋建筑叫做Stata中心，采用某种建筑风格；或者某个自行车架上停着五辆自行车，其中红色那辆有一个瘪胎。

这些详细信息被存储在以空间为基础排列的三维地图表示中，物体按区域分组。这样，机器人就能记住：那辆有瘪胎的红色自行车停在Stata中心外的自行车架上。

然而，现有技术在捕捉如此丰富的描述时，通常需要几秒钟才能标注少数几个物体。对于实时运行而言，这太慢了——机器人在短短几分钟的探索中可能就会看到数百个物体。

卡洛内补充道："机器人构建空间记忆的速度越快，它在环境中执行任务的效率就越高。"

提速的关键

为加快处理速度，DAAAM在机器人移动过程中对附近物体进行聚合，并采用优化方法选取关键帧进行标注。这些关键帧是能最清晰地呈现多个物体的图像，使系统能够并行描述多个物体，将计算速度提升十倍。

随着机器人探索空间，系统将每批标注信息附加到三维地图特定位置的多个物体上。

戈洛解释道："我们对每个物体只标注一次，因此我们的框架能在非常大规模的环境中实时运行。通过将物体聚类为区域，它能回答关于环境中物体和位置的各种查询。"

系统构建空间记忆后，还需从庞大的物体与描述数据库中高效检索信息。

为此，研究人员使用了一个大语言模型，调用多种工具快速检索特定信息，同时减少幻觉现象的发生。这使DAAAM能够在短短几秒内准确回答用户的问题。

例如，当用户询问机器人在MIT某栋建筑附近看到的某件雕塑时，DAAAM可以使用语义搜索工具根据"雕塑"这一关键词检索信息，也可以使用另一工具根据建筑位置进行检索。

经测试与其他方法对比，DAAAM的准确率提升幅度在21%至53%之间，具体取决于问题类型。

未来，研究人员希望进一步扩展DAAAM，使系统能够捕捉环境中发生的重要事件，并在系统回答中加入置信度评估。

戈洛表示："我们最终希望打造出能够协助完成任何任务的机器人。通过这一框架，我们正在为实现一个能完成任何指令的通用智能体奠定基础。"

本研究部分由美国陆军研究实验室和海军研究办公室资助。卡洛内目前正在亚马逊担任访问学者，但本文描述的工作在MIT完成，与亚马逊无关。

Q&A

Q1：MIT开发的DAAAM框架是什么？它能解决什么问题？

A：DAAAM（任意地点、任意时间、任意时刻的任意描述）是MIT研究人员开发的一种机器人长期时空记忆框架。它能让机器人在移动过程中对环境中的物体附加丰富描述，并将这些信息存储在三维地图中，从而实现对"物体在哪里""什么时候放的"等问题的准确回答，准确率比现有最先进方法提升21%至53%。

Q2：DAAAM框架是如何实现实时运行的？

A：DAAAM通过两项关键技术提升速度：一是在机器人移动过程中聚合附近物体，并用优化算法选取能同时清晰呈现多个物体的关键帧进行并行标注，将计算速度提升十倍；二是对每个物体只标注一次，避免重复计算。此外，系统借助大语言模型调用多种检索工具，能在几秒内准确响应用户查询。

Q3：DAAAM除了用于机器人，还有哪些应用场景？

A：除机器人领域外，DAAAM还可应用于增强现实系统，例如帮助维修工人快速发现设备异常，或为通勤者提供室内外路线导航支持。研究人员未来还计划让系统能够记录环境中发生的重要事件，并为回答加入置信度评估，进一步拓展其实用价值。