网易首页 > 网易号 > 正文 申请入驻

具身记忆赛道持续升温,长记忆迎来新 SOTA

0
分享至


IROS 2026 最佳论文启示录:没有长记忆的机器人,终将被淘汰。

作者丨邓哲敏

编辑丨齐铖湧

本月初在匹兹堡闭幕的 IROS 2026 将最佳论文奖颁给了 LT-Mem,这项研究让机器人重访同一空间时,能完整保留每个物体的位置变迁史,而非仅仅记住最新一次看到的样子。评委会从近两千篇收录论文中选中它,想必不仅是认可其扎实的工作,也是代表学界宣告:具身长记忆(long-term embodied memory)已经从一个工程补丁,变成了机器人领域公认的科学问题。

从实际角度考虑,通用机器人要规模化落地,需要以小时、天乃至周为单位持续运行,而不只是几分钟。没有长记忆,每次相遇都是初次见面,机器人只是一个个孤立的单次动作执行器;有了长记忆,它才能从一次性工具变成可以长期上岗的同事。

但解决这件事远不是扩大上下文窗口那么简单:持续涌入的多模态数据既无法全部存储,也无法全部检索;现实世界还在不断变化,新的观察既不能简单覆盖旧的,也不能无序堆叠;更棘手的是,一条错误的记忆会在之后的决策里被反复调用,错误由此层层放大。记忆如何写入、如何留证、如何纠错,都是需要被正面回答的问题,靠调几个工程参数解决不了。

AI科技评论注意到,在这一方向被顶会加冕的数月前,国内具身初创公司贝塔无限就已坐上牌桌。今年五月,贝塔的联合创始人陶帅在采访中明确表示:长效、多模态、时空记忆的缺失,是他们首先要重点突破的方向。随后,团队陆续发布 BetaMem 全时空多模态记忆架构、世界动作模型 BetaWAM 0.1、首款机器人多米。10 月 20 日,团队把 BetaMem 的写入学习、证据管理和自我改进机制写成了系统的方法与实验,挂上 arXiv。


论文交出的成绩单颇为亮眼:BetaMem 采用 9B 开源模型生成记忆,在 M3-Bench-robot、LoCoMo、OpenEQA 和 EgoLifeQA四项代表性记忆基准的对比评测中均取得 SOTA 成绩。 尤其在串联多次观察中的线索、回忆长时间跨度的事件、识别个人习惯等任务上,BetaMem 展现出明显优势——这些能力,正是机器人进入生活、持续积累对人与环境的了解所需要的。

LT-Mem 从多会话建图切入,把问题收窄到干净、可评测;BetaMem 则从记忆如何形成、如何验证、如何从失败中学习的系统视角,搭建完整的记忆底座。一边是顶尖学术单点攻坚摘得顶会桂冠,一边是国内团队以产业落地为目标搭建完整记忆底座,学术和产业在此交汇,足以证明长记忆是整个领域正在收敛的核心方向判断。

01


记忆这道题,学界做到哪一步

围绕机器人长期记忆,学界探索了许多方法。按年份罗列意义不大,AI科技评论想换个角度,看记忆回答了什么问题,还剩什么没回答。

第一类关注空间侧的记忆,也就是“这里有什么”。Hydra、ConceptGraphs 等三维场景图把物体、地点、房间组织成可被语言查询的关系网,Khronos 把时间引入动态环境建图,DynaMem 让移动操作机器人在物体被挪动后继续更新记忆,真机上对非静止物体的取放成功率平均达 70%,是静态系统的两倍以上。这一支空间关系清楚,但记住的主要是当下这一版世界长什么样。

第二类关注检测类的记忆,也就是“我见过什么”。ReMEmbR 把长时导航视频建成可检索的时空记忆,供智能体推理。但检索按相似度排序,取回的是过去的信息。五分钟前桌上确实有杯子,现在还在不在呢?检索不负责回答。

第三类关注变化侧的记忆,也就是“它变了没有”。LT-Mem 正是这一思路。论文把现有系统的毛病命名为“时间性失忆”:要么用新观测覆盖旧状态,要么存下语义快照却没有跨次访问一致的物体身份。它用一个随物体习性变化的易变性分数,决定新观察该覆盖、保持还是并存。作者也坦承局限:测试只覆盖两个室内加一个室外场景、各 10 次访问,外观相似物体的身份关联依然困难。

第四类关注操作侧的记忆,也就是“我做到哪了”。MemoryVLA 指出主流 VLA 普遍忽视时序上下文,补上工作记忆与记忆库后,长时程任务真实成功率比最强基线高出 26 个百分点;MEM 用视频承载短时记忆、自然语言承载长时记忆,可跟踪长达十五分钟的任务,同时提醒,设计糟糕的记忆会因放大虚假相关而损害性能。

四支各答一问,拼在一起,仍然有三道题敞开。其一,空间侧与操作侧各自生长、很少碰头,前者可以跨周存在却不进入手的动作,后者进了动作但寿命以分钟计。其二,写什么、留什么、何时核对,多靠人工设计,文本 Agent 已用强化学习学会管理记忆,具身记忆还缺同等成熟的做法。其三,记忆能否追溯到证据?多数系统存的是描述,原始画面和声音在摘要之后就找不回来了。一条记录凭什么可信、出错后怎么复查,家庭场景里迟早被用户问到。

有意思的是,学界目前分散留下的这三大空白,贝塔无限的 BetaMem 方案给出了一套完整对应的解法。


从记住钥匙的去向到主动寻找并重新确认——BetaMem 将记忆构建、检索验证与规则改进串成完整流程

02


把记忆做成一份有出处、

有保质期的判断

BetaMem 的出发点,是把记忆看作机器人对世界的判断,而不是一份日志。

论文把它落成三个互相关联的结构:时态状态图,记录现在认为世界是什么样;只追加的事件日志,记录状态是怎么变成这样的;有限容量的源数据档案,留存选定的原始图像与音频。三者共用实体、事件和来源标识。档案容量有限,哪些原始画面整帧保留,哪些裁剪、降质或删除,要在存储与读取预算下权衡。

这样拆,等于把证据和状态分开。 用法庭作比,证据是案卷,状态是判决,判决可以改判,案卷不能涂改。只存证据不估状态,系统知道看过什么,却说不清现在是什么样;只存状态不留证据,一次误判会被固化,出了错也无从归因。

每条状态记录除内容外,还带着空间上下文(所在地点或容器、坐标系、地图版本)、置信度、来源和版本号,并标明状态:已观察、推断、冲突、过期或未知。时间分成三种:所述事情的有效区间、看到它的时间、写进记忆的时间。转变时间不确定就记成区间,超出直接观察的内容一律标为推断。这像一本带出处和保质期的台账,事后纠错不会丢掉原始拍摄时间。

在此之上,记忆分为六层。 L0 工作记忆装当前观察、任务阶段和动作历史;L1 空间、L2 实体、L3 情景三层互相引用,一次情景中的状态转变可以修订实体状态,并通过 L1 挂到具体的地点和地图版本;L4 经验记忆沉淀规律,L5 程序记忆存放任务前置条件、可调用技能、预期观察和恢复分支。事件日志和源档案贯穿六层,记忆经过整合与修订,出处也不会丢。


以论文里的钥匙为例,拿起、交接、放入是三个独立事件,各自记录执行人,并链接到带时间戳的画面和音频;语音转写保留说话人,并链回原始音频。检索时,机器人分得清谁拿到了钥匙、谁把它放好,也分得清说出口的打算、转述的结果和亲眼观察到的变化。

写入同样有门槛。每段观察先登记来源和采集时间,再切成窗口;模型输出带来源引用的实体、关系和事件提案,经外观、位置、时间连续性与已有身份比对,拿不准的就保留多个候选假设。提交前,还要核对来源证据、时效范围和所用记录的版本。通过后追加一条事件、更新状态,旧状态留在历史里。

其中最关键的一条原则是,历史记录只是搜索线索,不是现状证明。 钥匙最后一次是在抽屉里被看到的,机器人据此去抽屉查看,拿到新观察后,才追加新版本的状态。现在的真,要靠现在的观察来确认。

这套思路与 LT-Mem 保守更新的逻辑相通,覆盖面更大,状态里不只有物体的位置,还包括任务进度、容器开合和动作结果。陶帅曾公开表示,记忆系统能复用他此前在千人千面推荐系统中积累的经验。把推荐系统处理不确定性、漂移偏好、过期判断的成熟范式迁移到机器人时空记忆,是一个很巧妙的跨界迁移,也让 BetaMem 的底层设计自带一套经过产业验证的不确定性治理思路。

03


让同一份状态进到手里

如果状态只服务规划器,仍然停在前文说的缝隙里。贝塔无限的做法,是让模型、Agent 和动作三层读取同一份状态,各取所需的时间尺度。 BetaMem 与世界动作模型 BetaWAM 同在统一大脑 BetaBrain 内,原则是分工保留、状态共享,否则规划、控制和预测各缓存一份世界,会越走越偏。


动作层需要两种记忆。

一种是短时的动作与感知记忆。 机械臂伸过去的一瞬间,目标常被自己的手臂遮住。拧瓶盖要转好几圈,如果只看当前几帧,机器人将分不清拧到第几圈。BetaMem 把这次操作到现在发生了什么,压成少量持续更新的变量,包括执行到哪个相位、目标最后确认的位姿、近几次接触的力反馈。小偏差在这一层消化,超过阈值才写回任务状态,触发重试、换技能或上报。

另一种是跨回合的物理经验。 柜门要先抬再拉,玻璃杯外壁有水很滑,这类单次交互学到的常识,通常随回合结束就丢了。BetaMem 把它们写成对象级、环境级的可复用条目,供动作模型调用,再沉淀进策略。这恰好对上前面说的缺口,让记忆跨过回合的边界。

动作做完之后是验证。世界模型先依据记忆中的完整状态,包括此刻看不见但先前确认过的部分,预测动作后的结果,验证器再与视觉、力觉、位姿等真实反馈比对。误差可接受就提交检查点,局部偏差退回动作循环,假设失效则回到 BetaBrain 重新规划。多大的误差算异常,不靠人为设定阈值,而是从该物体、该动作的历史偏差里学出来。

04


让记忆越用越好

机器人出了错,可能是动作没做好,也可能是关键线索没写进去、召回时机不对、过期状态没纠正。只按任务成败更新动作模型,记忆的毛病会留着。

贝塔无限把记忆策略和行为策略放进同一个反馈框架联合优化,奖励同时看任务完成、关键证据覆盖、状态一致性、失败恢复、用户满意度、执行效率、长期收益和安全风险八件事。这套联合优化框架跳出了只优化动作的常规思路,把记忆本身变成一个持续学习、持续进化的模块,是极具创新性的一步。

新发布的论文展示了 BetaMem 的两项关键设计:让小模型学会形成可靠记忆,让记忆策略能够从任务失败中持续改进。

在记忆形成上,团队通过监督微调与 GRPO 强化学习,训练小模型关联当前观察与历史信息,记录对象状态及其变化。奖励依据来自多次独立记录和原始画面复核:有证据支持却容易遗漏的线索获得更高权重,编造、歪曲和错误关联受到惩罚。由此,记忆的完整性、真实性与时序一致性,都成为具体的学习目标。

在策略改进上,贝塔无限设计了由失败反馈驱动的记忆策略递归自我改进(RSI)机制。系统追踪一次失败涉及的信息保留、检索和时效判断等环节,提出针对性的规则修复,再保持基础模型与机器人控制器不变,通过独立回放检验修复效果。通过验证的策略用于后续任务,新的失败再推动下一轮迭代,让任务经验逐步沉淀为可复用的记忆管理策略。


BetaMem 根据失败线索定位问题,提出局部修复,再经独立回放评估决定是否发布

这套版本化、可回滚、带灰度测试的记忆主动迭代流程,在具身智能领域非常少见。绝大多数记忆系统规则写死,一旦上线很难安全迭代,而贝塔无限把软件工程里稳定可靠的发布治理思想引入记忆进化,规避了自我进化容易失控的风险。毕竟,没有回放门控的自我进化,本质上是用新错误替换旧错误。

成绩单如下,以下结果均使用 9B 开源模型 Qwen3.5-9B 生成记忆。


该表由AI科技评论制作,数据来源于论文中表3-6

分项里最值得看的,是需要串联多条记录的题型。M3-Bench-robot 上,多细节、多跳和人物理解三类题,分别领先最强参照 15.96、23.51 和 27.93 个百分点。这与它把记忆组织成带身份、时间和来源的记录的思路吻合,答对这类题需要的是一条证据链,而不是几张相似的画面。


消融实验同样有说服力。去掉与原话关联的来源证据,M3-Bench-robot 准确率从 48.08% 掉到 38.61%,损失 9.47 个百分点。写入学习的效果也很具体,生成的写入动作符合记忆库规则的比例,从 50.9% 升到 86.2%,超过教师模型的 72.0%,每条入库动作消耗的输出 token 从 224 降到 118,减少 47.3%。

论文也坦陈了一些短板,但我们看重的是它的方向。把记忆做成可训练、可追溯、可回滚的系统,并拿出了可复核的数字,这已足够亮眼。

05


走进家庭,想象空间在哪里

结合家庭场景的特征,我们更能体会到贝塔无限方案的精心设计。

第一个特征,是多变化。 家庭不可能像工厂一样设置严格的 SOP,物件不会各归其位。钥匙昨天在玄关,今天在抽屉,明天被孩子带进房间。贝塔无限把证据与状态拆开,让机器人记住物品最新的样子,也记住物品一步步来到此处的过程。

第二个特征,是多主体。 工业场景里,机器人遇到谁都可以做一样的处理,但在家里,不同的主人有不同的习惯、偏好、需求,机器人干活难度自然陡增。BetaMem 把动作主体和说话人分别归属到具体的画面与语音来源,人物理解题 78.43% 的成绩,落到家庭里就是分得清家里有几个人、各自做了什么。人物溯源能力,是家庭机器人落地非常关键的前置能力。如果一个系统分不清你和孩子,记再多内容也无用,反而是添乱。

第三个特征,是长周期。 工业任务以分钟、小时计,家庭相处以周、月、年计。真正有用的家庭机器人,要归纳出主人的习惯,避免主人反复介绍物品、习惯和要求。同时,不把一次偶然当成偏好也很重要。贝塔无限对此的约束很明确,规律和程序必须经多次独立经历印证,单次事件不能固化成规则,这一定程度上能保证机器人行为的稳定性。让每一次相处积累的了解,成为下一次服务的基础,这才是长期记忆真正的价值。

而决定这套系统能否真正进门的,是第四个特征——信任。 家庭机器人记录的是人的生活,用户迟早会问出一句话:“你怎么知道的?能删吗?”这不该是事后补的合规功能,而应当是记忆系统的生死线。贝塔无限的答案是把它做进架构里:读取按记录、按来源逐条检查权限,永久删除需授权并让派生内容与索引一并失效,端侧保存近期观察与本地身份,云端只接收有界字段和被许可的证据引用,云端不可用时本地照常工作。

贝塔无限的整套设计,是为一个开放、多主体、长周期、且必须被信任的环境而生的,从根源上适配家庭机器人的核心诉求。

06


下一站,进入生活

当然,这四个特征并不专属于家庭。养老院里,机器人要认得每一位被照护者,记得各自的习惯与禁忌;零售门店,货架、库存和客流时刻在变,今天和昨天的情况不是一回事。只要机器人长期和人、和真实世界交互,就绕不开长期记忆的问题。

不妨回到论文页眉那句副标题: Learning What Remains True as the World Changes ,世界瞬息万变,当知晓何为真。

这句话妙在,它既是一道技术题,也是一道信任题。技术题是:机器人如何在一个随时都在变的世界里,分清曾经的真和现在的真。信任题是:当它给出答案,凭什么让人相信。

贝塔无限在具身长记忆的工作,本质上是把这两道题并成一道来解——证据与状态分离,让曾经为真有案可查;状态进入动作与验证,让现在为真有据可依;记忆策略联合进化,让将来如何为真有法可循。在一众聚焦感知、控制、大模型调用的具身团队里,像贝塔无限这样,将具身长记忆作为公司第一主线、投入整套底层体系研发的玩家,其实并不多见。

当然,这份答卷仍有两处空白:让记忆越用越好的独立实证,和真实家庭里的长期数据。前者需要更多实验,后者需要时间,九月底发布的首款机器人多米,会是一个观察的窗口。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

三农雷哥
2026-09-05 12:16:13
四川大学华西医院泌尿外科专家:魏强

四川大学华西医院泌尿外科专家:魏强

荷兰豆爱健康
2026-10-21 03:13:00
阿尔瓦雷斯打入马竞生涯第50球,为西蒙尼时代第6人

阿尔瓦雷斯打入马竞生涯第50球,为西蒙尼时代第6人

懂球帝
2026-10-21 04:37:09
战争爆发前的预兆出现!美国已经有4个征兆,张召忠预言要成真?

战争爆发前的预兆出现!美国已经有4个征兆,张召忠预言要成真?

画卷
2026-10-08 19:17:31
社保局核验工龄才发现:1992年以前的工龄,原来是这么算的

社保局核验工龄才发现:1992年以前的工龄,原来是这么算的

娱乐洞察点点
2026-10-21 12:43:51
“这就是穿碳板鞋的下场”,初中男孩走路姿势给人看懵了,家长全然不知

“这就是穿碳板鞋的下场”,初中男孩走路姿势给人看懵了,家长全然不知

熙熙说教
2026-10-13 16:28:55
iPhone Duo 解禁,界面终于曝光

iPhone Duo 解禁,界面终于曝光

果粉俱乐部
2026-10-21 14:03:25
「最佳睡眠时长,真不是8小时」再添实锤!清华大学:睡眠达这一时长,衰弱风险最低;超过8h,死亡风险涨27%;且「黄金时长」,男女有别

「最佳睡眠时长,真不是8小时」再添实锤!清华大学:睡眠达这一时长,衰弱风险最低;超过8h,死亡风险涨27%;且「黄金时长」,男女有别

梅斯医学
2026-10-21 07:55:36
女子被流浪狗咬伤,几分钟后狗莫名死亡;她后怕称“发现狗状态不对劲还贸然上前太鲁莽”;专家提醒:被咬伤后应该马上做这些

女子被流浪狗咬伤,几分钟后狗莫名死亡;她后怕称“发现狗状态不对劲还贸然上前太鲁莽”;专家提醒:被咬伤后应该马上做这些

蓬勃新闻
2026-10-21 06:32:14
大爆冷!卫冕冠军轰然倒下,76人迎开门红,我不得不承认5个事实

大爆冷!卫冕冠军轰然倒下,76人迎开门红,我不得不承认5个事实

篮球扫地僧
2026-10-22 00:56:23
“余生好好走”,知名央视主持人王小丫,病床上的留言字字催泪

“余生好好走”,知名央视主持人王小丫,病床上的留言字字催泪

断送一世容颜
2026-10-14 11:33:14
章建平最新投资曝光

章建平最新投资曝光

新浪财经
2026-10-21 19:54:49
南瓜子被关注!医生发现:吃得越多,肌少症老年人肌肉流失或越慢

南瓜子被关注!医生发现:吃得越多,肌少症老年人肌肉流失或越慢

路医生健康科普
2026-10-21 17:15:27
阿曼国事晚宴,凯特王妃身披雪纺斗篷,头戴珍珠泪王冠太美了

阿曼国事晚宴,凯特王妃身披雪纺斗篷,头戴珍珠泪王冠太美了

点点细语
2026-10-21 10:06:06
2008年一名华裔女作家好心给15岁男孩带路,转头就被按在草地上暴打性侵,面对警方讯问男孩竟声称是对方主动引诱自己

2008年一名华裔女作家好心给15岁男孩带路,转头就被按在草地上暴打性侵,面对警方讯问男孩竟声称是对方主动引诱自己

磊子讲史
2026-10-20 17:38:39
媒体报道称,如果民主党夺回国会,将调查马斯克,以及弹劾特朗普

媒体报道称,如果民主党夺回国会,将调查马斯克,以及弹劾特朗普

山河路口
2026-10-21 09:42:11
00后员工不好管啊!国庆放假拒参加临时会议,领导群里怒吼:严重违纪降薪1000,不服可提交离职申请,员工回怼“你还活在古代吗”

00后员工不好管啊!国庆放假拒参加临时会议,领导群里怒吼:严重违纪降薪1000,不服可提交离职申请,员工回怼“你还活在古代吗”

火山詩话
2026-10-20 12:23:47
蔡天凤碎尸案丨蔡天凤出6060万港元买加多利山,邝球收697万港元置业回赠

蔡天凤碎尸案丨蔡天凤出6060万港元买加多利山,邝球收697万港元置业回赠

星岛记事
2026-10-21 15:24:16
头衔要保不住了?哈里梅根无视女王遗训,威廉准备出手

头衔要保不住了?哈里梅根无视女王遗训,威廉准备出手

喜欢历史的阿繁
2026-10-22 01:18:39
开场2分钟,他打进欧冠处子球,对手是曼联

开场2分钟,他打进欧冠处子球,对手是曼联

坠入温柔晚风
2026-10-22 01:22:13
2026-10-22 03:00:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7728文章数 20795关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

纯电/插混动力+乾崑智驾 北汽星钽5X预售价13.99万起

态度原创

手机
亲子
教育
数码
时尚

手机要闻

博主实测iPhone Duo折痕区域偏软:滑动会出现水波纹

亲子要闻

别再给孩子买大码衣服了,他真的不舒服,只是还不会说

教育要闻

直到孩子上了高中才发现:我曾坚决反对“超前学”,错得有多离谱

数码要闻

康佳退市!昔日彩电一哥缘何在今天被挤下牌桌?

50岁的马伊琍,迎来了最佳赏味期

无障碍浏览 进入关怀版