网易首页 > 网易号 > 正文 申请入驻

机器人Agent不靠外部记忆模块,怎么记住关键信息?

0
分享至

机器人Agent跑多轮任务,最怕"书包太重"——查了几十轮,上下文越堆越长,真正有用的信息反而被淹没。2026年集中出现的五个项目,X-OmniClaw、MemoHarness、HumanCLAW、RoboClaw和RPent,都在回答同一个问题:怎么为机器人、物理Agent搭一套Harness。

其中MemPO给出的答案有点反直觉:不要外部记忆模块。


让模型自己写"小纸条"

传统做法是外挂一套复杂的记忆检索系统,把历史信息切片、向量化、按相似度召回。MemPO绕开了这条路。

它的机制是:在构建下一轮prompt时,让模型在每个assistant轮次的开头,自己写下一段记忆摘要。系统只保留最近一轮的工具结果,其余全部交给模型自己压缩。

这相当于逼着模型在交互过程中学会一件事——什么值得记、怎么记。而且不是靠人工规则,是靠强化学习端到端训出来的。

用一句更直白的话说,MemPO是让AI学会"边做笔记边推理",用RL奖励训练它把最重要的信息压缩进每轮的小纸条。查的轮次再多,书包也不会越来越重。

奖励怎么给,才是真难题

让模型自己写摘要,马上会遇到信用分配问题:任务最后成功了,到底是哪一轮的记忆写得好?

MemPO设计了双通路奖励机制来拆这个问题。

  • 全局轨迹级的结果奖励(Outcome Reward):全序列广播,衡量整条轨迹的任务正确性
  • 局部记忆奖励(Memory Reward):基于P_mem减P_full的差值计算,只作用于记忆区间

两条通路协同,一边优化记忆质量,一边优化任务正确性。记忆写得好不好,第一次有了可归因的优化信号。

这也正是MemPO的核心目标:不仅要"用RL训练Agent",还要为记忆本身设计可学习、可归因的优化信号,让模型在交互中主动压缩、组织并保留最有助于任务完成的信息。

环境不是Gym,是Agent Loop

MemPO的环境完全是自己实现的,基于VeRL框架加SGLang推理引擎定制。

它不是传统强化学习里的Gym环境,而是一个异步多轮Agent Loop在充当环境角色。具体实现是ToolAgentLoop异步状态机,通过停止词机制截断模型输出,再动态注入真实RAG检索服务的结果。

这套设计让系统"自己既是环境也是Agent",形成闭环。

落到源码层面,MemPO对VeRL框架的修改被梳理成三条核心路径:A是记忆奖励计算与叠加,B是结果奖励计算,C是系统主循环与工具调用。改动集中在数据收集、优势函数和主循环三个层面,属于外科手术式修改,而非推倒重来。

从"更强的模型"转向"更好的系统",这五个项目指向的是同一个判断:机器人Agent的下一程,拼的可能不是模型参数,而是Harness怎么搭。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄克诚晚年道出真相:井冈山会师,朱老总带来的何止一支军队

黄克诚晚年道出真相:井冈山会师,朱老总带来的何止一支军队

利刃说史
2026-09-22 12:57:44
知名品牌突然宣布:停止经营!多平台已查无此店,产品设计曾被指“擦边”“不尊重女性”

知名品牌突然宣布:停止经营!多平台已查无此店,产品设计曾被指“擦边”“不尊重女性”

南方都市报
2026-09-22 21:13:01
2000到2026,林心如晒26年前旧照,三个人的同框看哭一代人

2000到2026,林心如晒26年前旧照,三个人的同框看哭一代人

草莓解说体育
2026-09-23 08:51:58
意难平!朝鲜黑马只差1分爆冷日本王牌,绝境翻盘太惊心动魄

意难平!朝鲜黑马只差1分爆冷日本王牌,绝境翻盘太惊心动魄

徐竦解说
2026-09-23 14:08:47
没想到,极限反超夺金不到48小时,潘展乐竟再因一个举动口碑暴涨

没想到,极限反超夺金不到48小时,潘展乐竟再因一个举动口碑暴涨

阿銍武器装备科普
2026-09-22 06:34:31
一夜急白头、以为要牺牲,杨利伟等三代航天人接力“长征”

一夜急白头、以为要牺牲,杨利伟等三代航天人接力“长征”

新京报
2026-09-22 09:40:10
一边是美国五大电视网暂停报道特朗普,一边是“特朗普电视”开播

一边是美国五大电视网暂停报道特朗普,一边是“特朗普电视”开播

新民周刊
2026-09-23 09:12:24
2比0!新主场首冠+百球里程碑,梅西这是把迈阿密国际“带飞”了

2比0!新主场首冠+百球里程碑,梅西这是把迈阿密国际“带飞”了

军科零零
2026-09-17 19:41:30
环球时报快评:新建约130座弹药库,日本这是要“回到战前”吗

环球时报快评:新建约130座弹药库,日本这是要“回到战前”吗

环球网资讯
2026-09-22 17:53:17
躲开孙颖莎照样不省心!张本美和四金梦先撞上金琴英

躲开孙颖莎照样不省心!张本美和四金梦先撞上金琴英

田心生活
2026-09-21 16:33:40
听妈话从5楼往下扔快递给快递员 15岁女孩不幸坠亡 父母起诉快递公司索赔74万元

听妈话从5楼往下扔快递给快递员 15岁女孩不幸坠亡 父母起诉快递公司索赔74万元

闪电新闻
2026-09-22 22:11:07
多亏了这个外国人,留下乾隆的真实相貌,和电视上看到的不一样

多亏了这个外国人,留下乾隆的真实相貌,和电视上看到的不一样

云居历史
2026-09-21 16:31:26
亚运会乒乓球:一轮游!神秘之师朝鲜2:3张本美和,混双全军覆没

亚运会乒乓球:一轮游!神秘之师朝鲜2:3张本美和,混双全军覆没

国乒二三事
2026-09-23 10:32:18
释永信塌房后,被曝为女明星开光,除了李湘外,多名女星被拉下水

释永信塌房后,被曝为女明星开光,除了李湘外,多名女星被拉下水

阿器谈史
2026-01-08 13:16:09
CCTV5直播U23国足ⅴs阿联酋,打平即可进8强,首发11人浮现

CCTV5直播U23国足ⅴs阿联酋,打平即可进8强,首发11人浮现

徽派体育
2026-09-22 23:59:58
马科斯这回玩脱了,海牙法庭传来消息,老杜家族将迎来绝地反击时刻

马科斯这回玩脱了,海牙法庭传来消息,老杜家族将迎来绝地反击时刻

爱下厨的阿酾
2026-09-23 12:17:49
曼联旧将萨哈身家超C罗四倍:靠体育社交平台坐拥43亿美元

曼联旧将萨哈身家超C罗四倍:靠体育社交平台坐拥43亿美元

星耀国际足坛
2026-09-22 22:19:56
中国游泳弱项已转为亚洲强势存在 但亚运夺冠前景难测谨防最强竞争者留一手

中国游泳弱项已转为亚洲强势存在 但亚运夺冠前景难测谨防最强竞争者留一手

威猛孟巍
2026-09-23 14:06:21
卖猫的你给我出来,你也没说这猫能长这么大啊

卖猫的你给我出来,你也没说这猫能长这么大啊

铲屎官阿伟
2026-09-22 18:40:07
亚运自带泳圈参赛?18岁蒙古泳将肥硕身材引热议!上届曾断层垫底

亚运自带泳圈参赛?18岁蒙古泳将肥硕身材引热议!上届曾断层垫底

我爱英超
2026-09-22 15:45:46
2026-09-23 14:40:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
233文章数 85关注度
往期回顾 全部

科技要闻

2026网易未来大会下午:AI走进现实

头条要闻

涉黑头目黄大发被判死刑立即执行 被称为"武汉高启强"

头条要闻

涉黑头目黄大发被判死刑立即执行 被称为"武汉高启强"

体育要闻

300万英镑,他们买下了一位队史传奇

娱乐要闻

梅启明被彻底除名遗产清零

财经要闻

全市场都在卷自营

汽车要闻

5.1米的启境GX7,底盘凭什么又稳又舒服?

态度原创

时尚
旅游
房产
艺术
公开课

消失的天后,带病复出,先赚10个亿

旅游要闻

中秋、国庆逛馆去!河南多家博物馆假期开放时间公布

房产要闻

楼市变天!三亚第一个"接住"新政的楼盘出现了

艺术要闻

五粮液新经济中心工地实景,新川第一高楼为何被“限低”?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版