网易首页 > 网易号 > 正文 申请入驻

给AI看随机旧经验,也能提升任务成功率?

0
分享至

一个智能体在文本家居模拟器ALFWorld里接到任务,一步步操作,最后要么完成,要么失败。这个项目想搞清楚的问题很窄:把智能体过去成功跑通的片段,在合适的时机展示给它,能不能让它完成更多任务?更关键的是,起作用的是"选对了片段",还是"随便给个例子"?

第二个问题才是麻烦的地方。如果按当前状态的相似度去检索一段存下来的轨迹,智能体表现变好了,这还不能证明相似度起了作用。也许只是给它看了一个示范,任何示范都行,光这一点就足以改变模型的行为。提示词里放什么文字都会影响模型输出,真正值得主张的是:选哪段文字是有区别的。

如果没有一个控制组,把检索到的文本量保持大致不变、只把内容随机化,那么一个正向结果就无法归因。

随机库控制组在阶梯中的位置

项目设计了一条阶梯,每一级只增加一个变量,并且都在同样的任务、模型和预算下,与下一级、与无记忆基线、与随机库控制组分别比较。随机库控制组是第2级,并且在之后每一级里都作为第三个对照反复出现。

这个顺序是有意安排的。第0级先确定在不同随机种子下有多少任务会靠运气翻转,也就是噪声底线,然后才比较任何处理。第1级测试一个手工挑选的例子是否已经足够。第2级去掉手工挑选:每一步的条目都从库里随机取。到第3级,匹配才以最粗的粒度进入,即同一任务类型;到第4级和第5级,与任务或当前状态的相似度才成为检索键。

这意味着第5级上的增益,必须对照此前三个测量来读:无记忆、固定示例、随机库条目。如果第2级已经产生了大部分增益,那么第4、5级额外带来的部分才是可归因于匹配的,而它可能很小。

控制组到底固定了什么

有两个属性让这个控制组具备信息量,而不是摆设:

  • 检索文本量相同。项目把它描述为"同样数量的检索文本,随机选取"。对齐长度的目的,是让提示词大小、进而成本和上下文压力,在处理组与控制组之间可比。一个检索方法如果是因为塞进了更多文字而获胜,那它并没有证明检索找到了更好的文字。
  • 同一个库、同一批任务、同一个模型、同一份预算。比较规则要求每一级都在相同的任务、模型和预算下对比。控制组不会跑在另一套任务或另一个检查点上。

第3级还有一个按任务类型匹配的随机分支,用来把"任何领域示例"和"同类任务的示例"区分开。两个随机对照而非一个,可以让人看到在引入内容相似度检索之前,粗粒度匹配本身是否已经补上了一部分差距。

几个值得注意的设计决定

随机性在这里是一种处理,而不是需要消除的干扰。多数评测会通过对多个随机种子取平均来降低方差,而这里随机选取本身就是实验分支之一,它的方差属于被测量的对象。这也是第0级要跑3个种子、噪声底线要在读处理组结果之前先写下来的原因。

开发在冻结子集上进行,确认集保持不动。开发在ALFWorld valid_seen的一个冻结的60任务子集上做,valid_unseen一直保留到最后的单次确认。随机库控制组因此只在开发子集上运行,确认是独立的最后一步。

决策规则在每次运行前写好。原始运行结果用SHA-256冻结,不允许任何可能移动结果的捷径,比如削减步数上限。一个对照分支只有在其"判定增益为真"的阈值事先固定时才有用。

每一级之后都按任务读增益与损失。每一级之后,每个相对下一级获得或失去的任务都会被读取,并在选择下一级之前写下原因。总体准确率会掩盖一种情况:随机库在某些任务上赢,检索在另一些任务上赢。

代价与现状

这条阶梯天生就慢。每一级都需要自己的分支,加上随机对照,加上无记忆基线,而且都在同一套任务上。项目承认这个规模:研究被拆成小格子,两个分支、20个冻结任务、一个种子,在12 GB显卡上约2小时,靠许多人各自跑一个格子,才能并行测试多个方向。

回报是可归因性。当记忆被报告为有帮助时,随机库控制组让你能说清起作用的是选择,而不是示例的存在。代价是相当一部分算力花在了那些存在的意义就是被减掉的分支上。

按项目记录的状态(2026年11月15日):新方向,尚未在其中测量任何东西。更早的研究线及其结果,包括负面发现,都保留在归档索引中。

项目还记录了一处尚未解决的差异。在本地4B模型上,它自己的可行性检查在无记忆情况下20个任务解出12个和14个,而AdaMEM报告同一模型在全部140个已见任务上为45.2%。项目把解决这个差距列为方向D0/D2。在这一点被理解之前,阶梯所支持的是项目自身设置内部的比较。

哪种检索键和检索单元效果最好,被列为开放问题。随机库控制组约束的是关于匹配的主张,它本身并不告诉你该用哪种匹配。

项目在找人帮忙

项目征集两类贡献:

  • 借一块显卡。在自己的机器上跑一个格子:两个分支、20个冻结任务、一个种子,12 GB显卡约2小时。具体做法和提交方式写在docs/research-map/VOLUNTEER_COMPUTE.md,可选方向在docs/research-map/DIRECTIONS.md。
  • 没有显卡也能参与。适合上手的任务列在里程碑Experience memory: ladder v1的议题下,包括随机库控制分支、按任务增益损失表与查看器、污染库叠加层、仅读摘要的论文总结,以及一个ScienceWorld移植。从CONTRIBUTING.md和docs/00-project/first-contribution-walkthrough.md开始。

如果只想帮这里描述的这个控制组,随机库控制分支被列为无需显卡的首个任务。代码采用Apache-2.0许可,文档和数据采用CC BY 4.0许可。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普果然批评泽连斯基了!乌克兰防长:炸断克里米亚大桥仅仅是开始

特朗普果然批评泽连斯基了!乌克兰防长:炸断克里米亚大桥仅仅是开始

鹰眼Defence
2026-11-18 16:46:59
画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

大风新闻
2026-11-18 14:36:05
APEC还没开幕,深圳的饭菜先火了,一群老外齐齐用起了筷子!

APEC还没开幕,深圳的饭菜先火了,一群老外齐齐用起了筷子!

讲者普拉斯
2026-11-18 11:01:12
俄罗斯认定乌克兰“恐袭”炸塌克里米亚大桥,誓言修复且“比以前更好”

俄罗斯认定乌克兰“恐袭”炸塌克里米亚大桥,誓言修复且“比以前更好”

山河路口
2026-11-18 12:52:03
四川绵阳一游客称花1600元买的烤全羊剥不出1两肉,几乎全是骨架;涉事民宿:火候偏大,整只羊烤干了;当地文旅:相关部门正开展调查核实

四川绵阳一游客称花1600元买的烤全羊剥不出1两肉,几乎全是骨架;涉事民宿:火候偏大,整只羊烤干了;当地文旅:相关部门正开展调查核实

扬子晚报
2026-11-18 09:45:49
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
如果你是黄仁勋,这三个女人会选谁?

如果你是黄仁勋,这三个女人会选谁?

仕道
2026-11-18 14:14:20
普京到访深圳北理莫斯科大学

普京到访深圳北理莫斯科大学

极目新闻
2026-11-18 15:53:16
袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

上游新闻
2026-11-18 18:26:06
AI蛋白质设计开始比谁的分子能用:这家AI制药公司拿到数亿元融资

AI蛋白质设计开始比谁的分子能用:这家AI制药公司拿到数亿元融资

机器之心Pro
2026-11-17 11:42:31
“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

农民日报
2026-11-18 08:48:45
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
中央安全生产考核巡查组将陆续进驻开展年度考核巡查

中央安全生产考核巡查组将陆续进驻开展年度考核巡查

澎湃新闻
2026-11-18 19:09:06
祖籍广东的泰国总理阿努廷回到家乡格外兴奋,大飙粤语:猴开森

祖籍广东的泰国总理阿努廷回到家乡格外兴奋,大飙粤语:猴开森

极目新闻
2026-11-18 16:37:00
离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

川渝视觉
2026-11-18 11:00:51
世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

三言四拍
2026-11-18 18:40:16
事发上海!一户住宅内墙面上惊现“骨灰房”字样,竟是亲哥哥所为!执行法官出手了!

事发上海!一户住宅内墙面上惊现“骨灰房”字样,竟是亲哥哥所为!执行法官出手了!

极目新闻
2026-11-18 19:43:47
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
世预赛36强赛分档出炉:国足第二档!日韩第一档,印尼印度第三档

世预赛36强赛分档出炉:国足第二档!日韩第一档,印尼印度第三档

念洲
2026-11-18 18:38:01
2026-11-18 20:07:00
硅屿手记
硅屿手记
有态度网友ytd
241文章数 88关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
时尚
本地
手机
家居

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版