一个智能体在文本家居模拟器ALFWorld里接到任务,一步步操作,最后要么完成,要么失败。这个项目想搞清楚的问题很窄:把智能体过去成功跑通的片段,在合适的时机展示给它,能不能让它完成更多任务?更关键的是,起作用的是"选对了片段",还是"随便给个例子"?
第二个问题才是麻烦的地方。如果按当前状态的相似度去检索一段存下来的轨迹,智能体表现变好了,这还不能证明相似度起了作用。也许只是给它看了一个示范,任何示范都行,光这一点就足以改变模型的行为。提示词里放什么文字都会影响模型输出,真正值得主张的是:选哪段文字是有区别的。
如果没有一个控制组,把检索到的文本量保持大致不变、只把内容随机化,那么一个正向结果就无法归因。
随机库控制组在阶梯中的位置
项目设计了一条阶梯,每一级只增加一个变量,并且都在同样的任务、模型和预算下,与下一级、与无记忆基线、与随机库控制组分别比较。随机库控制组是第2级,并且在之后每一级里都作为第三个对照反复出现。
这个顺序是有意安排的。第0级先确定在不同随机种子下有多少任务会靠运气翻转,也就是噪声底线,然后才比较任何处理。第1级测试一个手工挑选的例子是否已经足够。第2级去掉手工挑选:每一步的条目都从库里随机取。到第3级,匹配才以最粗的粒度进入,即同一任务类型;到第4级和第5级,与任务或当前状态的相似度才成为检索键。
这意味着第5级上的增益,必须对照此前三个测量来读:无记忆、固定示例、随机库条目。如果第2级已经产生了大部分增益,那么第4、5级额外带来的部分才是可归因于匹配的,而它可能很小。
控制组到底固定了什么
有两个属性让这个控制组具备信息量,而不是摆设:
- 检索文本量相同。项目把它描述为"同样数量的检索文本,随机选取"。对齐长度的目的,是让提示词大小、进而成本和上下文压力,在处理组与控制组之间可比。一个检索方法如果是因为塞进了更多文字而获胜,那它并没有证明检索找到了更好的文字。
- 同一个库、同一批任务、同一个模型、同一份预算。比较规则要求每一级都在相同的任务、模型和预算下对比。控制组不会跑在另一套任务或另一个检查点上。
第3级还有一个按任务类型匹配的随机分支,用来把"任何领域示例"和"同类任务的示例"区分开。两个随机对照而非一个,可以让人看到在引入内容相似度检索之前,粗粒度匹配本身是否已经补上了一部分差距。
几个值得注意的设计决定
随机性在这里是一种处理,而不是需要消除的干扰。多数评测会通过对多个随机种子取平均来降低方差,而这里随机选取本身就是实验分支之一,它的方差属于被测量的对象。这也是第0级要跑3个种子、噪声底线要在读处理组结果之前先写下来的原因。
开发在冻结子集上进行,确认集保持不动。开发在ALFWorld valid_seen的一个冻结的60任务子集上做,valid_unseen一直保留到最后的单次确认。随机库控制组因此只在开发子集上运行,确认是独立的最后一步。
决策规则在每次运行前写好。原始运行结果用SHA-256冻结,不允许任何可能移动结果的捷径,比如削减步数上限。一个对照分支只有在其"判定增益为真"的阈值事先固定时才有用。
每一级之后都按任务读增益与损失。每一级之后,每个相对下一级获得或失去的任务都会被读取,并在选择下一级之前写下原因。总体准确率会掩盖一种情况:随机库在某些任务上赢,检索在另一些任务上赢。
代价与现状
这条阶梯天生就慢。每一级都需要自己的分支,加上随机对照,加上无记忆基线,而且都在同一套任务上。项目承认这个规模:研究被拆成小格子,两个分支、20个冻结任务、一个种子,在12 GB显卡上约2小时,靠许多人各自跑一个格子,才能并行测试多个方向。
回报是可归因性。当记忆被报告为有帮助时,随机库控制组让你能说清起作用的是选择,而不是示例的存在。代价是相当一部分算力花在了那些存在的意义就是被减掉的分支上。
按项目记录的状态(2026年11月15日):新方向,尚未在其中测量任何东西。更早的研究线及其结果,包括负面发现,都保留在归档索引中。
项目还记录了一处尚未解决的差异。在本地4B模型上,它自己的可行性检查在无记忆情况下20个任务解出12个和14个,而AdaMEM报告同一模型在全部140个已见任务上为45.2%。项目把解决这个差距列为方向D0/D2。在这一点被理解之前,阶梯所支持的是项目自身设置内部的比较。
哪种检索键和检索单元效果最好,被列为开放问题。随机库控制组约束的是关于匹配的主张,它本身并不告诉你该用哪种匹配。
项目在找人帮忙
项目征集两类贡献:
- 借一块显卡。在自己的机器上跑一个格子:两个分支、20个冻结任务、一个种子,12 GB显卡约2小时。具体做法和提交方式写在docs/research-map/VOLUNTEER_COMPUTE.md,可选方向在docs/research-map/DIRECTIONS.md。
- 没有显卡也能参与。适合上手的任务列在里程碑Experience memory: ladder v1的议题下,包括随机库控制分支、按任务增益损失表与查看器、污染库叠加层、仅读摘要的论文总结,以及一个ScienceWorld移植。从CONTRIBUTING.md和docs/00-project/first-contribution-walkthrough.md开始。
如果只想帮这里描述的这个控制组,随机库控制分支被列为无需显卡的首个任务。代码采用Apache-2.0许可,文档和数据采用CC BY 4.0许可。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.