网易首页 > 网易号 > 正文 申请入驻

失败不是终点,而是地图:AI系统如何学会从挫折中进化

0
分享至


你有没有遇到过这种情况:辅导孩子做数学题,孩子算错了一道题,你没有直接说"错了,重做",而是指出来"你这里漏看了一个负号",孩子改完之后,下一次遇到类似的题目,他不会再犯同样的错误。

但如果你只说"错了",让他把草稿纸揉成团扔掉,从头再算,那会发生什么?他很可能会在同一个地方,用同样的方式,再错一次。

这个场景,恰好就是一篇最新论文想要讲的故事。只不过主角不是做题的孩子,而是正在被不断调优的AI系统。

**核心问题:被扔掉的草稿纸里,藏着答案**

现在越来越多的AI系统不是靠重新训练模型来变聪明的,而是靠调整它的提示词、技能文档、运行脚本这些"外部装备"。

提示词

:给AI下达指令的文字,相当于告诉它该怎么做事

这个过程通常长这样:AI系统先提出一个修改方案,跑一遍测试,如果分数比之前高就留下,分数没提升就直接扔掉,换下一个方案重试。这套流程在学术界有个统一的叫法,叫"提出-评估-选择"循环。

GEPA、ACE这些业内比较领先的优化工具,用的都是这套逻辑。

问题就出在"扔掉"这两个字上。

论文作者翻查了大量优化过程的运行记录,发现一个扎心的现象:很多被扔掉的方案,其实已经摸到了正确方向的边,只是还没完全做对。有的是方向对了但代码里有个小bug没修好,有的是只解决了一半的问题,还有的虽然整体失败了,但它至少告诉了后面的尝试"这条路走不通,别再试了"。

可现有的做法是,只要这次没打过上一轮的分数,这个方案连同它身上携带的所有诊断信息,一起被彻底丢弃。下一次重新开始分析时,系统完全不知道上一次已经试过什么、哪里卡住了,只能从零摸索,经常在同一个坑里反复踩。

论文把这种现象叫做"持续性失败壁垒":无论你再花多少次尝试、多少计算资源,问题的症结始终原地踏步,没有真正被突破。

研究团队给这套新方法起名叫Mara Chain。Mara是佛教传说里那个在修行者证悟之路上不断设置障碍的"魔罗",论文取这个名字,用意很直白,困难不会消失,但可以被踩着走过去。

**Mara Chain怎么做的:把失败的方案留下来,继续改**

Mara Chain的核心逻辑其实不复杂:当一个候选方案没能达标时,不要马上丢掉它,而是把它的运行记录、哪里失败了、系统对失败原因的分析、以及之前做过的所有修改,统统保留下来。

然后,让AI基于这些积累下来的证据,继续对着同一个方案往下改,连续改上几轮,直到它终于达标,或者改到了设定的轮数上限还是不行,才放弃整条链路。

这就跟医生看病历一样。

如果每个病人每次来看病,医生都从零开始问诊,完全不看之前的检查结果和用药记录,那病人复诊三次,可能还在原地打转,甚至重复做了三次一模一样的检查。但如果医生翻看病历,发现"上次用的药没起作用,但排除了某种病因",这次问诊就能直接跳过那条弯路,往下深挖。病历不是无用的废纸,它记录的是已经走过的、不用再走一遍的路。

被丢弃的候选方案就是AI优化过程里的"病历"。不留下它,相当于每次看病都把病历烧掉。

为了不让这套机制无限膨胀下去,Mara Chain给每条"改进链"设了个硬性上限,最多尝试5次(论文里这个参数叫链深度d)。如果5次之内都没能超过最初的方案,这条链就彻底放弃,不会无休止地拖下去。

同时,系统维护着一个候选方案池,为了防止这个池子越滚越大,Mara Chain用了一招叫"帕累托筛选+Top-N截断"的组合拳。

帕累托筛选

:保留那些在不同测试维度上各有专长、谁也不能完全取代谁的方案,类似于团队里留下"数学最强的"和"英语最强的"两个人,而不是把英语弱但数学也不是最强的那个直接开除

Top-N截断

:如果筛选后留下的方案还是太多,就只保留平均分最高的前N个,论文里默认N=3

这套组合拳解决了一个很现实的麻烦:如果测试题目特别多(比如20道以上),两个方案"谁完全碾压谁"的情况几乎不会出现,大概率是你擅长这几道、我擅长那几道。如果只靠帕累托筛选,候选池会越积越大,最后占满所有计算资源却筛不出真正的赢家,Top-N就是给这个"谁都不淘汰"的死循环踩一脚刹车。

**三个战场的实测:技能、系统外壳、检索管道**

论文没有只在一个任务上验证这套方法,而是选了三类完全不同的AI系统进行测试。

第一个战场是AppWorld,考验的是AI智能体的"技能文档"。可以理解成,AI要学会操作各种手机App完成任务,技能文档就是它随身携带的操作手册。

结果显示,Mara Chain在准确率上超过了GEPA、ACE、SkillOpt-Lite这几个目前最强的同类工具,最多领先20.5%。更夸张的是效率:要达到0.8分这个目标分数线,GEPA需要跑9514次测试,Mara Chain只用了3280次,省了65.5%的尝试次数。换算成实际花费的时间,Mara Chain用了11.9小时就达标,GEPA足足用了35.8小时,差了近三倍。

第二个战场是TerminalBench 2.1,考验的是AI的"命令行作战外壳",也就是AI在终端里执行各种高难度操作任务时所依赖的代码框架。Mara Chain优化出来的外壳,任务通过率达到71.9%,而两个专门做这个方向优化的工具AHE和Meta-Harness,分别只有51.7%和49.4%,差距超过20个百分点。

第三个战场是MuSiQue,这次考验的不是AI智能体,而是一套检索问答系统的数据处理流程,也就是文档检索、排序、过滤的一整套管道。这验证了一件更重要的事:Mara Chain不是只能优化AI智能体,任何能把"可调整的部分"整理成文件目录、又能被反复测试打分的系统,都能套用这套方法。实验结果显示,优化后的检索流程比人工手写的默认流程,排序质量指标提升了34.6%,召回率提升了39.8%。

**一个真实案例:五步才解开的谜题**

论文里有个细节特别值得展开讲讲,一个叫sanitize-git-repo的任务。

这个任务要求AI在一堆代码仓库里,把藏得很深的敏感令牌字符串找出来并清理掉。听起来简单,实际做起来问题一层套一层。

在没有Mara Chain的旧方法里,AI连续提了十几次修改方案:先是写了个"按长度匹配候选值"的规则,没用;换成"全仓库精确匹配",还是没用;又试了"针对特定前缀搜索",依然失败。每一次新方案提出来,前一次积累的线索就被扔掉了,于是同样的错误在好几轮优化里反反复复出现。整个任务,九个独立尝试,全部以0分收场。

而用了Mara Chain之后,同一个任务是这样被攻克的:

第一步,系统先写了一份自然语言指南,提醒AI注意搜索规则。运行发现,简单的grep命令会被大量代码引用淹没,真正的令牌找不到。

第二步,系统没有抛弃这个判断,而是基于它,把指南升级成了一个真正的脚本search-filtered.sh,用来过滤掉误判的代码引用。运行发现,这个过滤脚本的筛选逻辑太粗暴,把真正藏着令牌的那一行也一并过滤掉了。

第三步,系统针对这个新发现的问题,调整了脚本的匹配逻辑,改成按长度匹配。运行发现,匹配到的那一整行太长,打印出来的时候令牌本身被截断了,还是看不全。

第四步,系统精确定位到"打印方式"这个具体缺陷,把脚本改成只打印匹配到的令牌本身,而不是打印整行。

这次,终于通过了。

四次迭代,每一次都是在上一次留下的"半成品"基础上继续打磨,而不是推倒重来。这个过程特别像医生给病人连续调整治疗方案:第一版药不对症,但排除了一种病因;第二版换了药,副作用出来了;第三版调整剂量,疗效不够;第四版精准微调,终于痊愈。要是每次复诊都当第一次看,病人可能永远好不了。

论文还观察到一个有意思的规律:沿着这条修复链条,AI倾向于把解决方案从"自然语言建议"逐步升级为"可执行脚本"。这背后有个很朴素的道理,自然语言的指令AI可能会选择性忽略,但写进脚本里的逻辑,只要被调用,结果就是确定的。论文把这个现象称为"可靠性递增",相当于与其一遍遍地口头叮嘱,不如直接把规则焊死在流程里。

**拆开看效果:两个齿轮各管一摊**

Mara Chain其实是两个机制咬合在一起工作的:保留失败方案继续改的"链式重试",和控制候选池规模的"帕累托+Top-N筛选"。论文做了拆解实验,把这两个齿轮分开测试。

数据显示得很清楚:难度越高的任务,链式重试的作用越明显。

在相对简单的AppWorld常规任务上,有没有链式重试几乎看不出差别,两种设置的分数几乎一样。但在难度更高的挑战任务上,差距一下子拉开到接近5到7个百分点。而在TerminalBench这种最难的任务上,通过率直接从57.3%跳到71.9%,差了14.6个百分点。

这个规律其实不难理解。简单任务往往一次就能蒙对,用不着反复修正。真正难啃的任务,往往需要连续好几步精细调整才能啃下来,这时候"记不记得上一次试过什么"就成了关键变量。

反过来,如果关掉Top-N截断只留帕累托筛选,AppWorld的各项分数全线下滑,候选池效率明显变差。两个机制谁都不能缺。

**跨模型的一致性:不是只对一个模型管用**

论文还做了一件挺实在的事:同一套优化方法,分别套用在GLM-5、DeepSeek-V4-Pro、Qwen3.5这三个不同厂商的大模型上,看效果是否稳定。

结果是,三个模型用上Mara Chain之后,相比不做任何优化的空白版本,平均提升幅度分别是40.3、32.7、23.4个百分点。三个模型全部实现了正向提升,没有一个掉链子。

这说明Mara Chain优化的不是某个模型本身的能力,而是围绕模型搭建的那套外部装备。换个厨师,只要菜谱还在、流程还在,味道照样能稳住。

**局限性:这不是万能钥匙**

论文也很坦诚地指出了这套方法目前的短板。

Mara Chain每次只盯着一小批任务做诊断,这意味着它可能会对这一小批任务的失败模式"过拟合",也就是针对眼前这几道题琢磨出了套路,换一批题目未必管用。论文提到,靠跨批次的帕累托筛选能稍微缓解这个问题,但没法根治。

另外,整套诊断分析的逻辑,目前还是研究团队手工设计的"第一版",运行过程中是固定不变的,没有随着任务难度自适应调整。比如遇到特别棘手的壁垒,链条深度应该适当放宽;遇到简单问题,应该提前止损。这些目前都还没做到自动化。

研究团队也在论文末尾列出了几个接下来想做的方向,包括让链条深度根据问题难度动态调整、把串行链路改造成可以分叉的"树状结构"进行并行探索、以及给每一步修改加上置信度评估,万一某一步改坏了能有兜底方案回退。

三年前的GEPA用遗传算法加反思机制优化提示词,这是业内公认的强基线。再往前追溯,DSPy和AFlow这些工作则在尝试优化整个AI工作流程的结构。Mara Chain站在这些工作的肩膀上,往前多走了一步:它意识到,光是"反思"还不够,反思完了如果转头就把素材扔了,下一轮还是等于从头开始。

Q&A

Q1:Mara Chain是什么?

A:Mara Chain是一种AI系统优化方法,核心思路是把评估不达标的候选方案保留下来,基于它的运行记录和失败原因持续迭代改进,而不是直接丢弃重新尝试,从而突破优化过程中反复卡壳的"持续性失败壁垒"。

Q2:Mara Chain和GEPA、ACE这些工具有什么区别?

A:GEPA、ACE采用的是"提出-评估-选择"循环,方案不达标就直接扔掉重新开始。Mara Chain则会把失败方案的运行记录、诊断分析和修改历史都保留下来,沿着同一条线索继续改进,实测在AppWorld任务上比GEPA节省65.5%的尝试次数,最终得分也更高。

Q3:Mara Chain只能用在AI智能体上吗?

A:不是。论文在AppWorld(智能体技能优化)、TerminalBench 2.1(命令行作战框架优化)、MuSiQue(检索问答流程优化)三个完全不同的场景都做了验证,说明只要系统的可调整部分能整理成文件目录并反复测试打分,这套方法就能套用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
海南龙凤胎日夜啼哭,医院查不出病因,保姆查看监控后发现真相

海南龙凤胎日夜啼哭,医院查不出病因,保姆查看监控后发现真相

悬案解密档案
2025-05-19 14:35:42
更多内幕曝光!普林斯顿博士生被 ICE 拘留,14 岁移居纽约,全家提交庇护申请

更多内幕曝光!普林斯顿博士生被 ICE 拘留,14 岁移居纽约,全家提交庇护申请

秋风妃
2026-11-22 21:25:11
高阶数据联盟第一,甩开所有超巨!MVP快失去悬念,马刺却藏隐忧

高阶数据联盟第一,甩开所有超巨!MVP快失去悬念,马刺却藏隐忧

老梁体育漫谈
2026-11-23 00:17:47
美联储加息,突传大消息!

美联储加息,突传大消息!

魏家东
2026-11-22 14:29:08
0-0出线、1-0爆冷、6-0惨案!U17世界杯:亚洲球队球队集体大爆发

0-0出线、1-0爆冷、6-0惨案!U17世界杯:亚洲球队球队集体大爆发

大秦壁虎白话体育
2026-11-23 01:07:54
他长得帅演技好,因名字太特别,出道29年戏红人不红

他长得帅演技好,因名字太特别,出道29年戏红人不红

东方不败然多多
2026-11-22 01:09:35
黄金什么时候会跌到500块钱一克?

黄金什么时候会跌到500块钱一克?

流苏晚晴
2026-07-13 22:22:40
人蠢不蠢,一眼就能看出来。真正愚蠢的人,往往有以下两个特征

人蠢不蠢,一眼就能看出来。真正愚蠢的人,往往有以下两个特征

新时代的两性情感
2026-11-22 17:05:05
广东气温暴跌10℃!广东人脚上拖鞋焊死,全国网友笑疯了

广东气温暴跌10℃!广东人脚上拖鞋焊死,全国网友笑疯了

另子维爱读史
2026-11-21 22:06:33
台湾2026县市长选举最新预测:国民党有望17席,民进党溃退仅剩4席

台湾2026县市长选举最新预测:国民党有望17席,民进党溃退仅剩4席

恋人眼中的女孩
2026-11-22 07:03:31
博主:阿奇姆彭现在跟一支刚刚升入中超的球队进行接触

博主:阿奇姆彭现在跟一支刚刚升入中超的球队进行接触

懂球帝
2026-11-23 00:12:29
以色列斩首战术升级:从定点斩首到预约斩首

以色列斩首战术升级:从定点斩首到预约斩首

高博新视野
2026-11-20 19:42:42
状态爆发,维尔茨连续两场英超传射建功

状态爆发,维尔茨连续两场英超传射建功

懂球帝
2026-11-23 02:31:10
反常信号显现:中国股市这次的玩笑,恐怕真的开大了?

反常信号显现:中国股市这次的玩笑,恐怕真的开大了?

星语者056
2026-11-22 12:42:50
为何全球只卖中美韩三国的手机?其他国家都不生产手机吗?

为何全球只卖中美韩三国的手机?其他国家都不生产手机吗?

铭记历史呀
2026-11-21 03:26:18
11月22日俄乌:乌克兰推进势头不减,俄罗斯飞地加里宁格勒或遭袭击

11月22日俄乌:乌克兰推进势头不减,俄罗斯飞地加里宁格勒或遭袭击

山河路口
2026-11-22 20:30:06
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今怎么样了?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今怎么样了?

粤语音乐喷泉
2026-11-22 17:41:45
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
胡海泉:咬咬牙挺住,网友:这是炒股亏麻了

胡海泉:咬咬牙挺住,网友:这是炒股亏麻了

东方豪侠
2026-11-22 18:06:49
李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

政知新媒体
2026-11-22 14:27:53
2026-11-23 03:08:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

教育
本地
亲子
数码
公开课

教育要闻

“穿成这样,别的家长都听不进去了”,家长会家长穿成这样,不能理解

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

难怪养孩子3岁不离手5岁不离眼!看评论区我呆住,人心险恶亲戚歹毒

数码要闻

好消息:AMD Zen6桌面CPU提前登场!坏消息:6GHz悬了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版