网易首页 > 网易号 > 正文 申请入驻

实测157个Agent计划:LLM执行无碍,规划环节才是瓶颈

0
分享至

我原本以为自己在构建一个更好的规划引擎。结果发现,我造出来的是一台专门展示"看起来不错的计划到底有多容易出错"的机器——而且错得恰到好处:不是明显错误,而是恰好漏掉那个能把迁移变成事故的依赖关系或排序约束。

这个认知来得并不轻松。整个Agent生态都在痴迷于执行层:工具、记忆、编排、RAG、函数调用、评估。这些当然重要。但在构建了PlannerCritic之后,我越来越确信:很多团队在优化错误的那一层。


真正的失败,发生在第一次工具调用之前

一个Agent拿到"把这个服务迁移到新的认证提供商"这样的目标,在单次隐藏的思维链中完成分解,然后开始行动。三步之后,它发现数据库模式从未被检查过,停机窗口从未协调过,回滚路径从未真正存在过。计划在第零步看起来没问题,在第三步崩塌了。这时候你调试的不是Agent,而是清理它已经改动的状态。

更关键的问题在于:让同一个模型起草计划,然后"审查"自己的计划,这根本不叫审查——这只是带着额外步骤的自我认同。

研究早就暗示过这一点。当模型无法独立验证答案时,自我纠错失败的频率高得惊人。但我直到亲眼看着现场测试一遍又一遍地在我自己的系统里复现同样的模式,才真正内化了这个结论。

我给计划做了个代码审查系统

于是PlannerCritic诞生了。核心思路很简单:把计划当成Pull Request来对待。

一个LLM写草稿,另一个LLM审查。确定性门控检查结构。规划器反复修订,直到计划要么安全到可以批准,要么具体到必须升级给人类。

在实践中真正重要的几点:

  • 确定性门控优先。它们检查排序、分支合理性、回滚覆盖、验证、前置条件和高风险完整性。它们不读取目标文本,因此对注入免疫。
  • 审查者与规划者分离。同模型自我审查太容易被糊弄。角色分离至关重要。
  • 循环有界。修订上限、收敛检测和预算执行,防止系统无限空转。
  • 升级是特性,不是失败。如果循环无法收敛,引擎会产出一个最小化的人类问题,而不是猜测。

用一句话概括这个引擎:在Agent被允许行动之前,给计划做一次代码审查。

第一份计划看起来没问题,其实没有

现场测试中最有价值的一条追踪记录来自一个区块链恢复目标:bch-02-chain-split-recovery。规划器的第一版草稿看起来相当合理——直到审查者指出了那个缺失的依赖关系,那个足以让整个恢复流程变成事故现场的关键约束。

这正是157个Agent计划实测中最扎心的发现:执行从来不是瓶颈,计划本身才是。当你的Agent在第三步才发现第二步就该知道的事情,问题不在执行,在规划。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
问界开始为高频焕新支付昂贵账单

问界开始为高频焕新支付昂贵账单

界面新闻
2026-08-21 19:00:05
“暑假的北京,全是家长在揍孩子!”儿子在故宫门口满脸委屈,戳破家长的自我感动

“暑假的北京,全是家长在揍孩子!”儿子在故宫门口满脸委屈,戳破家长的自我感动

妍妍教育日记
2026-08-21 08:45:09
梁文锋的来时路与明日歌:三万字长文,详尽介绍一个更完整、更鲜活的梁文锋

梁文锋的来时路与明日歌:三万字长文,详尽介绍一个更完整、更鲜活的梁文锋

何加盐
2026-08-23 01:05:43
30岁失业男子,20天没吃饭靠吃饼干和喝水扛,摔倒在家爬不起来……被紧急送医

30岁失业男子,20天没吃饭靠吃饼干和喝水扛,摔倒在家爬不起来……被紧急送医

南方都市报
2026-08-21 11:06:04
啊!请求搭档字母哥!3300万诈骗犯后卫

啊!请求搭档字母哥!3300万诈骗犯后卫

篮球实战宝典
2026-08-23 22:05:10
李乃文紧急声明:王玉雯哭跟我没关系!网友:看出来了就是你

李乃文紧急声明:王玉雯哭跟我没关系!网友:看出来了就是你

韩小娱
2026-08-22 16:30:32
快讯!美国白宫正式宣布了!

快讯!美国白宫正式宣布了!

故事终将光明磊落
2026-08-23 16:35:24
老人因“鱼头对自己”怒斥小辈,被怼到哑口无言:没生在紫禁城,就别那么多穷规矩!

老人因“鱼头对自己”怒斥小辈,被怼到哑口无言:没生在紫禁城,就别那么多穷规矩!

妍妍教育日记
2026-08-16 10:05:09
张某(男,53岁),抢救无效身亡!事发一商铺拆除施工现场,官方公布调查报告

张某(男,53岁),抢救无效身亡!事发一商铺拆除施工现场,官方公布调查报告

南方都市报
2026-08-23 21:23:54
打赏千万要求女主播陪睡后续,两人聊天15915条,谈生孩子话题,更多细节曝光

打赏千万要求女主播陪睡后续,两人聊天15915条,谈生孩子话题,更多细节曝光

叨唠
2026-08-22 21:59:56
胡锡进要求道歉后,媒体也报道了北大张丹丹教授

胡锡进要求道歉后,媒体也报道了北大张丹丹教授

新动察
2026-08-22 20:17:51
曾出演《终极一班》《终极三国》的台湾艺人五熊,疑因涉嫌损坏日本文物被逮捕

曾出演《终极一班》《终极三国》的台湾艺人五熊,疑因涉嫌损坏日本文物被逮捕

台州交通广播
2026-08-23 23:15:43
宁浩新片预测票房30多亿,34家出品方跟着吃肉喝汤,唯独华谊连口汤都没分到

宁浩新片预测票房30多亿,34家出品方跟着吃肉喝汤,唯独华谊连口汤都没分到

草莓解说体育
2026-08-21 11:51:44
看完张丹丹的工作经历,就知道一个北大教授为何能说出那么荒唐的话了!原来她光写材料,光开会,活在文献堆和PPT里了!

看完张丹丹的工作经历,就知道一个北大教授为何能说出那么荒唐的话了!原来她光写材料,光开会,活在文献堆和PPT里了!

谭谈社会
2026-08-22 13:29:36
人民日报这次,说得不全对

人民日报这次,说得不全对

布衣乱弹
2026-08-23 17:31:42
炸裂!亚航座位排泄后续:阿姨自曝原因,现场乘客发声,厕所就在旁边

炸裂!亚航座位排泄后续:阿姨自曝原因,现场乘客发声,厕所就在旁边

小鋭有话说
2026-08-23 12:53:56
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
普里戈金暴毙三周年!如果他活到今天,看莫斯科滚滚浓烟

普里戈金暴毙三周年!如果他活到今天,看莫斯科滚滚浓烟

项鹏飞
2026-08-23 21:53:00
菲律宾倒向了美国,新加坡倒向了美国,柬埔寨倒向了美国,越南也在倒向美国的路上,我们在东南亚经营了这么多年,为什么都没有什么用呢?

菲律宾倒向了美国,新加坡倒向了美国,柬埔寨倒向了美国,越南也在倒向美国的路上,我们在东南亚经营了这么多年,为什么都没有什么用呢?

扶苏聊历史
2026-08-22 14:00:54
那个跟狼群长大老哥走了... 7岁被狼群收养,19岁回归社会,可他说还是跟狼生活更快乐..

那个跟狼群长大老哥走了... 7岁被狼群收养,19岁回归社会,可他说还是跟狼生活更快乐..

英国那些事儿
2026-08-22 23:22:21
2026-08-23 23:52:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
280文章数 86关注度
往期回顾 全部

科技要闻

“英伟达发通知:涨价15%以上”

头条要闻

22岁小伙在篮球赛中突然倒地后离世 父亲在直播中目睹

头条要闻

22岁小伙在篮球赛中突然倒地后离世 父亲在直播中目睹

体育要闻

46岁小罗复出,为什么选了一支意丙球队?

娱乐要闻

王传君的舞台,藏着与乔任梁的过往

财经要闻

加拿大宣布“全额对等报复”美国新关税

汽车要闻

华为乾崑全栈赋能/更倾向城市出行 猛士X700车展首秀

态度原创

房产
艺术
手机
公开课
军事航空

房产要闻

两大热盘即将入市!三亚又一批安居房狠货要炸场了!

艺术要闻

260米!济南“五指山”第四高楼,施工提速!

手机要闻

三星Galaxy Store将停支持安卓4.x付款功能

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国批准向韩出售导弹 此前特朗普称与金正恩关系良好

无障碍浏览 进入关怀版