网易首页 > 网易号 > 正文 申请入驻

AI会自己改造自己的"外挂装备",这事靠谱吗?

0
分享至


你有没有想过,为什么同一个AI模型,换个用法就判若两人?

同样是GPT-5.5,有的团队用它写代码效率翻倍,有的团队却总觉得它笨手笨脚。差别往往不在模型本身,而在那套包裹着模型的"装备"——提示词怎么写、记忆怎么存、工具怎么调、出错了怎么恢复。这套装备有个专业名字,叫做harness。

更有意思的问题是:如果让AI自己去改造这套装备呢?它执行任务,发现某个流程笨拙,于是自己动手把流程改掉,下次执行时直接用新流程。听起来像是科幻小说里的情节,但2026年的一批研究已经把这件事做成了真实可用的系统。中科大团队这篇论文,就是想把这件混乱的事情梳理清楚:到底什么叫harness自我进化,它靠不靠谱,又会带来什么麻烦。

**模型不动,装备在动**

先说清楚一个基本区分。

AI的能力提升,一般有两条路。一条是改模型本身,也就是调整神经网络里那些数以十亿计的参数,这叫"训练"或者"微调",成本极高,还需要拿到模型权重,对于那些只能通过API调用的闭源模型(比如GPT系列),普通开发者根本做不到。另一条路是不碰模型,只改模型外面那层"装备"。

harness*:指包裹在AI模型外面的一整套软件和配置,包括给模型的指令、存储的记忆、调用工具的流程、出错后的恢复机制等等。模型是大脑,harness是大脑之外的手脚、工具箱和操作手册。

这篇论文关注的,就是第二条路:**模型权重保持不变,只有外面这层装备在持续进化**。

为什么选这条路而不是改模型?论文给了三个理由,其实挺实在的。

第一,harness直接决定了一个固定模型的实际表现,就像同一个厨师,换一套菜谱和工具,做出来的菜可以天差地别。第二,改harness不用重新训练,成本低得多,而且哪怕你用的是闭源API模型,拿不到权重,也照样能优化你自己这边的装备。第三,也是最容易被忽略的一点:**指令、记忆、代码这些东西都是人能读懂、能版本对比、能追溯变化的,而模型内部参数的变化几乎是个黑箱**,出了问题你很难说清楚到底是哪次训练导致的。

这就好比你开一家连锁餐厅,总部的中央厨房(模型)配方不变,但每家分店可以根据本地顾客口味调整摆盘、服务流程、点餐系统(harness)。如果不允许分店做这种调整,会怎样?每家店都得用一模一样的流程,遇到问题只能上报总部等中央厨房改配方,等待周期长,成本高,而且总部也没法针对每家店的具体情况做出反应。允许分店自己迭代运营手册,问题能更快被发现和解决,而且这个手册是写在纸上的,新店长接手时一看就懂,不像中央厨房的配方那样是商业机密加黑箱。

**四条底线,划清楚什么才算"自我进化"**

但这里有个容易混淆的地方:是不是只要AI执行任务时记了点笔记,就叫"自我进化"了?

论文给出了很严格的定义。真正的harness自我进化,必须同时满足两个条件。

第一是操作上的反馈闭环:系统得用自己执行任务产生的反馈,算法化地生成或挑选修订方案,而且这套更新机制得留着,能持续用于后续的更新。第二是跨会话的持久性:被接受的修订得存下来,下一次运行时加载出来,这样一次交互里学到的经验才能影响到后面的执行。

单纯往日志里追加记录,或者按固定规则压缩上下文,这都不算数,因为这些操作不会真正改变系统的行为模式。但如果系统学会了一套可复用的流程,或者改变了记忆的存取策略,那就算。

这个区分其实挺重要的。想象你用一个笔记软件,每天记流水账,这不叫学习,这只是存档。但如果你把反复踩坑的经验总结成一套"下次这么做"的清单,并且下次真的照着这个清单改变了做法,这才叫真正意义上的成长。论文想把这种"假进化"(只是攒日志)和"真进化"(真的改变未来行为)区分开。

**从改说明书到改引擎:三层进化目标**

那具体来说,AI能改造装备里的哪些部分?论文给出了一个层层递进的分类,从浅到深。

最浅的一层叫**交互式状态更新**,改的是指令、存储的经验、任务层面的协调方式,但底层的执行能力和接口不变。好比你给员工发了一份新的操作手册,员工按手册办事,但公司的组织架构、岗位职责没有变。

往深一层是**可执行组件修订**,这就触及代码本身了。论文又把这块细分成三种。

第一种是工具和代码补丁,只改某个具体的函数或模块,周围的调度逻辑不动。打个比方,这就像给汽车换一个零件,比如换个更好的空气滤芯,发动机的整体结构和控制系统都不动。好处是改动范围小,容易检查;坏处是如果这个零件的输出格式变了,而其他零件没跟着适配,照样会出问题,这就是论文里说的"改动可能传播到被修改模块之外"。

第二种是仓库级控制逻辑,这就不只是换零件了,而是直接重新设计发动机的控制系统,包括任务怎么排期、上下文怎么构建、出错了怎么恢复。论文里提到一个具体案例叫HarnessOpt,在一个叫SpreadsheetBench的表格处理测试里,GPT-5.4-nano配上HarnessOpt加技能库之后,准确率从最初的29.89%一路涨到77.58%,甚至超过了用更弱优化方法(SkillOpt)的GPT-5.5模型(76.20%)。这组数字挺震撼的:一个更小、更便宜的模型,靠更好的装备,反超了用简陋装备的大模型。这说明装备的质量有时候比模型本身的规格更重要。

第三种最彻底,叫插件化架构,论文给它起了个名字叫"万物皆插件"(Everything Is a Plugin,简称EIP)。

EIP*:一种系统设计思路,把记忆存储、工具调度、执行循环这些核心运行服务都变成可替换的插件,AI在执行任务时可以当场生成新工具,验证后挂载进系统,留给以后的任务复用。

论文举了个很生活化的案例:用一个叫DSH Everything的Codex插件处理跨国公司的表格数据,不同地区的语言和内容不一样,但计算逻辑类似。AI第一次处理时,自己写出了批量查找和汇总的工具,调用次数从13次降到3次。但第一次创建工具是要花代价的,token消耗多了15.7%,耗时也多了54.9%。不过累计到第五个类似任务时,总共省下了110,351个token和22.97秒。

这个数据特别值得琢磨。**第一次投入是亏的,但只要后面有足够多相似任务,这笔投入就会摊薄到划算。**这就跟你花时间搭一套Excel自动化模板一样,第一次做模板比直接手算还慢,但如果以后每个月都要做同样的报表,这个模板迟早把你省下来的时间赚回来。论文里也诚实地指出,这两组数据(首次任务单独报告的数字,和累计序列里的首次数字)存在一个未解释清楚的差异,没有强行把它们拼成一条干净的曲线,这种严谨是值得称道的。

**进化靠谱吗?数学给出三条紧箍咒**

说了这么多好处,有个问题躲不过去:AI自己改自己的装备,怎么保证改的是真的变好,而不是自欺欺人?

这正是论文花了大篇幅去啃的硬骨头。研究者借用了一套叫**持续PAC学习**的理论工具来分析这个问题。

PAC学习*:机器学习理论里的一个经典框架,全称"概率近似正确"(Probably Approximately Correct),用来回答"一个模型在训练数据上表现好,能不能保证它在没见过的新数据上也表现好"这个核心问题。

论文的分析拆成三道关卡。

第一道关卡是泛化能力。改动过的harness在它"见过"的任务上表现好,不代表在新任务上也一样好。论文用"算法稳定性"这个工具,衡量的是:如果你把训练集里的某一条样本换成另一条独立样本,重新跑一遍整个更新流程,最后系统表现会变化多少。如果换一条样本就让结果天翻地覆,这套更新机制就不可信。这就像一个厨师的手艺,如果换一颗番茄就能让整道菜的味道彻底变样,那这道菜的做法本身就是不稳的,不是哪颗番茄的问题。

第二道关卡是遗忘控制。AI在优化新任务的过程中,有没有可能把老任务的能力搞丢了?论文引入了"历史回归预算"的概念,也就是给每一轮更新设一个"最多能退步多少"的上限,层层累加后给出一个理论上限,保证哪怕有退步,退步也不会无限累积失控。这跟你健身请私教改菜单一样,新菜单主打增肌,但不能完全不管心肺功能,得有个底线,不能说练出了肌肉却把心肺耐力搞废了。

第三道关卡最实际,叫**高概率准入规则**。每次想接受一个新的修订方案前,必须用一批"全新的、从没在训练和调试过程中用过的"独立验证数据去测试它,而且要用统计学里的霍夫丁不等式(Hoeffding's inequality)算出一个置信区间,只有当新方案明显优于旧方案的上界依然为负时,才允许接受这次修订。

论文特别点名批评了两个现有方法:HarnessBank用训练任务做筛选,之后才上独立测试;Self-Harness复用了一个"留出的回归测试集"。论文直接指出,这些**"事中检验"都缺乏理论要求的独立性**,因为这些验证数据或多或少已经被用来指导过搜索方向,相当于考试前先看过部分真题,分数自然会虚高。这个批评挺不留情面的,但也体现了论文的较真精神:不是你测了就算数,测试的样本必须是真正没被污染过的。

**装备坏了能修,但有些伤是修不回来的**

理论讲完了,论文接下来转向一个更现实也更让人不安的问题:**这套自我进化机制如果真的被大规模部署,会出什么岔子?**

论文挑了五个场景来说这件事,每个场景的风险等级都不一样。

在个人工作场景里(比如你用Claude Code写代码),AI会记住项目的编码规范和你的个人偏好,省去反复解释的麻烦。但问题是,**临时的权宜之计容易被悄悄固化成长期规则**。你有一次为了赶时间让AI跳过某个检查步骤,这个"例外"有没有可能被系统当成"新常态"保留下来?论文提到,哪怕是一次成功完成的任务,也可能沉淀出一个"看似通用、实则有害"的技能,这个风险在你毫无察觉的情况下积累。

企业自动化场景的风险升了一级。一个团队发现某个变通方案能绕过故障,于是把这套方案存进共享技能库,结果传播到了权限设置或数据环境不同的其他团队,引发连锁性的错误。论文把这个现象和"算法单一化"(algorithmic monoculture)的概念挂钩,也就是说当大家都用同一套(有缺陷的)流程时,错误会同步发生,而且因为大家犯的是同一个错,反而更难被发现。

科学研究场景的风险更隐蔽。如果AI在优化实验流程时,钻了"评估指标不够完善"的空子(论文里管这个叫specification gaming,即"规范博弈"),它可能会学出一套在表面指标上得分很高、但实际上经不起独立验证的操作流程。这套流程还可能通过团队合作或者湿实验室的样品转移,继续扩散出去,在被发现之前,白白耗费仪器时间、试剂和研究人员的精力。

机身人和具身交互场景最让人紧张,因为这里牵涉的是物理世界的后果。论文直接给出了建议:机器人的急停开关、力度和速度限制、权限审批这些保险丝,**必须被放在可修改范围之外**,独立于AI自我进化的那套流程。原因很直白:软件层面的"回滚"只能恢复代码状态,不能让已经变形的零件复原,不能让已经造成的物理伤害消失。这是整篇论文里态度最硬的一条红线。

公共服务和医疗场景同样棘手。如果一套有偏见的分诊规则被系统当成"标准做法"固化下来,受影响的患者或申请人常常没有别的机构可以选择。软件回滚解决不了"错过的治疗窗口",也没法自动纠正已经被拒绝的资格申请。论文建议每条决策都要留下规则版本、依据和审批记录,而且要有畅通的申诉渠道。

这五个场景放在一起看,其实揭示了一条规律:**自我进化带来的风险严重程度,和它造成的后果能不能被软件撤销成正比**。代码层面的错误,理论上可以回滚;物理世界和制度性伤害,往往回滚不了。这也是为什么论文反复强调,要把"学习"和"执行权限"分开管理,不能让AI一边学习一边拥有不受限的行动权。

Q&A

Q1:harness自我进化到底是什么意思?

A:指AI系统在不改变模型权重的前提下,利用自己执行任务积累的反馈,持续修订外部的指令、记忆、工具调用流程和代码逻辑,并且把这些修订保留下来供后续运行使用,形成一个可持续的学习闭环。

Q2:为什么不直接训练模型,而是改动harness?

A:因为改harness成本低,不需要重新训练,也不需要拿到模型权重,很多团队用的是闭源API模型根本改不了内部参数。而且harness里的指令、代码都是人能读懂和追溯版本的,出问题容易定位,模型内部参数变化则很难解释清楚。

Q3:AI自己改装备会不会越改越差?

A:存在这个风险,论文提出了三道检验关卡来防止这种情况:用算法稳定性检查改动是否经得起样本替换,用历史回归预算限制累积退步的上限,用独立的全新验证数据做准入测试,只有真正优于旧版本才允许接受新修订。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1935 年,蒙古总理打斯大林一记耳光,两年后蒙古全国 70 万人口,用 3 万人头还了债,这背后到底藏着什么样的地缘杀局

1935 年,蒙古总理打斯大林一记耳光,两年后蒙古全国 70 万人口,用 3 万人头还了债,这背后到底藏着什么样的地缘杀局

磊子讲史
2026-11-19 20:49:40
绝非客套!西班牙主帅公开警惕国足U17:这支亚洲劲旅极度危险

绝非客套!西班牙主帅公开警惕国足U17:这支亚洲劲旅极度危险

林子说事
2026-11-19 14:46:50
惨!新5元纪念币,没人约了!

惨!新5元纪念币,没人约了!

天天纪念币
2026-11-18 12:05:10
中国造不出高端发动机?日企拆开红旗车,发现中国已走在时代前面

中国造不出高端发动机?日企拆开红旗车,发现中国已走在时代前面

云居历史
2026-11-17 03:24:00
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

鸟儿太能吃
2026-11-18 22:51:00
中国让李在明如愿,他从深圳带走的东西,足够给韩国人一个交代了

中国让李在明如愿,他从深圳带走的东西,足够给韩国人一个交代了

影孖看世界
2026-11-19 17:52:49
407米!深圳在建第一高楼,幕墙完工!

407米!深圳在建第一高楼,幕墙完工!

GA环球建筑
2026-11-19 19:25:34
何超琼街头被偶遇!拎260万爱马仕贵气十足 这状态说40岁我都信!

何超琼街头被偶遇!拎260万爱马仕贵气十足 这状态说40岁我都信!

做一个合格的吃瓜群众
2026-10-21 13:17:27
刘邦俘获魏王豹之后,马上就临幸了其妻子薄姬,她被周勃评为挽救了整个大汉江山的女人,她究竟藏着怎样的顶级权谋

刘邦俘获魏王豹之后,马上就临幸了其妻子薄姬,她被周勃评为挽救了整个大汉江山的女人,她究竟藏着怎样的顶级权谋

磊子讲史
2026-11-19 20:37:45
误闯天家! 浙江丽水“富家千金”柳晶出嫁,八抬大轿凤冠霞帔,席开近50桌,每桌搭配茅台

误闯天家! 浙江丽水“富家千金”柳晶出嫁,八抬大轿凤冠霞帔,席开近50桌,每桌搭配茅台

裕丰娱间说
2026-11-18 11:42:42
2018年5月5日深夜,21岁空姐叫了一辆网约车,上车没多久,她给朋友发消息:“司机是个变态,一直夸我漂亮,说想亲我一口。”

2018年5月5日深夜,21岁空姐叫了一辆网约车,上车没多久,她给朋友发消息:“司机是个变态,一直夸我漂亮,说想亲我一口。”

扶苏聊历史
2026-11-11 17:20:34
尴尬了,4288mAh‌电池的iPhone18 Pro,续航比7400mAh安卓机强

尴尬了,4288mAh‌电池的iPhone18 Pro,续航比7400mAh安卓机强

互联网.乱侃秀
2026-11-17 13:26:53
就在今天!詹姆斯的2个NBA纪录被打破了

就在今天!詹姆斯的2个NBA纪录被打破了

篮球大视野
2026-11-19 16:22:13
高市早苗终于见到普京,俄方只给30分钟,日本提出两项要求,莫斯科没有松口

高市早苗终于见到普京,俄方只给30分钟,日本提出两项要求,莫斯科没有松口

夕落秋山
2026-11-19 21:28:18
终于知道为什么很多人不愿买“主卧带卫”的房子了!

终于知道为什么很多人不愿买“主卧带卫”的房子了!

夜深爱杂谈
2026-10-04 20:58:44
乘客电话里狂提“偷渡”“逃跑” 顺风车司机悄悄报警 警方27分钟拦截 发现其数十分钟前刚被外地公安列为刑拘在逃人员

乘客电话里狂提“偷渡”“逃跑” 顺风车司机悄悄报警 警方27分钟拦截 发现其数十分钟前刚被外地公安列为刑拘在逃人员

闪电新闻
2026-11-18 14:36:57
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
中方:停止利用台湾问题进行政治操弄

中方:停止利用台湾问题进行政治操弄

环球网资讯
2026-11-19 06:50:07
好奇查了一下赵本山多有钱,真是不看不知道,一看吓一跳,他自从隐退之后,几乎不怎么抛头露面,但他的家底可不像人那么低调了

好奇查了一下赵本山多有钱,真是不看不知道,一看吓一跳,他自从隐退之后,几乎不怎么抛头露面,但他的家底可不像人那么低调了

一盅情怀
2026-11-19 14:04:27
2026-11-19 22:16:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10628文章数 573关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9限时27.39万起 方向盘可折叠 方盒子也能当家用旗舰

态度原创

房产
教育
时尚
游戏
本地

房产要闻

2.5亿!丁村侨中,新动作来了!

教育要闻

祝贺!绵阳3名学子获得省级荣誉称号

0.01分赢下保研,第二天就被室友举报了

GTA6开头15分钟揭晓逆天设定!玩家当场看呆

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版