训练集3比1的妙招，换127家公司后变成2比2

把“智能体互相学习”从沙盒搬到真实网站和真实模型上，会发生什么？一位开发者的答案是：迁移机制跑通了，但那个被寄予厚望的技巧没帮上忙，编排器最后拒绝批准它。整个过程试了三次，最有意思的部分恰恰是走到一句诚实的“它没用”。

任务本身很朴素：给一个公司名和官网，找出总部的公开电话。不是客服、不是销售、不是地区办事处，只要公开的公司联系方式，不要具体到人。智能体抓取公司自己网站上的页面，抽出所有电话号码，再由 GigaChat 按编号挑一个。它不能凭空编号码，只能从页面上已有的选项里选。随后一道严格检查会剔除客服线、销售线、传真和地区办事处。

用来对照的标准答案，是每家公司在美国证券交易委员会（SEC）文件中自行申报的电话，取自 EDGAR 系统。智能体全程看不到这份答案。样本是 199 家美国上市公司，其中 72 家用于训练智能体 A，127 家用于智能体 B，划分方式提前固定并留有指纹。A 跑在 GigaChat-2 上，B 跑在 GigaChat-2-Pro 上，确保 B 确实是另一个智能体。

第零次尝试：自己骗自己

第一次跑得又快又松，50 家公司里找到 3 个。有一家公司的页面上，号码旁边写着“全球总部”，于是被当成一条经验。编排器给出的判断是：它优于对照组的概率约为 0.84——但只基于一对样本。换到 30 家新公司上，带这条经验和不用它，结果都是 0 比 30。

逐行翻日志后，三件事浮出水面。测试服务器位于俄罗斯，大站点会返回俄语版本：微软给的是 /ru-ru，惠普是 /kz-ru，联想给的是莫斯科地区办事处，三星和 LG 给的是本地客服线，Salesforce 返回的页面则写着在俄罗斯已关闭。智能体是在根本没有总部电话的页面上找总部电话。

智能体还有实打实的缺陷：带 #main-content 的链接被当成不同页面，吃掉了页面配额；苹果的邮编和电话号码粘在了一起；思科“公司规模 5 - 19 20 - 49”的下拉框被读成了电话；一个 HTML 实体吃掉了英国号码里的加号。

编排器也有缺陷。它的经验检查只要求一次成功且概率高于 0.8，没有最小样本量要求。沙盒里每条经验都有几十次结果，所以这个问题从未暴露；真实任务第一天就撞上了。这与此前那条核心教训是同一个错误——在还没测量之前，就把某样东西算作经验，只是换了个地方发生。

两次正式运行

智能体 A 在训练集上试了三种策略：请求网站的英文版、查看投资者与办公地点页面、更宽泛地识别总部标签。菜单是人写的，编排器不发明策略，它只负责检验哪些策略有用并把它们传下去。

第一次运行，报告看起来不错。A 提出“更宽泛的总部标签”这条经验，训练集上 5 次修正、1 次破坏。B 在全部 127 家新公司上从编排器那里拿到了它。报告显示：带经验的任务好 3 个、差 0 个，不显著，经验未获批准。听起来像一次干净的“有希望但未证实”。

然后去读明细行。GigaChat 有时会返回错误，A 端约 7% 的调用失败，B 端约 4%。这条经验的三次“胜利”里，有两次是对照组因模型错误崩掉的任务。训练集上更糟：英文版策略的真实效果为零，它每一次“修正”都是基线运行崩溃。这条经验还接受了两个错误号码——联合太平洋和诺福克南方，而在没有它的任务里，智能体正确地回答了“不确定”。评估把这两者都算作平局，但给出错误电话号码比不给更糟。这正是此前提出的“伤害预算”思路，却没有被用到自己的经验上。

于是 0.19.1 版改了计分：答对得 1 分，弃权得 0 分，答错扣 1 分。任一组因基础设施原因失败的配对不计入。遇到限流时智能体重试 GigaChat。

第二次运行，同样的公司、同样的划分、同样的策略，全新的编排器，没有模型故障。A 在训练集上：英文版 0 次修正，投资者页面 1 次，更宽泛标签 3 次修正加 1 次破坏，被提出。B 在 127 家新公司上：带经验好 2 个、差 2 个、两种方式都对 6 个、其余 117 个相同。状态为“无效果”，未获批准。

能带走的东西

迁移机制是通的。A 自己发现并提出了一种技巧，另一个模型上的另一个智能体从在线编排器那里拿到了它，每次使用都有日志，结果用智能体从未见过的数据核验，估计值自行更新，全程没有人手动复制任何东西。

护栏也是通的。一条在训练集上看起来 3 比 1 的经验，在新数据上变成 2 比 2，于是它没有变成“经验”。在沙盒里，编排器从成功中学习；在这里，它做的最有用的事是拒绝。

• 崩溃看起来像胜利。一组失败另一组没失败，朴素比较会把功劳记给没失败的那一组。7% 的调用失败，就足以凭空造出一条毫无作用的策略。
• 错误答案比没有答案更糟。两个被藏进平局的错误号码，正是伤害预算要防的东西。
• 先修损失最大的环节。28% 的站点拒绝连接，一部分是机器人防护，一部分看起来是站点拒绝来自俄罗斯的地址，换个国家跑一次才能判断。而在 127 个任务里，正确答案只出现在 21 个任务的候选中——多数公司根本没在官网上放总部电话。号码都不在，一条关于“如何选对号码”的经验帮不上什么忙。
• 文本形式的建议是最贵的方式。第零次尝试里也把建议作为文本塞进提示词，智能体每次都“应用”了，什么都没变，token 成本却高出约 50%。把经验做成代码可检查的数据，更便宜也更好测量。

这些结果不能证明什么：不能证明经验能改善真实任务（这里没有），不能证明编排器能发明策略（它不能，菜单是人写的），也不能证明这套东西能推广到一个任务和一个模型家族之外。

下一步是换一台俄罗斯境外的服务器跑同样的流程，看看那 28% 里有多少是地理位置造成的；再换一个答案更常出现在页面上的任务，让经验有发挥空间。

从第一篇之后，改动大多直接来自读者评论：编排器目录、复现时的回归检查、长任务的成功率与止损、单次动作上限、支出回执、拆分退款、Gate 中的隐私与可逆性，以及这次的在线经验。代码和两份运行报告都已公开，作者的原话是：如果你认为我读错了这些结果，告诉我——上面这份清单里的大部分，就是这么来的。