北京
企业级AI工程里有个默认假设：可靠性是要花钱买的。想提高准确率，就得堆更大的模型、加更多的重试循环、上昂贵的视觉处理，最后还得配一支人工兜底团队。
Brainbase Labs的工程负责人Milind Shah在证明相反的事。他在AI Engineer NYC有一场周三下午的分享，主题叫"爬坡优化后台代理"。会前他坐下来聊了一个和Domino's Pizza合作的案例，这个案例把标准的AI成本曲线整个翻了过来。
Domino's原本要追踪本地快餐连锁的竞品定价和促销折扣，这套流程又贵又靠人工。他们部署了由Brainbase管理的自主浏览器代理。经过九个迭代版本，系统任务准确率从41%涨到91%。同期运营成本从每月数千美元的外包咨询团队，掉到每周只要20到30美元——单源推理成本降到1.16美元。
先定义"正确"，再写代码
在Brainbase碰任何一条提示词或模型参数之前，Shah的团队得先解决一个地基问题：成功到底长什么样。
Domino's此前靠人工分析师手动翻竞品网站，收集本地优惠码和促销价格，再整理成结构化表格供高管决策。要用软件复刻这件事，Shah直接坐到Domino's的非技术业务团队旁边，把他们参考的表格拆解清楚。
"他们本来就知道一张好表格长什么样，"Shah说。"我们拿这个建了一个内部基准数据集，里面是问题和预期输出。没有内部基准，你没法证明准确率数字，也没法把改进和成本下降挂上钩。"
这个基准成了地基事实，之后每一次提示词微调、模型替换、代理指令修改，都拿它打分。
砍掉视觉推理，准确率反而跳了
基准立好之后，Brainbase开始系统性地拆执行瓶颈。意外的是，准确率最大的一次跃升不是来自更大的大模型，而是来自砍掉视觉推理。
早期迭代里，浏览器代理靠视觉处理去定位竞品网站上的按钮和导航链接。这条路慢、贵，还容易点错。Shah发现快餐点单界面的UI布局是静态的。与其让模型每次加载页面都去解析图像token找一个"查看优惠"按钮，Brainbase直接给重复出现的UI元素写死了固定的X/Y屏幕坐标。
"与其让代理读图去判断按钮在哪，我们直接告诉它确切的X/Y坐标，"Shah说。"这消掉了昂贵的读图推理，单这一项就带来了我们最大的准确率提升。"
同时Shah在模型选择上做了实验。团队没有默认用Anthropic的旗舰Claude Opus 4.6，而是发现把提示词写得高度结构化、约束收紧，配上Sonnet 5，准确率更好，token成本只是零头。
自我改进还没解决的那块
Brainbase的平台现在驱动着超过10000个企业内部代理，跑在各类后台工作流上，从发票异常清理到库存调拨都有。
Brainbase的自动化"爬坡"引擎能自动发现并修复错误工具调用、幻觉这类失败模式。但Shah对当前自动化的边界说得很直白：复杂的浏览器导航轨迹仍然需要工程师人工盯。
"自动化改进对工具调用和幻觉有效，"Shah指出。"但浏览器导航对今天的自动改进代理来说还是太复杂了。工程师仍然得手动审查代理轨迹，找出浏览器动作在哪里断掉。"
对评估预算紧张的团队，Shah的建议很直接：别把初始评估搞复杂。"确定性的评估标准在低推理成本下就能走很远——检查幻觉、工具使用正确性、以及对知识库的遵循程度。"
造代理的这个人
Shah走到Brainbase工程负责人的位置，路径横跨DoorDash和Adobe的软件工程岗位，在Merkle把代码数据业务从零做到八位数，还联合创办了评估平台Pipelines。
尽管在造能处理复杂企业工作流的自主系统，Shah对这场AI革命保持着一种落地的、带反思的看法。
"我整体是乐观的，但我经常想技能退化这件事，"Shah承认。"如果我今天用AI写代码，明天用AI写其他所有东西，你就有丢掉核心技能的风险。一个好的AI工程师，首先还是得有扎实的工程基本功。"
Milind Shah的分享"爬坡优化后台代理"在10月14日周三下午2:50 ET，地点是AI Engineer NYC。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
