网易首页 > 网易号 > 正文 申请入驻

商家AI助手巡检翻车,问题出在评测的尺子还是模型?

0
分享至

商家让 Agent 巡检昨日投放,它交回一份结构完整的报告。Trace 一拉,查的却是当天数据。报告看着像对的,任务其实没完成——这正是商家广告助手评测要解决的第一道坎。


商家广告助手面向投放巡检、异常诊断、数据报告和计划编辑等场景。它要读取持续变化的真实账户数据、调用多个工具、遵守投放规则,必要时直接调整投放计划。判断它能不能上生产,不能只看最终回答像不像对的,还要验证整个任务是否被正确完成:意图和时间范围理解准不准、数据与工具调用对不对、关键规则守没守、最终账户状态或交付物符不符合预期。

公开 Benchmark 的成绩不能直接当上线依据。它们覆盖的任务、业务规则和数据与广告投放不同。可复用的是任务设计、环境构造和判定方法,Task 集得围绕广告业务自己建。

两条路径凑出一套考题

该拿什么任务来考它?只从线上 Bad Case 入手,样本容易集中在已经暴露的错误上;只靠团队主动构造,又难回答关键流程和风险是否覆盖。实践下来是两条互补路径:从业务 SOP 自顶向下拆解,保证核心流程和关键分支不遗漏;从线上使用和离线测试的 Bad Case 自底向上补齐,覆盖设计阶段难以预见的边界与风险。

拆解时把每个 Skill 还原为业务状态图,明确六类要素:业务状态、数据依赖、条件分支、提前停止点、能力边界,以及跨 Skill 的转交点。以到店 KA 每日巡检为例,主流程是状态驱动的分支流程,不是从头跑到尾的固定链路:

  • 未发现异常门店时,跳过投放层下钻,但仍要生成巡检报告;
  • 账户余额不足时,只产生账户级预警,不单独触发门店下钻;
  • 只有发现问题投放后,才进入分层归因;
  • 命中预算、余额、状态或时段等直接根因后,停止后续弱证据检查;
  • 用户实际要做日报复盘、计划诊断或计划编辑时,转交相应 Skill 并结束当前巡检。

Bad Case 则被抽象成可复用的失效模式。前述“查错日期”会被归为“日期理解与计算失效”,再扩展覆盖今日、昨日、历史日期和周末等情况。两条路径合起来,为 KA 每日巡检设计了六类共 41 个评测场景。路由转交与核心主流程同等重要:生产可用的 Agent 不仅要知道该做什么,还要知道什么时候不该启动完整巡检,而应追问、转交或拒绝。

成功标准要拆到可取证

收到一份报告就算完成吗?拆成三层看:执行流程是否遵循业务 SOP,包括工具调用顺序、必要步骤覆盖、有无低效或重复调用、条件分支是否正确执行;执行过程和结论是否有据可依,包括参数值是否与任务上下文语义一致、工具选得对不对、输出是否忠实于工具实际返回的数据;巡检报告是否可交付,包括内容是否缺失、必要模板是否输出、结论是否存在模糊表述。

这些检查项构成评分细则。必要步骤、顺序调用、正确工具、参数一致性、参数合规性、输出忠实性、输出完整性、输出遵守必要模板作为成功必需项;低效与重复工具调用、规划效率、结论表达等指标用于质量分层和问题诊断,不影响任务是否成功。判定时,能从 Trace 精确取证的交给确定性 Grader,需要理解业务语义和证据关系的交给 LLM Grader。

指标汇总为五个维度:任务完成率反映整体成功情况,Pass@k 和 Pass^k 分别衡量能力上限与执行稳定性,工具调用顺序命中率、必要步骤覆盖率等帮助定位成败主因,规划效率、结论确定性观测输出质量,Token、LLM 调用轮次、端到端时延和 TTFT 衡量资源消耗与运行效率。

先校准尺子,再谈模型变强

评测器本身也会出错。OpenAI 审计 138 道难以攻克的 SWE-bench Verified 任务时,发现其中 59.4% 存在任务描述或测试设计缺陷。商家 Agent 同样如此:Trace 解析、确定性 Grader 或 LLM Rubric 一旦有偏差,就会导致错误归因。

确定性 Grader 的校准重点是规则有没有准确表达业务约束。早期 Task 用线性顺序描述工具调用,容易把合理的并行与汇聚路径判为失败;人工复核发现这类假阴性后,复杂路径升级为 DAG,节点表示必要工具调用,边只保留真实的数据依赖。LLM Grader 则重点验证与业务专家的语义一致性,证据不足的高风险问题允许返回“无法判断”,而不是硬给二元结论。

这里要分清:评测误判减少说明尺子更准,不代表 Agent 变强。只有用校准后的同一套标准重跑 Benchmark,才能判断能力是否真的提升。评测器也需要持续维护——自动回归、稳定抽检、触发复核三种机制结合,人的职责是校准标准、处理争议、复核高风险结果和识别新的失效模式。

从“不会做”到“不能稳定做对”

任务失败只是结果,不是根因。分层指标把问题定位到路由、必要步骤、工具参数、条件分支、事实依据或最终输出等具体检查项,再直接查看关联的局部 Trace、工具参数和返回结果,通常就能确认原因。只有指标与 Trace 结论冲突、局部证据不足或同一问题随机出现时,才进一步查看完整 Trace、重复执行或补充控制变量验证。

以 KA 每日巡检为例,分层指标显示问题集中在四方面:配置职责混杂、命令路由不唯一、条件分支和停止条件不明确、稳定逻辑过度依赖模型。优化遵循同一原则:减少模型需要记忆和自由判断的确定性约束,把解析、计算和筛选交给确定性代码,模型聚焦流程调度、条件理解和业务表达。

用同一套 Benchmark 回归后,能力上限和执行效率均明显提升,但 Pass^k 仍显著低于 Pass@k。主要瓶颈已从“不会做”转为“不能稳定做对”,这直接影响了后续的优化思路。

离线 Benchmark 能验证能力、稳定性、事实性、Token 和时延,却不能直接等同于商家业务收益。当前观测到的过程指标和业务结果变化,由于使用商家数较少且缺少同期对照组,还可能受季节、活动和商家经营状态影响,只能视为业务价值的初步信号,而非因果收益。

把评测做成可重复运行的流程

模型、Skill 和工具持续更新,团队需要复用任务与判定标准、批量执行评测,并保留问题复核和版本比较所需的证据。借助图灵评测平台,评测准备、执行判定和分析回归被组织为可重复运行的流程。

比较两个版本的巡检完成率,先要确认它们面对同一批任务和同一套要求:Task 集管理维护任务输入、前置条件和预期行为,环境配置复制线上 Agent 配置作为基线,明确模型、Prompt、Skill、工具和权限。真实账户数据会随时间变化,运行日期、账号和数据状态也要核对——复制配置不等于固定了业务数据。

Rubric 被配置为可执行检查项,成功必需项决定任务是否完成,质量诊断项用于分析优化。根因分析时,团队可从评测报告下钻到具体 Task、失败检查项和执行片段。人工质检抽检 LLM Judge 的判定结果,以人机一致率衡量其与业务专家判断的一致程度。比如工具返回“投放消耗下降”,Agent 写成“投放效果变差”,LLM Judge 判为忠实,业务专家判为不通过——分歧促使团队在 Rubric 中明确“结论必须有数据支撑”,再用历史样本验证一致率是否改善。

Task 集、Evaluator 和 Pipeline 保留为可复用的评测资产。Pipeline 串联任务批量执行、结果采集和机器评测,并关联 Task、执行环境及 Agent 版本。修复一个失败任务后,还要检查对其他场景的影响:显式化停止条件后,既要验证“无异常时不继续下钻”,也要检查“存在异常时仍能完成必要诊断”。

业务 Agent 评测体系不是一次性建成的测试平台,而是一套从业务任务出发,逐步形成场景、指标、证据、诊断和迭代闭环的业务基础设施。Task 和指标不必照搬,但这条建设路径可以复用:从业务任务出发而非公开数据集,从业务风险推导指标,指标既能衡量也能诊断,评测器和 Agent 分别迭代,离线 Benchmark、线上过程指标和业务结果共同构成证据链。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

篮球大视野
2026-11-17 10:51:24
很遗憾!上海刚需已错过抄底时机

很遗憾!上海刚需已错过抄底时机

魔都财观
2026-11-17 07:42:08
五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

皮蛋儿电影
2026-05-14 09:59:14
三天连发三款王炸!大众9.99万起,激光雷达下放,660km续航全有

三天连发三款王炸!大众9.99万起,激光雷达下放,660km续航全有

音乐时光的娱乐
2026-11-17 14:27:29
高市专机还未落地!日本又准备找麻烦,提的要求,一个比一个离谱

高市专机还未落地!日本又准备找麻烦,提的要求,一个比一个离谱

关权教授聊经济
2026-11-16 22:11:04
砸下12亿,耐克终结阿迪达斯26年欧冠合作

砸下12亿,耐克终结阿迪达斯26年欧冠合作

体育产业生态圈
2026-11-17 14:49:42
英国如今恐怕急得夜不能寐:中方在联合国公开带头追索107万亿美元,仅英国就背负着24万亿殖民掠夺旧账,面对这笔账,西方集体选择了沉默

英国如今恐怕急得夜不能寐:中方在联合国公开带头追索107万亿美元,仅英国就背负着24万亿殖民掠夺旧账,面对这笔账,西方集体选择了沉默

人生录
2026-10-25 00:10:08
土耳其人:这么贵的东西中国人天天当水喝?真是羡慕中国人!

土耳其人:这么贵的东西中国人天天当水喝?真是羡慕中国人!

抽象派大师
2026-11-10 18:27:26
1946年解放军神枪手被敌人诱出战壕,瞬间十余射手对准他猛烈狙击!

1946年解放军神枪手被敌人诱出战壕,瞬间十余射手对准他猛烈狙击!

南书房
2026-11-17 11:40:16
互相逆袭!甲乙升降级附加赛次回合,定南赣联和贵阳竞技迎生死战

互相逆袭!甲乙升降级附加赛次回合,定南赣联和贵阳竞技迎生死战

实事球是
2026-11-17 16:46:36
刷到路人偶遇抓拍的蔡少芬素颜照,不少人感慨看着老了好多

刷到路人偶遇抓拍的蔡少芬素颜照,不少人感慨看着老了好多

旧时光老师
2026-11-01 21:15:06
安德列娃收到俄罗斯总统普京的特别贺词

安德列娃收到俄罗斯总统普京的特别贺词

网球之家
2026-11-17 13:33:11
兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

铭记历史呀
2026-09-20 16:15:46
伊总理放话,会把欠中国的工程款立即结清,但向中方提了一个要求

伊总理放话,会把欠中国的工程款立即结清,但向中方提了一个要求

军机Nova
2026-11-17 00:31:16
美国政府正在调查新加坡某公司,指控其涉嫌非法向中方转运英伟达的芯片,外交部回应

美国政府正在调查新加坡某公司,指控其涉嫌非法向中方转运英伟达的芯片,外交部回应

吉刻新闻
2026-11-17 21:26:16
官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

一盅情怀
2026-11-17 12:19:47
从白衬衣到“响当当、硬邦邦、嗷嗷叫”:理性透视王忠林落马后的舆情回响

从白衬衣到“响当当、硬邦邦、嗷嗷叫”:理性透视王忠林落马后的舆情回响

欧亚地理札志
2026-11-17 14:33:49
小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小柱解说游戏
2026-11-17 02:50:42
受贿数额特别巨大,中核集团原党组副书记、总经理顾军被提起公诉

受贿数额特别巨大,中核集团原党组副书记、总经理顾军被提起公诉

每日经济新闻
2026-11-17 21:42:17
54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

小疯子耶
2026-11-15 07:30:45
2026-11-17 22:19:00
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
220文章数 176关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
家居
房产
游戏
健康

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

小伙表示连玩7天《GTA6》 这下PS5可惨了

情绪真能让健康人"伤心至死"?

无障碍浏览 进入关怀版