当我们说AI评测时，到底在评什么？

从手搓评测工作流到搭建完整体系，一位AI产品经理如何通过实战实现认知升级？本文深度拆解客服会话AI评测从零到一的完整闭环，揭秘评测方案设计的五个灵魂拷问，以及如何避免自动化跑分陷阱、资源错配等常见误区。带你从执行层面跃升至策略思维，看懂AI评测如何从一次性动作进化为体系化运营。

———— / BEGIN / ————

手搓一个评测工作流，搭建一整套评测体系：一个AI产品经理的认知升级实录

一、一切从一个评测项目开始

2024年，我接到一个任务：评测客服会话的AI回复质量。

一开始我没想太多，觉得不就是「找几条对话、让模型打打分」吗？于是我打开工作流编辑器，拖了一个模型节点、接了几个判断分支，手搓了一个简单的评测工作流—用不同的模型分别对客服会话逐条打分，然后出个报告。

看起来挺像那么回事。

第一轮小样本人工标注后，我发现工作流的打分结果跟人工判断偏差很大。于是开始调 prompt、换模型、调整评估节点顺序……折腾了几轮，终于跑出了勉强能看的分数。

就在那一瞬间，我突然意识到：这不就是一个最小单元评测项目吗？

那段时期，我所在的公司也在经历一场评测体系的进化，我也因此经历了从「手搓工作流」到「小样本标注」到「调优」的完整闭环，而我的角色也在不知不觉中发生了转变—从一个旁观的评估方案了解者，变成了亲自上手的执行者。从只负责出报告的工具人，变成了能参与优化决策的参谋。

第一阶段：各自为战期。各业务线依赖第三方标注系统，业务方提需求、标注团队执行，效率低、反馈慢。不同业务用不同的标准，一个「回答准确」在不同团队眼里的定义可能完全不同。

第二阶段：体系觉醒期。公司开始意识到评测不能靠各业务自生自灭，开始搭建自研评测系统，逐步形成数据集管理 → 数据标注 → 标注策略维护 → 分析报告 → 评测版本管理的完整链路。

第三阶段（现在）：自动化升级期。

我们正在启动Rubric自动化评测—这背后的核心驱动力是两个痛点：

1）效率瓶颈

业务更新迭代的节奏飞快，但人工标注的速度跟不上。每一次模型迭代都要重新标一批数据，周期长、成本高，严重拖慢了迭代节奏。自动化评测可以把常规维度跑成常态化的流水线，让人工聚焦在更有价值的bad case分析和维度校准上。

2）人工评测的波动性问题

同个或不同的标注员对同一批会话的打分可能存在偏差（如下图）。这种波动不是谁对谁错，而是人类判断天然存在的方差。Rubric的本质是把「评分的尺子」显式化：每个维度定义清楚评分标准、等级锚点和典型样例，让自动化工具按同一把尺子去量。即便最后仍然需要人工复核，也是在统一框架下的对话，而不是各说各话。

回头看，从「手搓一条工作流」到「搭建一整套体系」，这中间差的不是技术能力，而是对「评测」这件事本身的认知。

因为当我们说AI评测的时候，很多人只会想到「数据标注」「人工评测」「自动化评测」这三个词。但这就像说「做饭就是切菜、炒菜、装盘」—没错，但漏掉了最关键的部分：食材怎么搭配、火候怎么控制、不同人适合做什么菜。

评测不是一个执行动作，而是一套策略体系。

二、回到那五个灵魂拷问

我把它拆成5个问题，每个问题对应一个策略层。把它们串起来，就是一张完整的AI评测策略地图。

第一问：测什么？— 评测方案设计

不是所有能力都值得测。

一个常见错误：上来就把模型的所有能力拉了一张大表，正确性、流畅性、安全性、一致性、创造力……恨不得测个遍。结果资源全铺开了，每个维度都没测透。

正确的做法不是列清单，而是做「三层过滤」—用三个问题逐层缩小评测范围，最终得到一份有优先级的评测方案。

第一层过滤：产品当前处于什么阶段？

产品阶段决定了评测的战略重心。同样是AI产品，技术验证期和上线运营期的关注点完全不同：

这三个阶段是一个递进关系，不是并列关系。前一阶段没达标，后一阶段的评测就没有意义。你不可能在模型还频繁出错的时候就盯着转化率看。

第二层过滤：核心使用场景是什么？

阶段定了大方向，场景定了具体维度。同一个阶段，不同场景的评测重点截然不同：

这一层的价值是：把「要评测什么」从抽象维度翻译成用户可感知的能力。同样是「正确性」，对话机器人看的是意图识别，代码助手看的是语法正确，不能混为一谈。

第三层过滤：用户最不能接受什么？

这是最容易被忽略的一层。即使维度选对了，如果权重分错了，评测结果仍然会偏离真实体验。

致命维度必须放在评测的最优先级。其他维度可以逐步完善，但致命维度不达标，产品就不该上线。

三层过滤之后，评测方案设计就变成了一个加权优先级矩阵：

评测方案设计就是根据这三个问题的答案，给每个维度分配权重。它不是一张固定清单，而是一个动态优先级矩阵。

第二问：用什么维度测？—评测维度拆解

很多团队的评测维度只有一列：「这个回答对不对？」

但AI产品的体验是多维的。我常用的维度框架如下：

关键洞察：不同维度的评测方式、评测成本、所需评测人员都不同，不能一锅烩。比如「正确性」可以用自动化脚本批量跑2000条case，但「流畅度」必须人工逐条感受。

第三问：谁来测？—评测角色的分工矩阵

这是最容易被忽视的问题。

很多人以为「评测就是找人打分」，但不同的人适合评不同的东西。

我画了一个评测角色分工矩阵：

具体来说：

一个常见误区：让领域专家去评「流畅度」。 专家很贵，但流畅度普通用户就能评—这是资源错配。

另一个误区：所有维度都用同一批人测。一个人同时评「回答是否正确」和「回答是否流畅」，很容易产生光环效应—觉得对的就也感觉流畅。

第四问：测出什么结论？—阶段性结果的解读

评测不是跑个分就完了。分数本身没有意义，意义在于「分数告诉我们什么」和「下一步怎么做」。

我总结了一个结论解读三步法：

第一步：区分「达标」与「不达标」

• 所有维度都达标 → 可以进入下一阶段

• 部分维度不达标 → 定位具体问题

• 全部不达标 → 回到模型选型或训练阶段

第二步：定位根因

• 正确率低 → 是训练数据问题？还是模型理解能力不够？

• 流畅度差 → 是生成策略问题？还是prompt设计问题？

• 一致性差 → 是温度参数问题？还是没有做历史记忆管理？

第三步：给出优化方向

不是「回去改」，而是具体的：「提升XX维度的评分，建议做A/B实验验证YY方案」

一个真实案例（来自我手搓的第一条工作流）：

第一版工作流用单一模型对客服会话做「满意/不满意」二分类评分，结果与人工标注的一致率只有67%。

正确结论不是「模型太差，换模型」—而是：

• 「67%一致率说明单模型单维度的打分方式不够」

• 「拆开看：模型对『语气是否友好』的判断偏差最大，但对『信息是否准确』的判断还不错」

• 「建议下一轮：把『综合分』拆成『准确性』『友好度』『效率』三个子维度，每个维度单独用不同prompt评估，然后加权合成总分」

调整后，一致率提升到了84%。这个教训让我深刻理解了：不是评分工具的问题，是评测维度设计的问题。

第五问：还要怎么测？—调优方向与例行化

评测不是一次性的。

我把它分为三个阶段：

阶段一：快速验证（短期，1-2周）

• 人工 + 自动化结合

• 样本量：每个维度200-500条

• 目标：快速定位问题，给出优化方向

• 产出：「本轮评测报告 + 下轮优化建议」

阶段二：回归验证（中期，1-2个月）

• 建立评测基准库：把上一轮的bad case沉淀为回归用例

• 自动化回归：每次模型迭代自动跑一遍基准库

• 人工抽检：每轮迭代抽取10-20%的样本做人工复核

• 产出：「版本对比报告 + 回归通过率」

阶段三：例行化运营（长期，持续）

• 建立自动化评测流水线：每次部署前自动跑全量评测

• 建立bad case闭环机制：线上bad case自动回流到评测集

• 定期校准：每季度做一次人工校准，更新评测维度的权重

• 产出：「质量看板 + 趋势分析 + 迭代建议」

四、三个常见误区（避坑指南）

误区一：只关注自动化跑分，忽略人工体验

• 表现：「MMLU 85分，上线后用户骂翻」

• 原因：跑分测的是「知识量」，不是「体验感」

• 对策：自动化做筛选，人工做终审

误区二：所有维度用同一批人测

• 表现：让领域专家评流畅度、让普通用户评专业正确性

• 后果：成本高 + 结果不可靠

• 对策：按角色分工矩阵分配

误区三：评测做一次就完事

• 表现：上线前测了一轮，上线后再也没测过

• 后果：模型迭代后质量退化无感知

• 对策：建立例行化机制，让评测成为研发流程的一环

回想2024年刚开始做这件事的时候，我还在对着一条简陋的工作流犯愁——为什么模型打分跟人对不上？

那时候我以为问题出在「工作流不够复杂」「模型不够强」。后来才发现，真正的问题是我把评测想简单了。

一条工作流能解决的，只是一个「打分动作」。但一个评测项目要回答的，是这五个层层递进的问题：

• 测什么—根据产品阶段和场景，决定评测重点

• 用什么维度—拆解出可衡量、可执行的维度（而不是一个笼统的「综合分」）

• 谁来评—不同角色评不同的维度，资源最优配置

• 结论怎么用—分数不是终点，结论要能指导迭代（比如把「综合分」拆成三个子维度）

• 长期怎么跑—从一次性评测走向例行化质量保障（从工作流到系统，从手搓到体系）

公司从2024年各自手搓工作流，到2025年搭建自研评测体系，再到2026年启动Rubric自动化评测—这条路我完整走了一遍。回头看，最大的认知升级就是：

AI评测不是「找几个工具、标一批数据、跑一个分数」。它是一个从方案设计到例行化运营的策略体系。

下次当你接到一个评测任务时，不妨先别急着打开工作流编辑器。先问问自己这五个问题，你可能会发现—评测方案本身，才是最重要的交付物。

本文来自作者：Miss卓卓