网易首页 > 网易号 > 正文 申请入驻

同一张咖喱照片,为什么两个测试员一个判过一个判错?

0
分享至

用户拍下一张咖喱配米饭的照片,模型返回的结果是“咖喱”。这算通过还是失败?


一位测试员说通过:这道菜确实是咖喱。另一位说失败:蛋白质没识别出来,米饭没识别出来,热量估算也会跟着错。两个人看的都是同一份输出,都很认真,结论却相反——因为他们回答的其实是不同的问题。

这是测试AI功能时最被低估的问题。团队在数据集和指标上投入大量精力,却很少花功夫去定义“把一份输出变成一条判定”的规则。当两个团队给同一个模型打分时,两边通过率之间的差距,往往更多说明的是规则不同,而不是模型不同。

分歧从哪里来

第一,正确性的单位没有定义。模型是按菜名打分,按每一种食材打分,还是按用户最终看到的营养数字打分?“咖喱”在一个层面上是对的,在另一个层面上就是错的。

第二,部分正确的答案没有公认的地位。传统测试是非黑即白的,AI输出不是。如果规则没说“差不多对”该怎么处理,每个测试员就会自己发明一套私人阈值。

第三,预期结果本身是一种主观判断。登录表单的预期结果来自规格文档,食物照片的预期结果来自一个人看着图片下的判断。如果两个标注者对标准答案的标注不一致,模型按定义就会在其中一个那里失败。

一个来自实际工作的案例

我测试过一个食物识别功能,其中一次分歧比任何指标都教给我更多东西:重复项。

设想一张照片里有两个不同的三明治,模型返回两个条目,名字都叫“三明治”。在一位评分者看来,这是明显的缺陷:同一个条目出现了两次。我不这么看。如果两个条目的配料表不同,它们就是两个不同的条目,只是恰好共用一个名字。模型看到了盘子上的两样东西,并且都描述了出来。

两种读法都不是粗心。“重复”这个词从来没有被定义过。一方比较的是名字,另一方比较的是内容。在这个定义被写下来之前,同一份输出会持续产生两种判定,再多的重复测试也填不平这道沟。

真正有用的是什么

  • 在测试轮次开始之前写下评分规则,而不是之后。
  • 准备十到二十个边界案例,附上商定的判定和理由。
  • 让两个团队各自独立给同一份小样本打分,然后只比较出现分歧的案例。这些案例就是真正的规格说明。
  • 定义那些大家都以为不言自明的词:重复、部分匹配、错误条目。

还有一条我坚持的规则:有争议的案例绝不靠资历裁决,而是靠追问用户会经历什么来裁决。如果用户记录了一餐,拿到一个偏差很大的数字,那么“技术上正确”的漂亮论证并不重要。

测试轮次开始前先回答这些问题

  • 到底评的是什么:条目名称、每种食材,还是用户看到的数字?
  • 什么算部分正确的答案,它算通过、失败,还是单独一类?
  • 什么算重复,是按名字比较还是按内容比较?
  • 谁来标注预期结果,两个标注者不一致时怎么办?
  • 哪种用户影响会让一个案例判为失败,即使输出在技术上正确?
  • 谁来裁决有争议的案例,依据哪条规则?

如果团队里有人不能用一句话回答其中任何一条,那正是通过率会分道扬镳的地方。

每个有争议的案例都可以套用一张卡片,填好后和评分规则放在一起。以三明治为例:盘子上有两个条目,模型都返回为“三明治”,一个含面包、火腿、奶酪,另一个含面包、鸡蛋、生菜。争议点是这算不算重复。判定为通过,因为是两个不同条目。理由是名字相同、配料不同的条目属于不同条目。由此产生的规则是:重复项按内容比较,不按名字比较。

最后一行最重要。一个没有产出规则的案例,下一轮还会被重新争论一遍。

没有共享评分规则的通过率不是质量指标,它衡量的是某一群人那一周感觉有多严格。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
窗外风景再迷人,也无法弥补失恋的痛苦

窗外风景再迷人,也无法弥补失恋的痛苦

疾跑的小蜗牛
2026-11-13 20:08:15
已经抵达深圳,中国台北代表施振荣,向大陆喊话,港媒点评亮了

已经抵达深圳,中国台北代表施振荣,向大陆喊话,港媒点评亮了

DS北风
2026-11-18 16:26:03
中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

福建睿平
2026-05-25 08:01:59
东盟晚宴站位玄机:中日代表“零交流”

东盟晚宴站位玄机:中日代表“零交流”

天气观察站
2026-11-18 04:46:17
董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

风过乡
2026-11-18 07:03:25
中俄美元首会晤是否会讨论台湾问题,国台办回应

中俄美元首会晤是否会讨论台湾问题,国台办回应

界面新闻
2026-11-18 11:16:15
银行 R2 理财都开始大面积亏损,自求多福吧

银行 R2 理财都开始大面积亏损,自求多福吧

干货收并购
2026-11-18 09:55:12
红果短剧,最新公告

红果短剧,最新公告

证券时报
2026-11-18 14:41:02
胖东来老总于东来再谈因涨租闭店,字字戳进新乡房东心窝,肠子悔青也晚了

胖东来老总于东来再谈因涨租闭店,字字戳进新乡房东心窝,肠子悔青也晚了

唠叨说历史
2026-11-18 15:56:51
33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

蓬勃新闻
2026-11-18 06:43:27
妻子出轨,丈夫将15公分蜡烛塞进妻子的阴道内

妻子出轨,丈夫将15公分蜡烛塞进妻子的阴道内

胖胖侃咖
2025-04-13 08:00:08
冰火两重天!A股市值高点回落缩水32万亿,“股民人均亏13万”引热议,评论区有股民赚到钱了

冰火两重天!A股市值高点回落缩水32万亿,“股民人均亏13万”引热议,评论区有股民赚到钱了

火山詩话
2026-11-18 09:38:15
大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

妍妍教育日记
2026-08-23 10:10:12
APEC引热议!台湾岛内震撼:全世界焦点都在深圳,市民很羡慕

APEC引热议!台湾岛内震撼:全世界焦点都在深圳,市民很羡慕

西昆仑Bruce
2026-11-18 18:36:55
深圳APEC,普京早上到,特朗普晚上,为啥一早一晚?各自带哪些人,有哪些不同?

深圳APEC,普京早上到,特朗普晚上,为啥一早一晚?各自带哪些人,有哪些不同?

蓝星杂谈
2026-11-18 17:21:09
网上爆火的山姆包到底多好用?我们替你测了个遍

网上爆火的山姆包到底多好用?我们替你测了个遍

酷玩实验室
2026-11-18 10:49:05
同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

爱下厨的阿酾
2026-11-18 03:37:45
百大UP老戴直播《GTA6》被封!刚播了20分钟

百大UP老戴直播《GTA6》被封!刚播了20分钟

游民星空
2026-11-18 20:47:56
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
2026-11-18 23:56:49
像素与芯片
像素与芯片
有态度网友ytd
259文章数 85关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
本地
健康
公开课
军事航空

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版