网易首页 > 网易号 > 正文 申请入驻

给猫狗分类器看一辆车,它为何仍敢报92%的把握?

0
分享至

训练一个模型分辨猫和狗。喂它几千张照片,直到它几乎张张都答对。然后给它看一辆车。


它不会犹豫,也不会说“这不是动物”。它会说“狗,置信度92%”——面不改色地答错。

这不是某一个模型的缺陷,而是分类器的工作方式。

被迫做选择

普通分类器没有“我不知道”这个选项。它最后一层的softmax会把原始分数换算成概率,而这些概率之和恒等于1。所以无论你给它看什么——一辆车、一个手写数字、一张它从没训练过的医学影像——它都必须把胜算判给某个它认识的类别。

它输出的那个置信度数字,看上去像自我认知,其实不是。它只说明输入最像哪个已知类别,并不说明输入是否属于任何已知类别。研究人员至少从2017年就知道这一点:Hendrycks和Gimpel当时指出,模型的最高softmax概率对陌生输入只是一道很弱的防线——但那是人们拥有的第一道防线,至今仍是其他方法对比的基线。

OOD检测是什么

OOD指分布外(out-of-distribution),即来自模型训练数据之外的数据。OOD检测是挂在分类器旁边的一道护栏,做两件事:

  • 给每个输入打一个“陌生度”分数。分数高意味着“看起来熟悉”,分数低意味着“看起来陌生”。
  • 划一条线,也就是阈值。分数低于这条线,系统就标记该输入,而不是相信预测结果。

整个思路就这么简单。这个领域其余的一切争论,都围绕分数该怎么算、线该划在哪里。

近与远:真正要紧的那一类

并非所有陌生输入都同样陌生。

远OOD很明显:给狗分类器看一个手写数字。特征和训练数据毫无相似之处,几乎任何评分方法都能抓到。

近OOD才难:给狗分类器看一只狼。毛、耳朵、口鼻都相似,大部分特征重叠。模型恰恰在最该谨慎的地方最有把握。

远OOD算是个基本解决的问题。近OOD仍是这个领域的难点,而它正是真实部署中会出现的情况——新的疾病变种、另一个国家的路标、不同光线下拍的产品照片。

几种评分方法,用大白话说

翻OOD论文,有四类评分反复出现:

  • MSP——最大softmax概率。直接取模型的最高置信度。简单、免费,是Hendrycks和Gimpel(2017)的基线。效果弱,但一切都拿它作参照。
  • Energy——用模型的原始logits而非归一化后的概率计算(Liu等,2020)。区分熟悉与陌生比MSP更干净,且不增加额外计算成本。
  • 特征距离——不看最终答案,看输入落在网络内部的什么位置。它离训练样本有多远?用马氏距离衡量,或看最近邻(kNN)。如果它离模型见过的一切都很远,就标记它。
  • ViM——虚拟logit匹配。一半是特征距离,一半是残差:它衡量输入特征中分类器自身方向无法解释的那部分(Wang等,2022)。解释不了的剩余量就是信号。

这些方法都不重新训练模型。它们读取一个冻结的模型,用不同方式问同一个问题:这个输入属于这里吗?

怎么判断一个评分好不好

两个数字承担了大部分工作:

  • AUROC——评分把熟悉输入和陌生输入分开的能力。50%意味着在瞎猜,100%意味着完美分离。
  • FPR95——当你抓到95%的陌生输入时,有多大比例的正常输入被误标?越低越好。这个数字在实际中最疼,因为每一次误标,都是一个你拒绝回答的真实输入。

为什么重要

错误答案不总是无害的答案。一个医学模型自信地误读来自新医院的影像,一个自动驾驶系统自信地误读陌生路标,一个内容审核过滤器自信地放行它从没见过的东西——在这些场景里,自信犯错的代价,远高于说一句“不确定,请人工处理”。

OOD检测不是让模型更聪明,而是让它们更诚实。

它还没解决什么

坦白局限,是理解这个想法的一部分:

  • 近OOD仍然难。最好的评分几乎能完美分开远OOD,对近OOD只能部分分开。
  • 阈值需要真实数据来定。用错数据划线,结果要么什么都标记,要么什么都不标记。
  • 没有哪种评分处处最优。在某个数据集和模型上最好的评分,换一个可能就平庸。这也是这个领域要并排跑这么多基准的原因。

作者Solomon是北达科他州立大学的硕士生,用大白话写机器学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

政知新媒体
2026-11-20 15:26:05
1-3!C罗破门又错失点球,利雅得胜利强强对话被逆转,6连胜终结

1-3!C罗破门又错失点球,利雅得胜利强强对话被逆转,6连胜终结

我的护球最独特
2026-11-21 03:30:16
特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

砚底沉香
2026-11-20 09:44:10
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
中国最公平的一件事,是亏钱

中国最公平的一件事,是亏钱

小星球探索
2026-11-20 14:50:05
退役飞机发动机,被马斯克“返聘”了

退役飞机发动机,被马斯克“返聘”了

凤凰网财经
2026-11-20 01:38:23
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

人生录
2026-11-20 00:15:04
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
继黄仁勋、陈立武之后,轮到AMD总裁苏姿丰了?

继黄仁勋、陈立武之后,轮到AMD总裁苏姿丰了?

穿透
2026-11-20 18:44:35
2026-11-21 04:24:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
211文章数 79关注度
往期回顾 全部

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
游戏
房产
本地
公开课

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

6.6亿!海口卖地!

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版