网易首页 > 网易号 > 正文 申请入驻

训练误差清零,新数据准确率却从98.6%跌到85%

0
分享至

一个网络把每个训练样本都答对了,听起来像成功。结果可能正相反。这里训练一个真实网络,在两个时刻停下来,用从未见过的数据做对比。


数据是平面上两类月牙形分布的点,共110个训练点。其中10个点的标签被故意翻转,这10个就是噪声,任何真实数据集都会有这类错误。为了评判网络,另外留出24个新点,网络从不在这上面训练,它们的标签是干净的。

一个神经元太简单

一个神经元只能画一条直线。训练3000步后,它留下19个训练错误,24个新点里答错3个。两条月牙互相卷绕,没有一条直线能把它们分开。这个模型没有记住任何东西,它只是跟不上形状。

大网络先学到真实形状

换成一个有三个隐藏层、每层128个神经元的网络,共33152个权重去拟合110个点,远超所需。用Adam训练2500步,中途观察它。

到第70步,它的分界线已经顺着两条月牙走。此时有9个训练错误,全部来自被翻转的标签。24个新点全部答对。在更大的检验集上,另外5000个新点,准确率达到98.6%。这是这次训练能达到的最好水平。

继续训练,它开始记住噪声

训练没有在第70步停下,梯度下降继续处理那最后9个点。要把它们答对,分界线必须绕着每一个点卷曲。

到第445步,训练错误清零,训练集上完美。到第628步,24个新点里有5个答错。到第2500步,同样的5000个点准确率降到85.0%。

网络没有忘掉月牙。它为每一个错误标签增加了一个细节,而这些细节在其他地方全是错的。这就是过拟合:网络把训练数据连同噪声一起记住了,并因此在新数据上表现更差。

看清它错在哪

5000个点直接显示了这一点。白色圆点是网络答错的点。第70步时约有70个,紧贴分界线。第2500步时约有750个,成片分布在它为错误标签绕出的弯道周围。

关于那24个点需要说明:这么小的样本本身有波动,选出的这一组其计数接近各模型的真实错误率,所以图看得清楚。5000个点才是诚实的度量。

真实网络也一样

月牙是玩具数据,再看一次真实训练。取1000张手写数字图像,网络有26432个权重,平均每张图约26个权重。训练200轮,不做任何防过拟合处理,在10000张从未训练过的图像上测量。

  • 训练准确率在第26轮达到100%并保持,训练损失降到0.0002。
  • 新图像上的损失在第14轮达到最低点0.42,之后升到0.81,而训练损失继续下降。

两条损失曲线告诉你它从何时开始:从第14轮起,训练越多,训练损失越小,新数据上的损失越大。

能带走什么

训练分数只说明网络对已经见过的数据拟合得有多好。权重足够多时,它可以把分数刷到完美,靠的是记忆,连错误标签一起记。所以完美的训练分数本身证明不了任何事,只有新数据能说明问题。

这也带出两个实际问题:怎样诚实地在新数据上度量,以及怎样阻止网络去记忆。这是这个系列接下来的话题。

  • 过拟合指网络在训练数据上越来越好,在新数据上越来越差。
  • 它发生在网络权重远超所需时,训练越久越严重。
  • 网络往往先学到真实规律,然后才去记忆噪声。
  • 完美的训练分数可能对应更差的网络:这里训练错误降到零,新数据准确率从98.6%跌到85.0%。
  • 永远在网络从未训练过的数据上度量。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
东盟峰会大合照细节曝光,中方表情严肃高市早苗在笑,信息量太大

东盟峰会大合照细节曝光,中方表情严肃高市早苗在笑,信息量太大

叮当当科技
2026-11-18 02:51:52
“深圳人全妆出街迎APEC”上热搜,市民:暂别拖鞋,翻出压箱底的西装皮鞋,平时上班不经常化妆,出门还特地化了妆

“深圳人全妆出街迎APEC”上热搜,市民:暂别拖鞋,翻出压箱底的西装皮鞋,平时上班不经常化妆,出门还特地化了妆

扬子晚报
2026-11-18 12:25:34
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
为什么印度越自信反而越看不清差距

为什么印度越自信反而越看不清差距

小眼睛小世界
2026-11-18 04:28:21
水皮发布辟谣声明:维护资本市场的稳定和发展是每位投资者的责任

水皮发布辟谣声明:维护资本市场的稳定和发展是每位投资者的责任

财闻
2026-11-18 16:39:21
江苏常州一佳人太漂亮了,身高168五官精致,美得让人移不开眼

江苏常州一佳人太漂亮了,身高168五官精致,美得让人移不开眼

陈意小可爱
2026-11-17 14:11:53
张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

磊子讲史
2026-11-12 14:13:18
为什么往死里扫黄?网友分享太真实了,一次说透

为什么往死里扫黄?网友分享太真实了,一次说透

另子维爱读史
2026-05-27 20:16:03
拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

影孖看世界
2026-10-13 23:32:38
这俩,早晚要离?

这俩,早晚要离?

毒舌一姐
2026-11-17 20:30:31
监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

扬子晚报
2026-11-16 12:06:10
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
iPhone Duo人脸解锁引爆热搜!网友:苹果祖宗之法变了

iPhone Duo人脸解锁引爆热搜!网友:苹果祖宗之法变了

快科技
2026-11-17 10:06:33
刘维伟:第一阶段因身体原因耽误了球队,杯赛为我们争取了时间

刘维伟:第一阶段因身体原因耽误了球队,杯赛为我们争取了时间

狼叔评论
2026-11-18 22:48:01
为什么补能空白区先秀机械臂

为什么补能空白区先秀机械臂

小眼睛小世界
2026-11-18 04:33:48
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
如果康熙传位给他,清朝很可能成为超级大国,八国联军不再是威胁

如果康熙传位给他,清朝很可能成为超级大国,八国联军不再是威胁

小豫讲故事
2026-09-20 06:00:17
中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

扶苏聊历史
2026-11-18 14:15:42
没人告诉你的真相:真正的高手,都在把别人的恶意,当成免费情报

没人告诉你的真相:真正的高手,都在把别人的恶意,当成免费情报

新时代的两性情感
2026-11-18 06:28:16
周涛与前夫姚科未离婚之前的一张合影照,儒雅的姚科,终究留不住周涛

周涛与前夫姚科未离婚之前的一张合影照,儒雅的姚科,终究留不住周涛

南万说娱26
2026-08-22 08:56:48
2026-11-18 23:59:00
硅屿手记
硅屿手记
有态度网友ytd
256文章数 88关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
亲子
艺术
旅游
数码

教育要闻

老北京“拔根儿”争霸赛,嗨翻校园——

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

旅游要闻

维港夜空告别“幻彩咏香江” 22年光影记忆落幕

数码要闻

铭凡5L台式机T5 Max-388上市:48GB + 1TB,到手价9699元

无障碍浏览 进入关怀版