网易首页 > 网易号 > 正文 申请入驻

谷歌工程师用5组实验打脸:数据增强越多,模型反而越蠢?

0
分享至


数据增强(Data Augmentation)被吹了这么多年,几乎成了炼丹标配。旋转、翻转、平移——仿佛给图片多穿几件衣服,模型就能变得更聪明。

但有个问题几乎没人认真问过:增强得越多,效果真的越好吗?

一位谷歌工程师用CIFAR-10数据集做了5组对照实验,结果让不少人手里的咖啡凉了半截。

32×32像素的残酷现实

CIFAR-10是个经典数据集,6万张图分10类:飞机、汽车、鸟、猫、狗……听起来人畜无害。但关键细节在于分辨率——只有32×32像素。

什么概念?你手机屏幕上一个App图标都比这大。猫和狗在这种分辨率下,连人类都得眯眼猜。

工程师在实验前做了标准化处理:像素值缩放到[0,1],标签转独热编码(One-Hot Encoding),再按8:2切分训练集和验证集。随机种子固定为42,确保结果可复现。

所有实验共用同一套CNN架构:三层卷积(32→64→128通道),每层跟批量归一化(Batch Normalization)和最大池化,最后全连接层接50%随机失活(Dropout)。优化器用Adam,跑15个周期,批量大小64。

控制变量做到这个份上,差异只能来自数据增强的强度。

五组实验:从"裸奔"到"整容过度"

工程师设置了五个增强等级,像给模型喂不同剂量的"变形药":

Level 0(无增强):原始图片直接喂,baseline中的baseline。


Level 1(轻度):随机水平翻转 + 宽度/高度偏移±10%。相当于让模型见见镜像世界,图片稍微挪个位。

Level 2(中度):在Level 1基础上,加入随机旋转±15度 + 缩放±10%。图片开始有点"歪脖子"了。

Level 3(重度):旋转拉到±30度,缩放±20%,再加随机剪切和亮度抖动。图片已经有点抽象派的意思。

Level 4(极端):旋转±45度,缩放±30%,剪切、亮度、对比度全上,甚至加入随机噪声。相当于把猫P成毕加索再喂给模型。

每组实验跑3次取平均,用验证集准确率(Validation Accuracy)和测试集准确率(Test Accuracy)双指标监控。训练过程记录损失曲线,观察是否过拟合。

结果:过犹不及的教科书案例

数据出来那天,工程师在笔记本里写了一句:「我以为会看到单调递增曲线,结果看到一座小山丘。」

Level 0无增强:验证准确率71.3%,测试准确率69.8%。模型在训练集上飙到91%,过拟合明显——死记硬背,没见过世面。

Level 1轻度增强:验证准确率78.6%,测试准确率77.2%。简单翻转+偏移,提升近8个百分点。这是整个实验性价比最高的操作。

Level 2中度增强:验证准确率81.4%,测试准确率79.8%。继续涨,但斜率已经变缓。旋转和缩放开始帮模型学习"视角不变性"。

Level 3重度增强:验证准确率80.1%,测试准确率78.5%。拐点出现了。增强强度翻倍,准确率反而掉回Level 1的水平。损失曲线开始震荡,模型学得很挣扎。

Level 4极端增强:验证准确率74.2%,测试准确率72.1%。比Level 0好不了多少。工程师检查了一些增强后的样本,发现45度旋转后的"猫"已经很难辨认,连人类都容易误判。


「我给模型喂了太多它无法理解的噪声,」他在笔记中写道,「数据增强的本质是扩充有效样本空间,不是制造认知障碍。

为什么"更多"会变成"更糟"?

CIFAR-10的32×32分辨率是原罪。工程师算了一笔账:当旋转超过30度,原图的有效信息被裁剪到只剩中心一小块;缩放±30%后,再经过卷积层的多次下采样,细节几乎归零。

更隐蔽的问题是标签噪声。一只猫旋转45度后,耳朵的位置、身体的轮廓都变了,但标签还是"cat"。模型被迫学习一种扭曲的统计关联,相当于背错题库。

对比ImageNet上的常见做法(随机裁剪224×224、颜色抖动、AutoAugment),CIFAR-10显然承受不起同等待遇。大分辨率图片有更多冗余信息,经得起折腾;小图一折腾,直接面目全非。

另一个发现:Level 3和Level 4的训练损失下降更慢,且验证损失与训练损失的gap(差距)扩大。这说明增强过度不仅没缓解过拟合,反而引入了新的泛化障碍。

工程实践的冷思考

这个实验最扎心的启示是:数据增强没有银弹,只有剂量。

工程师在GitHub repo里贴了一张对比图——5条验证准确率曲线,Level 2的曲线最平滑地爬到顶端,Level 4的像在坐过山车。他建议同行们从Level 1起步,逐步加压,用验证集当刹车片。

对于小分辨率数据集,他总结了三条红线:旋转别超20度,缩放别超15%,亮度/对比度抖动要保守。这些数字不是拍脑袋,是CIFAR-10的像素级物理极限决定的。

更有意思的是,他把Level 2的增强策略迁移到另一个32×32数据集SVHN(街景门牌号),效果同样最优。这说明规律有一定普适性——小图配小增强,大图才配大增强。

论文仓库里有个细节:工程师保留了所有随机种子和增强参数,任何人都能复现那组"过山车"曲线。这种可复现的挫败感,比任何警告都管用。

最后他在issue区留了个问题,至今没人给出完美答案:「如果我把CIFAR-10超分到64×64再做增强,Level 4的表现会逆袭吗?还是说,增强的边际效益递减,和分辨率无关?」

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伊朗女药剂师拒绝撤离,空袭第10天在“精准”打击下被“误杀”

伊朗女药剂师拒绝撤离,空袭第10天在“精准”打击下被“误杀”

网易新闻出品
2026-03-26 11:16:13
一女子在湖南省道县人民医院生产后,与新生儿不幸双双离世,多方回应

一女子在湖南省道县人民医院生产后,与新生儿不幸双双离世,多方回应

半岛官网
2026-03-27 15:13:26
一觉醒来,爱吃活鱼的人天塌了,央视曝光的内幕真可怕!

一觉醒来,爱吃活鱼的人天塌了,央视曝光的内幕真可怕!

涛哥锐评
2026-03-26 17:57:04
电车换电池从8万变5千?2026年新规落地,车主彻底翻身了

电车换电池从8万变5千?2026年新规落地,车主彻底翻身了

老特有话说
2026-03-26 14:22:50
关于伊朗的十大虚假叙事——你是如何被网军欺骗的?

关于伊朗的十大虚假叙事——你是如何被网军欺骗的?

枫岭社
2026-03-27 10:49:09
曝付幸离异带娃,和儿子为张雪峰庆生画面疑曝光,眼神太甜蜜!

曝付幸离异带娃,和儿子为张雪峰庆生画面疑曝光,眼神太甜蜜!

古希腊掌管松饼的神
2026-03-27 19:29:24
网红“留几手”评论张雪峰去世言论引众怒:“死者又不是我爹,凭什么为大...”

网红“留几手”评论张雪峰去世言论引众怒:“死者又不是我爹,凭什么为大...”

品牌新
2026-03-27 14:06:12
伊朗媒体:以美袭击伊朗核设施

伊朗媒体:以美袭击伊朗核设施

新华社
2026-03-27 23:30:33
2-0大冷门!真不像传统印象的国足:时隔16年,再赢世界杯参赛队

2-0大冷门!真不像传统印象的国足:时隔16年,再赢世界杯参赛队

侃球熊弟
2026-03-27 15:32:46
终于爆发了,击落大批美以军机:隐身战机,超级大黄蜂不断下坠!

终于爆发了,击落大批美以军机:隐身战机,超级大黄蜂不断下坠!

混沌录
2026-03-27 16:39:18
张雪峰去世事件升级!网传有健身房的跑步机空无一人,恐慌加剧…

张雪峰去世事件升级!网传有健身房的跑步机空无一人,恐慌加剧…

火山詩话
2026-03-27 17:20:58
越南成品油价格大幅下调

越南成品油价格大幅下调

缅甸中文网
2026-03-27 13:37:49
库拉索怎么进世界杯的?国足并不菜!张玉宁8.5分最高 韦世豪第二

库拉索怎么进世界杯的?国足并不菜!张玉宁8.5分最高 韦世豪第二

刀锋体育
2026-03-27 16:37:11
日媒:美“新型”稀土技术,可高效清洁回收稀土,或动摇稀土霸权

日媒:美“新型”稀土技术,可高效清洁回收稀土,或动摇稀土霸权

爆角追踪
2026-03-27 14:43:47
人民币用不了多久就会重新回到5.0时代,甚至是4.0。

人民币用不了多久就会重新回到5.0时代,甚至是4.0。

玉辞心
2026-03-27 13:07:40
“阔腿裤”下面一定别配运动鞋!学陈数、刘涛这样搭,时髦又显高

“阔腿裤”下面一定别配运动鞋!学陈数、刘涛这样搭,时髦又显高

君笙的拂兮
2026-03-27 01:48:23
匈牙利的国格让人不齿

匈牙利的国格让人不齿

李未熟擒话2
2026-03-27 13:00:23
时代最令人失望者!加州州长怒批马斯克:亲手将美国电车王冠让给了中国

时代最令人失望者!加州州长怒批马斯克:亲手将美国电车王冠让给了中国

快科技
2026-03-27 14:18:12
美以重大空袭!美股全线跳水!

美以重大空袭!美股全线跳水!

证券时报
2026-03-27 22:50:06
伊朗伊斯兰革命卫队发布公告

伊朗伊斯兰革命卫队发布公告

第一财经资讯
2026-03-27 19:48:41
2026-03-28 02:56:49
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
311文章数 2关注度
往期回顾 全部

科技要闻

杨植麟张鹏夏立雪罗福莉,聊龙虾、聊涨价

头条要闻

男医生给孕妻做彩超 丈夫崩溃撞墙:不过了 明天就离婚

头条要闻

男医生给孕妻做彩超 丈夫崩溃撞墙:不过了 明天就离婚

体育要闻

邵佳一:足球就像一场马拉松

娱乐要闻

范玮琪加盟,官宣《浪姐7》遭全网抵制

财经要闻

我在小吃培训机构学习“科技与狠活”

汽车要闻

与众08,金标大众不能输的一战

态度原创

健康
时尚
房产
教育
亲子

干细胞抗衰4大误区,90%的人都中招

推广中奖名单-更新至2026年3月11日推广

房产要闻

6.8万方!天河员村再征地,金融城西区开发全面提速

教育要闻

澳洲留学和vs英国留学哪个更值得?

亲子要闻

“孕妻彩超现场最荒唐的一幕”:无知偏执,正在逼疯正常人!

无障碍浏览 进入关怀版