网易首页 > 网易号 > 正文 申请入驻

BAT 集体重做「AI 预训练」,补「脏数据」的坑

0
分享至



“万亿参数模型,竟惨遭 1% 规模的小模型倒挂?”

作者丨徐晓飞

编辑丨刘伟

最近大半年,国内一批 AI 模型厂商密集启动“预训练返工”,起因都指向同一件事:数据不行。

它们中,有的此前花了一年死磕万亿参数模型,落地表现却被市面上 1% 规模的小模型倒挂,最终查出是被脏数据拖了后腿。

有的曾因数据标注规则模糊、评测集污染、垃圾语料冗余等工程硬伤而导致模型进展迟缓。

还有的因数据受限,导致模型遭遇性能瓶颈,索性推倒重来,并重建了数据团队。

与此同时,借 API 中转站截留交互轨迹、做数据蒸馏等,也成了行业水面下的一场暗战。

数据,正在给模型厂商上一堂教训深刻的课。这堂课远比算力消耗、架构选型和人才争夺更隐蔽。

“AI 下半场的胜负手是数据”,这话听上去像常识,但直到今天,大家才真正闻到了它背后的血腥味。

01

数据上的“粗放式弯路”

预训练返工,本质上是在补数据的课。

“多就行了”的误区

一位头部基模公司的数据专家赵翔向雷峰网回忆,前些年刚开始做预训练的时候,大家的主流观点是“数据多就可以了,稍微差一点没关系,模型自己有转化能力和鲁棒性。”

于是开始一味地粗放式堆数据,只求规模不讲质量。

再加上,当时行业普遍缺乏成熟的大规模数据治理体系,大家为了凑齐数千亿甚至上万亿 token 的语料库,抓取了大量网页垃圾、脏语料,甚至混入了各种来源不明的清洗包。

很多数据的标注和筛选也没有处理好,导致训练出来的第一版模型效果较差。

然后大家才发现,不注重数据质量,会让模型卡在 60、70 分上不去,“眼看海外的模型都跑到 90 分了,就是追不上。”于是不得不回过头来重做数据优化。

脏数据的代价

“底层脏数据的危害远比想象的大。它会让你投入的卡、钱、人力都浪费掉,而且还会耽误你的时间窗口。”某模型厂商前高管、现 AI 创业者王斌告诉雷峰网。

他向雷峰网描述过一个典型案例。一家中部基模公司,把爬来的技术博客整批灌进预训练语料,跑到训练中期才发现,其中相当部分是采集站的机器生成页,同一个段落被重复了几万次。

模型在评测集上开始莫名其妙地复读,等团队定位到问题,几万卡时已经烧掉了,那一版只能作废重来。

事实上,这样的翻车在行业里远不止一例。不少团队都是训练效果出了问题后,才回过头来补数据治理的课。

不当的数据 KPI

基元律动创始人王云鹤也曾在接受媒体采访时提到过,AI 没有什么新鲜事,数据是地基,数据不行,不要怪算力;数据不达标,什么算法都不行,因为这违背机器学习理论。

而且他还特别提到一点,数据团队要对预训练团队有一定话语权,预训练团队也要反向对数据提要求。独立考核会很乱。

其实,对数据团队的考核不当,是不少模型厂商都踩过的一个坑。

比如,有媒体曾描述过,腾讯混元团队曾在数据治理上,出现过“标注规则定义不清,但验收线设定过高,团队为了交差,生产出大批无法使用的数据”的情况;再加上一些打榜数据、冗余数据的污染,以至于最后不得不推倒重来,专门重拉团队从头清洗数据。

“数据团队的考核只看数据量的话,会很荒谬。”前述数据专家赵翔补充道。

因为大模型拼的是数据的信息密度和干净程度,而非绝对体积。考核只盯数量,等于在鼓励团队拿垃圾凑数。几百 T 的脏数据灌进去,训出来的模型反而会变笨,甚至训练崩溃。

02

数据背后的“苦活”与“花活”

地基要重打,可好数据并不是说有就有的。

互联网时代攒的家底,不顶用了

本地生活、社交、游戏、电商与搜索,这些在互联网时代被各家大厂视作“壁垒”的场景数据,到了 AI 时代,不奏效了。

因为基模比的是通用能力,某一场景数据的优势,落到通用能力上,影响变得有限。各家虽然都在拿自己的场景数据训一些垂直小模型,但最终应用面没那么广。

“按理说 Google 各类场景数据最多,应该做得最好,但显然并不是。Anthropic、OpenAI 这类此前在数据上零积累的厂商反而冲得更猛,国内亦然。”一位基模公司的算法负责人徐栋告诉雷峰网。

大家站到了同一起跑线。

这时候,能拉开差距的是:卡够不够,数据拿得快不快,质量够不够高,以及有没有一条能把数据稳定转化成模型能力的管线。

没有秘方,只有苦活

那么,数据优化到底有没有捷径?

前述数据专家赵翔向雷峰网坦言,技巧秘方其实不多。数据工作更偏苦活累活,重要的是持续做下去,投入足够的人力和定力,把原来 60 分的数据,逐步优化到 90 分,争取每次优化之后都能拿到一点正反馈。

这时候要算两本账:一是优化成本,二是训练周期。

“网上那么多数据,不可能每条都校验一遍。训练又有周期,不能等数据全部优化完再开训。所以要先挑重要的做,分期做,小步快跑,不断迭代。”赵翔补充道。

不过,需要说明的是,数据的难题并不只出在预训练。后训练要的专家数据、Agent 长程轨迹数据,获取难度和成本也都不低。

卡住数据优化的:钱与产能

多位 AI 数据从业者告诉雷峰网,眼下卡住各家数据工作的,主要有两个因素:钱和产能。

一个反直觉的地方在于:大厂看起来都不差钱,但预算拆开,分摊到数据上的其实并不多。

“数据在模型厂商的训练预算里占比并不大。业内流传的一个粗略拆解是:每投 100 块钱在 AI 训练上,其中 40 块花在算力上,30 块花在人才上,20 块花在打广告上,剩下 10 块钱花在数据上。”某 AI 数据供应商业务负责人周骏表示。

以专家数据为例,周骏告诉雷峰网,专家的长程任务数据需求量极大,几家大厂的预算口径基本都是几个亿,但真到付款时,就比较抠搜。

“同样的专家数据,美国 HLE 调研一条起价一两万美金,国内基本只给开一两千人民币。”

然而,比预算更卡人的,是产能。

高质量数据从来都是稀缺的。正规渠道供不够,各家就开始自找门路。

周骏告诉雷峰网,某些模型厂商会隐蔽地做中转站生意,做 Token 转发。一方面有收益,但更重要的是,可以借此收集大量用户行为数据。

用户调用各种先进模型时,请求和结果都要从这家厂商的转发层走一遍,于是真实的任务数据就被留在了平台上,这比公开爬来的语料更接近训练想要的有效样本。

眼下还有一批做 Routing(模型路由)的创业公司,也在盯着“数据”这块资产;而各家大厂也有类似的路由平台,但由于优先接自家模型,很难沉淀到其他先进模型的轨迹数据,而且由于模型接入不够全面,平台本身用户量也有限。

“这几年,各家在获取AI数据上可谓八仙过海,但这些门路能让一家公司领先多久,并不好说。”周骏补充道。

03

飞轮还没转起来

业内有一种声音认为,大模型本身没有护城河,真正的护城河更多在于“数据飞轮”:模型越强,越多用户愿意拿它处理高难度任务,回流的高质量数据就越多,这些数据再喂回去,模型又强出一截。

这套逻辑听上去闭环。但到今天为止,真正把“数据飞轮”转起来的没几家。

除了前面提到的“预算受限”、“外部高质量数据获取难”外,还有一层原因在公司内部。

大厂自己的AI产品每天都在产生用户行为,可这些数据能不能规模化地回到训练环节,取决于中间那条通路有没有修好。

眼下这条通路有三处堵点。

一处是组织调整还在持续进行中,各部门之间数据墙的破除还在艰难推进中;另一处是数据类人才的匮乏。

多位 AI 猎头告诉雷峰网,目前市场上比较缺数据清洗、数据管道搭建、数据工程、数据研究等岗位。这些岗位过去被划在辅助工种里,行情真正起来,也是最近的事。

此外,更重要的是,国内模型厂商还面临内生数据匮乏的问题。

眼下,长程轨迹数据主要出自 AI Coding 和 AI 办公这两个场景:但前者市场份额的一大块被海外模型 Claude、Codex 占去;后者的产品能力目前处于初级阶段,所能覆盖的工作场景与复杂度有限,沉淀下来的轨迹数据还较为单薄。

04

没有捷径的长期战争

回到开头那句话:“AI 下半场的胜负手是数据”。

这话大体没错,但大家可能低估了这场仗的周期和复杂度。

预训练返工只是第一波阵痛。数据治理、数据获取、数据飞轮,每一块都是硬骨头。算力可以买,人才可以挖,但高质量数据的积累没有捷径,它需要时间、定力和组织层面的系统性投入。

多位业内人士向雷峰网坦言,未来一两年内,行业很可能还会看到更多“推倒重来”的案例。这不是某一家的问题,而是整个行业都在补课。

真正的分野,大概要等到这轮数据基建基本完成后,才能看得更清楚。谁能先把那条从用户行为到模型训练的数据通路修通,谁就有机会在下一阶段跑出来。

但至少从目前看,这条路的终点还远得很。

雷峰网后续将持续推出 AI 数据相关的深度观察。对这一话题感兴趣、或想聊聊业内实况的朋友,欢迎添加下方作者交流、探讨。

* 文中受访者赵翔、王斌、徐栋、周骏均为化名。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

扶苏聊历史
2026-11-12 16:31:35
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
央视点名批评的6部烂剧,侮辱观众智商,没看完就弃了

央视点名批评的6部烂剧,侮辱观众智商,没看完就弃了

小Q侃电影
2026-11-16 22:07:13
老了才明白:最傻的父母,攥着大把存款和退休金,等给儿女当遗产

老了才明白:最傻的父母,攥着大把存款和退休金,等给儿女当遗产

风起见你
2026-11-11 17:04:28
别买,全是假的,又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的,又一产品大翻车,成本只有10元,很多人长期上当

荆头条
2026-11-16 07:55:48
绝不允许资本乱国,毛主席定下的铁律,关乎国家生死存亡

绝不允许资本乱国,毛主席定下的铁律,关乎国家生死存亡

王嚾晓
2026-11-16 23:09:27
真的有命数吗?网友:玄学有时候真的不得不信

真的有命数吗?网友:玄学有时候真的不得不信

康富贵碎碎念
2026-11-15 14:35:16
评论员:让佩德里踢前腰是错失的,他在国家队就是替补

评论员:让佩德里踢前腰是错失的,他在国家队就是替补

懂球帝
2026-11-16 05:29:05
西班牙2-3英格兰,赛后评分:不是贝林厄姆第1,西班牙10号第1

西班牙2-3英格兰,赛后评分:不是贝林厄姆第1,西班牙10号第1

侧身凌空斩
2026-11-16 05:48:00
叶剑英晚年留下评价:行军打仗粟裕和刘伯承本领都优秀,可能同时让林彪、张国焘和彭德怀佩服的却只有一个人

叶剑英晚年留下评价:行军打仗粟裕和刘伯承本领都优秀,可能同时让林彪、张国焘和彭德怀佩服的却只有一个人

唠叨说历史
2026-11-11 14:27:26
德转:罗纳尔迪尼奥拉文纳首秀,成为意丙历史身价最高球员

德转:罗纳尔迪尼奥拉文纳首秀,成为意丙历史身价最高球员

懂球帝
2026-11-16 18:32:05
朴树得病很多年了!

朴树得病很多年了!

八卦疯叔
2026-11-16 10:00:58
中央气象台:今晚到明晚,陕西、内蒙古、辽宁等地有中到大雪或雨夹雪,甘肃、吉林等地有暴雪;贵州、湖南、江西、广西、广东等有中到大雨

中央气象台:今晚到明晚,陕西、内蒙古、辽宁等地有中到大雪或雨夹雪,甘肃、吉林等地有暴雪;贵州、湖南、江西、广西、广东等有中到大雨

大风新闻
2026-11-16 18:13:02
袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

文史达观
2026-11-15 22:11:09
反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

互联鱼
2026-11-16 00:15:08
退休金拿到这个数就算知足,80%老人达不到,看看你够吗

退休金拿到这个数就算知足,80%老人达不到,看看你够吗

小影的娱乐
2026-11-15 06:57:51
月薪五万是什么体验?

月薪五万是什么体验?

康富贵碎碎念
2026-11-16 13:15:52
1600万粉丝网红发避雷视频,阿那亚反应迅速,相关门店已停业

1600万粉丝网红发避雷视频,阿那亚反应迅速,相关门店已停业

宝哥精彩赛事
2026-11-16 16:22:12
地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

芊芊子吟
2026-11-10 07:05:06
河南“三支一扶”考试作弊案告破:考试,容不得半点“歪门邪道”

河南“三支一扶”考试作弊案告破:考试,容不得半点“歪门邪道”

呼呼历史论
2026-11-16 04:41:01
2026-11-16 23:48:49
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71687文章数 656270关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
艺术
时尚
手机
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

自骂“烂人”的黄仁勋,冤不冤?

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版