网易首页 > 网易号 > 正文 申请入驻

SFT训练总翻车?问题可能出在数据配方上

0
分享至

SFT(有监督微调)被严重低估了。退化这口锅,大部分时候是配方背的。


先把概念拆开看。SFT 本质是用带标准答案的训练数据微调模型,让它按期望格式输出。损失函数是目标 token 上的交叉熵:L_SFT = −Σ_t log π_θ(y_t | x,y_。听起来简单,但很多人对它有误解——以为微调必然伤通用能力,其实关键在于数据配方。

退化从哪来?不是方法本身的问题,而是糟糕的数据配比。用 100% 教师轨迹、低 batch size 训练,或者在长推理轨迹上训练却没正确设置学生模型的聊天模板,都会导致通用能力下降和灾难性遗忘。

DiPietro 给出的有效配方,核心是保留锚点、防止分布收窄:

  • 每个 batch 中混入约 25% 的高质量学生推理轨迹
  • 扩大 batch size
  • 调节学习率
  • 使用拒绝采样后的教师轨迹
  • 必要时对学生基模型加小 KL 惩罚:L = L_SFT + β · KL(π_θ ‖ π_ref)

按这套配方走,可以弥合约 80% 的差距,且退化极小。混入学生自己的推理轨迹这一步尤其关键——它让模型在学教师的同时不丢掉原有的分布,相当于给微调留了一个锚点。

需要提醒的是,这些经验数字属于个人经验法则,不是实验数据,不能当作测量结论来引用。配方可以照着试,但别把 25% 和 80% 当成定理。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
重磅!英伟达突然对华停售H200芯片

重磅!英伟达突然对华停售H200芯片

大厂财经社
2026-11-18 23:43:23
11月19日,人社部与财政部有发布,关于2026年调整养老金的通知文件吗?

11月19日,人社部与财政部有发布,关于2026年调整养老金的通知文件吗?

小谈食刻美食
2026-11-19 20:44:49
ESPN爆料詹姆斯向76人教练组提出要求,遭詹姆斯社媒直接开怼

ESPN爆料詹姆斯向76人教练组提出要求,遭詹姆斯社媒直接开怼

夜白侃球
2026-11-19 19:40:55
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
调查发现:若晚餐经常吃太早,用不了半年,胰腺或迎来7个改变

调查发现:若晚餐经常吃太早,用不了半年,胰腺或迎来7个改变

人间颂
2026-11-11 16:25:07
很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

西昆仑Bruce
2026-11-19 16:57:57
“深圳现象”下,所有广州人该有的反思

“深圳现象”下,所有广州人该有的反思

王二哥老搞笑
2026-11-19 16:41:19
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
“抢公章”!黄仁勋动手了

“抢公章”!黄仁勋动手了

华商韬略毕亚军
2026-11-19 10:07:29
AI复活电子垃圾之:压了十年泡面的 Kindle,终于翻身了

AI复活电子垃圾之:压了十年泡面的 Kindle,终于翻身了

果壳
2026-11-19 16:17:10
美国承认了,很多人以为美国不介入台海是还在犹豫。错了!真相是,他们早就做好了算术题:打不赢,也赔不起

美国承认了,很多人以为美国不介入台海是还在犹豫。错了!真相是,他们早就做好了算术题:打不赢,也赔不起

扶苏聊历史
2026-10-12 13:53:05
没有NTR!《GTA6》男主只能和女主上床 解锁条件曝光

没有NTR!《GTA6》男主只能和女主上床 解锁条件曝光

游民星空
2026-11-19 22:17:06
波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

罗米的曼联博客
2026-11-19 06:46:58
中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

扶苏聊历史
2026-11-18 14:15:42
不再照单全收!大批留美学者临退休扎堆回国,中国不做养老接盘地

不再照单全收!大批留美学者临退休扎堆回国,中国不做养老接盘地

浯江孤舟
2026-11-19 09:17:25
DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

每日经济新闻
2026-11-19 14:51:05
21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

LULU生活家
2026-11-19 16:59:58
14年深圳老酒店,凭啥接下特朗普?

14年深圳老酒店,凭啥接下特朗普?

旅界Pro
2026-11-19 07:27:00
看哭!25岁妈妈含泪记录2岁宝宝生命最后11天:“他以为好好吃饭就能活下去,我抱着孩子一秒一秒告别…”

看哭!25岁妈妈含泪记录2岁宝宝生命最后11天:“他以为好好吃饭就能活下去,我抱着孩子一秒一秒告别…”

上观新闻
2026-11-19 12:41:54
告别“长枪短炮”,外媒记者纷纷点赞:想要一台

告别“长枪短炮”,外媒记者纷纷点赞:想要一台

极目新闻
2026-11-19 17:03:52
2026-11-20 01:24:49
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
295文章数 176关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

手机
时尚
家居
公开课
军事航空

手机要闻

苹果因iPhone维修限制面临法国“计划性报废”诉讼

聚光时刻,2026 时尚COSMO美容大赏年度全榜单揭晓!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版