网易首页 > 网易号 > 正文 申请入驻

对齐一个8B模型:DPO花2.02美元,PPO最高5.70美元

0
分享至

对齐一个80亿参数模型,GPU账单能差出多少?按Nodus的公开定价,Qwen3-8B走QLoRA路线,SFT加DPO约2.02美元;换成SFT加奖励模型再加PPO,账单落在2.63到5.70美元之间。两条路的起点是同一套东西:一个监督微调过的模型,加一批偏好对——每条偏好对是一个提示词,配一个被选中的回答和一个被拒绝的回答。


差别出在下一步。RLHF按InstructGPT的做法,先在偏好对上训练一个奖励模型,再跑近端策略优化(PPO):从策略里采样新回答,用奖励模型打分,再更新策略。DPO把这两步一起换掉,只在偏好对上算一个分类损失,微调过程中不需要从语言模型里采样。

省下的不只是代码。RLHF并不比DPO多要人工标注,它多花的是GPU和工程投入。两篇公开的运行记录把PPO阶段放在同数据DPO一轮的1.3到8倍GPU时间区间里。AlpacaFarm用一台8卡A100训LLaMA 7B,PPO在整机上不到2小时,DPO半个机器上一轮不到3小时,折算下来是16个A100小时对12个,比值1.33。Ivison等人的论文跑得更大:13B模型配UltraFeedback,PPO在256核TPUv3 pod上要3天,奖励模型约10小时,DPO 9小时,PPO单独就是DPO的8倍。

把账算到8B模型上,输入是这样的:UltraChat 200k有207,865条SFT训练行,UltraFeedback二值化版有61,135个训练对;默认batchSize为4、梯度累积为4,一个优化步覆盖16条样本;Qwen3-8B的QLoRA预设跑在单张L40S、RTX A6000或A100 80GB上,试运行估算取允许的最慢卡,也就是每步1.3秒的RTX A6000,标价每小时0.333美元。

  • SFT一轮:12,992步,约4.69小时,1.56美元
  • DPO一轮:3,821步,约1.38小时,0.46美元
  • 奖励模型一轮:同样3,821步,0.46美元
  • PPO:没有托管运行时,按1.33到8倍推算,0.61到3.68美元

于是DPO路线是1.56加0.46,2.02美元;RLHF路线是1.56加0.46再加0.61,2.63美元,上限5.70美元。PPO循环能把GPU账单抬到接近三倍,但在这个尺寸上两条路都没超过6美元。这些数字要当地板价看:运行时每种GPU只公布一个步时,每晚重测,不是每个模型一个步时,8B模型的一步可能更久;PPO的区间是从两篇论文外推的,不是Nodus的实测。

真正的大头在标注。AlpacaFarm付给标注员的中位时薪是21美元,1万个偏好对一次性花了3,000美元,折合每对0.30美元。按这个价,UltraFeedback那个体量手工标要18,340.50美元。AlpacaFarm的模拟标注器每千条输出6美元,比人工便宜50倍,同样这批对子按2023年的价是366.81美元。UltraFeedback本身就是模型标的,Zephyr因此不需要人工标注。人工标注的成本约是SFT加DPO算力的9,000倍,而RLHF要的是同一批标注。

既然两条路吃同一批偏好对,标注账单决定不了选谁,它决定的是你能做多少次实验——这一点偏向能快速复用一份数据集的方法。至于效果,DPO论文说它在摘要和单轮对话上追平甚至超过基于PPO的RLHF;预算更大的后续工作得出了相反结论。Xu等人在《Is DPO Superior to PPO for LLM Alignment?》里报告PPO在所有情况下都能超过其他对齐方法,代码任务上差距最大:34B的PPO模型在CodeContests的10@1k指标上到22.4%,DPO是0.0%,迭代DPO是3.2%。他们还指出DPO明显受模型输出与偏好数据集之间分布偏移的影响。Ivison等人测到的差距小一些,PPO在数学上最多领先2.5%、通用领域1.2%,而更好的偏好数据能在指令遵循和真实性上带来最多8%的提升——数据质量排第一,算法排第二。

中间地带是在线或迭代DPO,通常作为离线DPO之后的下一步。它从当前模型采样新回答、打上标签、分轮训练,绕开分布偏移问题又不用加价值模型。Guo等人在《Direct Language Model Alignment from Online AI Feedback》里每轮对每个提示采样两个回答,让一个大模型判断哪个更好,人工评估显示它超过离线DPA和RLHF方法。代价是每轮多出采样和标注开销。

什么时候该上PPO?当模型必须发现数据集里没有的答案时。硬核代码和数学正是这种情况,Xu和Ivison两边都在这里看到最清晰的PPO增益;一个你比任何固定偏好对都更信任的奖励模型也算。PPO还能拿完全没标签的额外提示来训练,因为奖励模型会给采样打分。代价是实打实的工程:Xu等人把优势归一化、大批次和滑动平均参考模型列为PPO的关键因素,批次为64且这三样都没有时,他们的PPO把APPS入门题pass@5从38.6%打到18.0%。团队里没人能调好这个循环,DPO的简单就比PPO的上限更值钱。

一条可操作的判断顺序:有偏好对、目标是聊天或语气,就跑SFT再跑离线DPO,在留出测试集上比;DPO结果偏离分布或停滞,就从当前模型生成新对子跑迭代DPO;任务是硬代码或数学且信得过奖励模型,再试PPO,并按DPO阶段1.3到8倍的GPU时间加调参轮次做预算;几轮下来增益都小,先去改偏好数据,别急着换算法。另外,DPO损失更低不等于模型更好,要比的是起始模型和训练后模型在未动过的测试集上生成的回答。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台积电美股盘前跌幅扩大至5.4%,英伟达跌4%

台积电美股盘前跌幅扩大至5.4%,英伟达跌4%

每日经济新闻
2026-11-16 20:28:04
“让我睡一次,不然死给你看!”17岁少年手持菜刀威胁28岁舅妈

“让我睡一次,不然死给你看!”17岁少年手持菜刀威胁28岁舅妈

四海神君
2026-11-16 12:00:10
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
物业费不再归物业,物业改革终于来了!

物业费不再归物业,物业改革终于来了!

职场资深秘书
2026-11-16 14:18:22
张大奕官宣二胎出生,儿子正面照曝光,一家四口同框幸福满溢

张大奕官宣二胎出生,儿子正面照曝光,一家四口同框幸福满溢

生性洒脱
2026-11-16 12:30:41
“分手”14年,一别两宽,蒋欣高调官宣喜讯,早已和王阳拉开距离

“分手”14年,一别两宽,蒋欣高调官宣喜讯,早已和王阳拉开距离

时间巡查
2026-11-16 06:37:23
陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

小徐讲八卦
2026-11-16 09:00:48
129万元的CAR-T药进医保后降至28.86万元,卖一针亏一针?

129万元的CAR-T药进医保后降至28.86万元,卖一针亏一针?

第一财经资讯
2026-11-16 13:57:10
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
火箭对阵热火!伤病情况:主控复出,亚当斯轮休,卡佩拉连续缺阵

火箭对阵热火!伤病情况:主控复出,亚当斯轮休,卡佩拉连续缺阵

熊哥爱篮球
2026-11-16 19:22:11
诋毁始祖鸟“割韭菜”、客户“钱多人傻”,男装品牌霞湖世家创始人出镜道歉

诋毁始祖鸟“割韭菜”、客户“钱多人傻”,男装品牌霞湖世家创始人出镜道歉

红星新闻
2026-11-16 12:45:44
水均益爆刘欢葬礼细节!刘欢弟弟代家人致辞,卢璐强装镇定忍悲痛

水均益爆刘欢葬礼细节!刘欢弟弟代家人致辞,卢璐强装镇定忍悲痛

一娱三分地
2026-11-16 18:50:09
蒋介石外甥踩了警察局长情妇的脚,当场被扇三耳光关进大牢,本想报出蒋家名号脱身,却险些被整死,最后对方赔得几乎破产

蒋介石外甥踩了警察局长情妇的脚,当场被扇三耳光关进大牢,本想报出蒋家名号脱身,却险些被整死,最后对方赔得几乎破产

磊子讲史
2026-11-12 18:26:57
贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

磊子讲史
2026-09-16 15:28:05
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
真是笑不活了!34岁方博夺冠,奖杯刚递到手里,记者把话筒怼过去,所有人都等着他来一段热血宣言,他却只说了5个字,圈粉无数

真是笑不活了!34岁方博夺冠,奖杯刚递到手里,记者把话筒怼过去,所有人都等着他来一段热血宣言,他却只说了5个字,圈粉无数

锐评利物浦
2026-11-16 10:06:03
敖海清主任:苹果煮水太厉害了!睡前一碗睡得香气血足

敖海清主任:苹果煮水太厉害了!睡前一碗睡得香气血足

蜡笔小小子
2026-11-15 15:10:25
意媒:止步欧国联小组赛,但意大利已是欧洲杯预选赛的种子队

意媒:止步欧国联小组赛,但意大利已是欧洲杯预选赛的种子队

懂球帝
2026-11-16 17:07:23
俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

项鹏飞
2026-11-15 20:49:51
西安投资控股有限公司原总经理赵泉接受纪律审查和监察调查

西安投资控股有限公司原总经理赵泉接受纪律审查和监察调查

环球网资讯
2026-11-16 09:44:13
2026-11-16 20:59:00
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
224文章数 85关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
亲子
家居
时尚
艺术

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

亲子要闻

宝宝气人但是聪明的4个行为

家居要闻

2026建博会(广州) 公装联探展交流活动

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

无障碍浏览 进入关怀版