对齐一个80亿参数模型,GPU账单能差出多少?按Nodus的公开定价,Qwen3-8B走QLoRA路线,SFT加DPO约2.02美元;换成SFT加奖励模型再加PPO,账单落在2.63到5.70美元之间。两条路的起点是同一套东西:一个监督微调过的模型,加一批偏好对——每条偏好对是一个提示词,配一个被选中的回答和一个被拒绝的回答。
![]()
差别出在下一步。RLHF按InstructGPT的做法,先在偏好对上训练一个奖励模型,再跑近端策略优化(PPO):从策略里采样新回答,用奖励模型打分,再更新策略。DPO把这两步一起换掉,只在偏好对上算一个分类损失,微调过程中不需要从语言模型里采样。
省下的不只是代码。RLHF并不比DPO多要人工标注,它多花的是GPU和工程投入。两篇公开的运行记录把PPO阶段放在同数据DPO一轮的1.3到8倍GPU时间区间里。AlpacaFarm用一台8卡A100训LLaMA 7B,PPO在整机上不到2小时,DPO半个机器上一轮不到3小时,折算下来是16个A100小时对12个,比值1.33。Ivison等人的论文跑得更大:13B模型配UltraFeedback,PPO在256核TPUv3 pod上要3天,奖励模型约10小时,DPO 9小时,PPO单独就是DPO的8倍。
把账算到8B模型上,输入是这样的:UltraChat 200k有207,865条SFT训练行,UltraFeedback二值化版有61,135个训练对;默认batchSize为4、梯度累积为4,一个优化步覆盖16条样本;Qwen3-8B的QLoRA预设跑在单张L40S、RTX A6000或A100 80GB上,试运行估算取允许的最慢卡,也就是每步1.3秒的RTX A6000,标价每小时0.333美元。
- SFT一轮:12,992步,约4.69小时,1.56美元
- DPO一轮:3,821步,约1.38小时,0.46美元
- 奖励模型一轮:同样3,821步,0.46美元
- PPO:没有托管运行时,按1.33到8倍推算,0.61到3.68美元
于是DPO路线是1.56加0.46,2.02美元;RLHF路线是1.56加0.46再加0.61,2.63美元,上限5.70美元。PPO循环能把GPU账单抬到接近三倍,但在这个尺寸上两条路都没超过6美元。这些数字要当地板价看:运行时每种GPU只公布一个步时,每晚重测,不是每个模型一个步时,8B模型的一步可能更久;PPO的区间是从两篇论文外推的,不是Nodus的实测。
真正的大头在标注。AlpacaFarm付给标注员的中位时薪是21美元,1万个偏好对一次性花了3,000美元,折合每对0.30美元。按这个价,UltraFeedback那个体量手工标要18,340.50美元。AlpacaFarm的模拟标注器每千条输出6美元,比人工便宜50倍,同样这批对子按2023年的价是366.81美元。UltraFeedback本身就是模型标的,Zephyr因此不需要人工标注。人工标注的成本约是SFT加DPO算力的9,000倍,而RLHF要的是同一批标注。
既然两条路吃同一批偏好对,标注账单决定不了选谁,它决定的是你能做多少次实验——这一点偏向能快速复用一份数据集的方法。至于效果,DPO论文说它在摘要和单轮对话上追平甚至超过基于PPO的RLHF;预算更大的后续工作得出了相反结论。Xu等人在《Is DPO Superior to PPO for LLM Alignment?》里报告PPO在所有情况下都能超过其他对齐方法,代码任务上差距最大:34B的PPO模型在CodeContests的10@1k指标上到22.4%,DPO是0.0%,迭代DPO是3.2%。他们还指出DPO明显受模型输出与偏好数据集之间分布偏移的影响。Ivison等人测到的差距小一些,PPO在数学上最多领先2.5%、通用领域1.2%,而更好的偏好数据能在指令遵循和真实性上带来最多8%的提升——数据质量排第一,算法排第二。
中间地带是在线或迭代DPO,通常作为离线DPO之后的下一步。它从当前模型采样新回答、打上标签、分轮训练,绕开分布偏移问题又不用加价值模型。Guo等人在《Direct Language Model Alignment from Online AI Feedback》里每轮对每个提示采样两个回答,让一个大模型判断哪个更好,人工评估显示它超过离线DPA和RLHF方法。代价是每轮多出采样和标注开销。
什么时候该上PPO?当模型必须发现数据集里没有的答案时。硬核代码和数学正是这种情况,Xu和Ivison两边都在这里看到最清晰的PPO增益;一个你比任何固定偏好对都更信任的奖励模型也算。PPO还能拿完全没标签的额外提示来训练,因为奖励模型会给采样打分。代价是实打实的工程:Xu等人把优势归一化、大批次和滑动平均参考模型列为PPO的关键因素,批次为64且这三样都没有时,他们的PPO把APPS入门题pass@5从38.6%打到18.0%。团队里没人能调好这个循环,DPO的简单就比PPO的上限更值钱。
一条可操作的判断顺序:有偏好对、目标是聊天或语气,就跑SFT再跑离线DPO,在留出测试集上比;DPO结果偏离分布或停滞,就从当前模型生成新对子跑迭代DPO;任务是硬代码或数学且信得过奖励模型,再试PPO,并按DPO阶段1.3到8倍的GPU时间加调参轮次做预算;几轮下来增益都小,先去改偏好数据,别急着换算法。另外,DPO损失更低不等于模型更好,要比的是起始模型和训练后模型在未动过的测试集上生成的回答。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.