北京
分享至
训练大模型最烧钱的不是显卡，是时间。一篇新研究把预训练和微调的账算清楚了。
团队对比了不同规模模型的训练曲线。发现个反直觉的事：小模型预训练+大模型微调，有时候比直接训大模型还划算。关键看数据怎么配。
预训练阶段，模型在学"世界常识"。这时候数据质量比数量重要——脏数据喂多了，后期微调很难纠回来。微调阶段则是"专业对口"，用领域数据激活预训练里的相关能力。
研究给了个实用建议：别盲目堆参数。先测你的任务需要多少"常识"，再决定预训练投入。很多团队反着来，先训个大的再说，结果微调时发现冗余能力根本用不上。
最省钱的组合是：中等规模预训练+针对性微调+轻量迭代。这套打法在多个NLP任务上验证了，训练成本能降40%以上，效果不掉。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
