北京
分享至
强化学习训练大模型时，一个尴尬的现象反复出现：题目越难，模型越学不到东西。研究者把这种收益集中在简单题目上的现象，称为LLM强化学习的马太效应——会的越来越会，不会的始终不会。
问题出在梯度为零
GRPO这类方法依赖组内回答的对比来产生梯度。当一组回答全部错误时，组内没有可对比的差异，梯度为零，这次采样等于白跑。难题上，这种情况出现得格外频繁，训练信号就这样被浪费掉了。
针对这一点，研究者提出了Never Give Up方法。思路并不复杂：当GRPO组内所有回答都错误时，以约0.9的概率继续采样，直到找到能产生非零梯度的批次。
不放弃那一次采样
换句话说，模型在难题上全错时不再直接跳过，而是多试几次。研究显示，这一方法有效，能把原本被丢弃的训练机会重新利用起来。
研究者还借助异步RL来攻克更难的问题，让采样与训练不必严格同步等待。难题上的收益有限，是GRPO长期存在的一道坎，Never Give Up给出的答案是：先别急着放弃这一批。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
