北京
分享至
闭源实验室里那些不对外讲的强化学习细节，正在一点点漏出来。有人把这条线索整理成了一条长帖，讨论热度不低。
帖子里点名了一个具体对象：Tinker 的新目标函数 StableReinforce。按帖子的说法，它的构成是 Reinforce 加上 Score Centering。
更关键的是后半句——发帖者称自己是靠逆向工程把这个目标函数还原出来的。也就是说，闭源一侧没有公开的配方，被外部按结果反推了出来。
这条帖子被转述时的原话是“闭源实验室用的部分强化学习细节正慢慢泄露”。泄露的方式不是内部文件流出，而是一层层反推、一点点对上。
对做训练的人来说，这类细节的价值不在概念新不新，而在配比和取舍：哪些项留着，哪些项去掉，最后拼成什么。StableReinforce 被拆成 Reinforce 与 Score Centering 两块，本身就是一种可复现的描述方式。
帖子没有展开更多实现层面的内容，能确认的只有这个目标函数的组成，以及它来自逆向还原这一说法。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
