北京
分享至
一次强化学习跑测，奖励曲线停住不涨了。团队把问题丢给 Claude Code 里的 IQuest-Q1，让它读训练日志和保存的轨迹，再从代码库往回追。
追到最后，根因落在推理服务的文本解码环节：那里多加了一个空格。
就这么一个空格，让奖励曲线不再往上走。不是超参没调好，不是奖励函数写错，也不是数据出了问题——故障点在解码输出上，一个肉眼几乎不会注意的字符。
IQuest-Q1 的排查路径是：先看训练日志，再看保存下来的轨迹，然后顺着代码库定位到具体环节。日志和轨迹提供的是现象，代码库提供的是答案。
这类问题的麻烦之处在于，它不报错。训练照常跑，进程照常活着，指标只是不动了。人去看日志，看到的是"一切正常"，只有把日志、轨迹和代码放在一起对照，才能看出解码多出来的那个空格。
把调试交给能同时读日志、读轨迹、读代码库的工具，省掉的正是这种来回对照的时间。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
