北京
分享至
训练一个能打分的评分器，通常要多少标注数据？AWS与汇丰的论文给出一个数字：10个。他们提出的方法叫Double Ratchet，让评分器和智能体技能同步进化，用10个标注样本就能训练出接近真实标注的效果。
评分器怎么长出来的
这个评分器不是一次性训好的大模型，而是由针对单一失败类型的规则化小检查逐步构建起来。每发现一类失败，就补一条对应的检查规则，评分器像搭积木一样一点点长出来。
关键在于版本怎么选。论文的做法是：只依据与那10个标注样本的一致性来挑版本，而不是看智能体的得分有没有提高。评分器不追着分数跑，只对齐那10个样本。
评分器和智能体技能同步进化，意味着两边一起迭代。这套思路把评分器的训练成本压到了10个标注样本的量级。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
