北京
分享至
今天终于把提示词、评测和数据集在Arize Phoenix里搭了起来，先跑了一个小样本：24条Jev调用。结果比预想的分歧更多。
这个规模谈不上结论，但足够暴露问题。24条调用放在一套评测框架里，分歧密度超出预期，说明自动评测和人工判断之间还有不小的缝隙要补。
下一步的计划是扩样本，并拿到一批带标签的数据，用来训练一个多头的小型分类模型。多头意味着一次输出多个维度的判断，而不是把所有信号压成一个分数。这部分后续再更新。
眼下的自动每日评测，暂时选定Sol 6.1。先跑起来，后面再做更多抽查。
整套流程的顺序很清楚：先把提示词、评测、数据集三件套在Arize Phoenix里落地，再用小样本试水，然后扩量、标注、上分类模型。24条只是起点，真正的判断要等标注数据到位之后。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
