北京
分享至
Hamel Husain 发了一篇新博客，讲怎么用决策模型做 Evals（评测）。文章和 Antaripa Saha 合写，标题就叫《How To Use Decision Models for Evals》。
他先点了一波近段时间冒出来的决策模型：TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef，还有 OpenAI 的 Decisions API。这类模型的共同点是输出概率，而不是长文本，常被拿来当 LLM-as-a-Judge 的替代方案。
那具体怎么用它们做评测？文章给了三步：
- 为你的任务挑一个合适的决策模型；
- 调它的阈值——别默认 0.5 就是好的；
- 解读它给出的分数。
三步里最容易被跳过的是第二步。阈值不是摆设，默认值未必适配你的任务，得自己调。文章里还配了不少可交互的图表，方便边看边试。
对正在搭评测流程的人来说，这篇的落点很实在：选模型、定阈值、读分数，一条线走完。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
