北京
分享至
一项覆盖77项研究的综合分析给出了一个不太让人安心的结论：AI评分者的可靠性，取决于它手里那份答案金表有多可靠。
研究指向一个具体现象——AI评分者最容易出错的题目，恰恰是它自己没能答对的那些。换句话说，它在自己都没搞明白的地方，打分最不靠谱。
错误偏向哪一边
分析还发现，这类错误存在明显的偏向：AI评分者更容易给出假阳性结果。也就是把不该判为正确的答案，判成了正确。
对于把评分环节交给AI的场景来说，这个偏向方向值得留意——它不会让系统显得更严格，而是更宽松。
答案金表是前提
研究给出的应对路径并不复杂：建立一份经过验证的答案金表，是缓解这类错误的关键。
这也解释了标题里的那层意思——AI评分者的水平，被它参照的答案金表卡住了上限。金表本身有问题，评分结果就跟着走偏。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
