北京
用大模型给机器翻译打分，听起来是笔划算的买卖。但一项针对两种主流评估方案的研究发现，在MQM（多维质量指标）和ESA（错误跨度标注）这两套体系下，模型与人类判断的一致程度，并没有想象中那么可靠。
研究把大模型和人类标注者放在同一套评估框架里对比。结论指向一个不太讨喜的方向：人类和模型都被这套任务难住了。翻译质量标注本身就不是一件容易的事，换谁来干都一样。
为什么评估这么难
机器翻译评估要覆盖的语言对、领域和标注粒度都极其庞杂。同一句译文，在不同场景下该扣多少分、错在哪，判断标准并不统一。研究强调，大模型要想真正替代人工评估，必须先在这些维度上被彻底检验一遍，而不是拿几个基准分数就下结论。
换句话说，模型在评估任务上的表现，取决于它面对的是哪种标注方案、哪种语言组合、哪种颗粒度要求。这些变量叠加起来，构成了一个远比"模型能不能打分"复杂得多的问题。
两种方案，同一个难题
MQM 和 ESA 是当前机器翻译质量评估中两套有代表性的方案。研究选择它们作为测试对象，比较模型输出与人类判断之间的一致性。一致性越高，说明模型越有可能被当作人类评估的替代品；一致性不足，则意味着直接上马还有风险。
研究给出的信号是谨慎的：大模型被视为更高效、更省成本的替代方案，这个定位本身没错，但"更高效"和"够可靠"之间还隔着大量验证工作。在语言对、领域、标注粒度这些维度上逐一过关之前，把评估权完全交给模型为时尚早。
这项研究没有给出"模型不行"的定论，它给出的是一张待办清单：想让大模型接手翻译质量标注，先把它放到足够多的场景里，和人类判断一项一项对齐。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
