当你把一份5000字的财务报告交给AI处理,期待它帮你分类整理时,你可能没意识到:文档里每四行内容,就有一行已经被改得面目全非。
这不是危言耸听。微软研究院的最新测试显示,当前最先进的AI模型在"代劳工作"中,平均会篡改25%的原始文档内容。更麻烦的是,这些错误几乎无法察觉。
![]()
所谓"代劳工作",指的是用户把知识型任务完全交给大语言模型处理——比如让AI读一份密密麻麻的账本,按支出类别拆分成多个文件;或者把"氛围编程"(vibe coding)中繁琐的代码编辑甩给AI。用户往往没时间、也没专业知识去逐字核对AI的每一次修改,只能赌它"靠谱"。
为了量化这种信任的风险,研究团队开发了DELEGATE-52基准测试。它模拟52个真实职业场景——从财务会计、软件工程到晶体学、音乐记谱——每个场景用2000到5000词的原始文档,布置5到10个复杂编辑任务。评估方法借鉴了机器翻译中的"回译"技巧:让AI把文档改过去再改回来,对比最终版本与原文的差异,以此测量内容衰减程度。
测试结果令人警醒。即使是顶级前沿模型,在多轮迭代后也会引入大量错误。研究团队还发现两个反直觉的现象:给AI配备更多工具(agentic tools),反而让它表现更差;让它处理带有干扰信息的真实文档,错误率也会上升。换句话说,越接近实际工作环境,AI越不靠谱。
这项研究的核心警示在于:当前业界正面临越来越大的压力,要求用AI自动化知识工作。但语言模型在忠实处理文档这件事上,还远未达到可以"放手"的程度。25%的篡改率意味着,一份经AI处理后的合同、病历或财务报表,有四分之一的内容可能已与原文不符——而你很难发现。
对于依赖AI处理重要文档的用户来说,这25%不是抽象数字,是实实在在的审计风险、法律责任和决策失误。在模型可靠性取得突破之前,"完全委托"仍然是一场赌博。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.