北京
一家金融科技公司的AI问答机器人，查2022年财报时翻出了2018年的数据，还把竞争对手的收入算给了自家子公司。Emmanuel Akita在2026年7月给《The New Stack》写的复盘里，管这叫“无声幻觉循环”——自主数据管道如何毒害了自己的向量库。
读这份复盘时，我停下来确认了一件事：Akita自己摸到了我反复写的那个论点——可靠性藏在模型外围的“马具”里，不在提示词里。他的原话是：“概率系统需要确定性边界。”七个词，整件事的根子就在这里。
出问题的管道是这样搭的：给一个金融客户构建一套检索增强生成系统，吞进几千份没结构的金融PDF，提取关键字段，给所有内容生成嵌入向量，喂给一个内部问答机器人。起初一切正常。后来机器人开始回答关于2022年的问题时，引用的是2018年的数据，还把竞争对手的收入归到客户子公司名下。
最可怕的在于，检索本身跑得毫无瑕疵。仪表盘全绿，延迟压在一百毫秒以内，向量搜索精确返回了被要求的内容。但返回的数据是垃圾。Akita管这叫“无声”，因为没有报错、没有异常、没有安全缺口。一个完全健康的系统，满怀信心地给出错误答案。
故障链条的第一环：提取环节的代理把幻觉嵌进了嵌入向量。这个管道用一个前沿大语言模型从每份PDF提取元数据来源，包括文档类型、财年、公司实体、摘要，输出成JSON格式，然后把这些信息附加到文本块上再生成嵌入向量。当模型碰到一张扫描不清、财年无法辨认的PDF时，它没有抛出异常，而是猜了一个“2024”。这个猜测跟着文本一起被嵌入，于是就有了Akita所说的“高速搜索不存在文档”的结果。他自己诊断的根因是：“把概率性提取过程当确定性处理了。”
我在另一篇文章里写过，这类静默失败检测不出来，因为你不能靠监控崩溃。你只能检查输出内容，去和真实来源做比对，才能发现端倪。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
