一个企业AI代理处理日常请求:调取相关政策、核对客户记录、按既定流程执行、给出清晰建议。每一步都正常,结果却错了——因为政策昨天刚更新,搜索索引还没来得及同步,提示词仍引用旧流程,工具接口已换新版本,客户权限在对话开始后也变了。
每个组件都按设计运行,合在一起却拼凑出一个基于不同时间点的答案。这正是企业AI领域最隐蔽也最致命的可靠性问题:上下文漂移(context drift)。
![]()
读得多不等于读得新
过去几年,行业把大量精力花在扩大上下文窗口、提升检索能力上。这些进展当然重要,但一个能读更多内容的代理,并不自动等于一个知道什么是最新状态的代理。
在生产环境中,真正的问题不是“我们提供了多少上下文”,而是:代理是否拿到了完成这项任务所需的最小、最新、最权威的信息集合——并且我们能证明这一点?
更麻烦的是,更多的上下文可能让错误答案显得更有说服力。检索增强生成(RAG)的设计初衷,是让语言模型能够访问可更新的知识和来源溯源,这比只依赖模型参数中存储的事实前进了一大步。但RAG只是创建了一个知识治理的接口,并不会自动提供治理本身。
知识冲突研究揭示的风险
关于知识冲突的研究解释了为什么这个区别如此关键。模型可能面临参数记忆与检索内容之间的冲突、多个检索来源之间的冲突,甚至自身学习知识内部的冲突。
在实验场景中,当生成内容与检索内容不一致时,模型有时会倾向于采信看似合理但实际错误的生成信息。语义相似性本身并不能保证权威性或真实性。
这个问题在企业内部会变得更加复杂。一个简单的问题可能同时涉及政策页面、数据库记录、Slack讨论、工单、流程定义和用户特定权限。最近一个企业RAG基准测试特意加入了近重复文档、错误归档、冲突信息、缺失信息以及跨多个业务系统分布的数据。
尽管该基准使用的是合成企业数据且仍为预印本,但这些失败模式对任何接触过内部知识库的人来说都不陌生。
添加更多文档会放大三类风险
第一,更多旧材料增加了过时指导被检索到的概率。第二,更多近重复内容可能让重复次数主导排序,即使被重复的主张已不再具有权威性。第三,更多冲突片段迫使模型自行决定该信任哪个来源——而这个决定往往缺乏足够的判断依据。
换句话说,企业AI代理的下一个可靠性问题,不在于它们能读多少,而在于它们所依赖的知识、权限、工具和指令,是否仍然描述着同一个现实。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.