四川
为何通过评估的智能体未必能正常工作能力不等于一致性自主性应根据风险而非雄心扩展
在企业AI领域，一个令人担忧的趋势正在形成：团队赋予智能体越来越多的自主权，与此同时，他们对自动化测试的信心却在急剧下滑。
根据2026年6月VB Pulse对157家拥有100名以上员工的企业受访者的调查显示，半数企业已经部署了通过内部评估但仍然导致客户失败的AI智能体或大语言模型功能，其中四分之一的企业甚至经历了不止一次这样的失败。
需要注意的是，该调查采用的是自选样本而非概率样本，因此研究结果应视为方向性参考，而非精确数据。
然而，企业并未因此减缓自动化进程：66%的受访者已允许某些生产环境部署无需人工审查，或计划在未来12个月内构建这样的系统。仅有5%的受访者表示他们完全信任那些能够做出发布决策的自动化评估。
这种不匹配构成了所谓的”评估鸿沟”：智能体的自主性上限提升速度超过了其保障能力提升的速度。
这也契合了一个更广泛的观点，将在VB Transform 2026大会上进一步探讨：企业优先部署智能体，而围绕身份、评估、成本、上下文和编排的控制层则随后到来。未来一年将进入一个改造周期，采购方将预算转向那些使智能体部署可管控和可靠化的系统。
传统软件测试通常关注特定输入是否能产生预期输出。而智能体测试更为复杂，因为系统可能自行选择步骤序列、调用工具、检索数据、改变状态，并且每次运行的表现可能不同。
一个智能体可能做出多个看似合理的决策，但仍导致错误结果。它可能检索到正确的账户但更新了错误的字段；可能起草了有效的退款请求但未经批准就发送；可能在成功调用五个工具后，第六步泄露敏感信息或导致工作流程不完整。
调查显示企业已经认识到这一局限性。29%的受访者表示不信任自动化评估的主要原因是与现实结果不一致，其次是偏见或不一致性（21%）、缺乏可解释性（18%）和数据泄露或隐私问题（17%）。
这一层级关系很重要。企业表示，智能体评分往往无法预测当客户、员工或业务流程在生产环境中遇到智能体时会发生什么，而非自动化评分过程太慢或太昂贵。
美国国家标准与技术研究院（NIST）在其生成式AI档案中提出了类似观点：在受控环境中收集的测量数据可能无法完全转化为部署环境，因为行为会随着提示、用户、上下文和操作条件的变化而改变。其指导建议进行现场测试、部署后监控以及明确的故障升级流程。
单次成功运行证明智能体能够完成任务，但无法证明它能可靠地完成该任务。
Anthropic关于智能体评估的指导区分了两种情况：衡量系统在多次尝试中至少成功一次，以及每次尝试都成功。这种区别对于面向客户或运营的工作流程至关重要。如果一个模型偶尔能产生优秀答案，但同一任务在下一次尝试时可能失败，那么它仍然不可接受。
因此，企业团队应将可重复性视为一级指标。这意味着多次运行相同场景，变化措辞和上下文，测试工具故障，并衡量即使路线改变，最终业务结果是否仍然正确。
评估集也需要不断演进。每次生产事件都应成为永久的回归测试。客户升级、失败的工具调用、错误的批准和数据处理的错误，都应反馈到预部署测试套件中，而不是作为孤立的支持案例。
这项调查并不意味着每个智能体行动都需要人工参与。人工审查无法扩展到数百万个低后果决策。
但零人工操作应通过证明的可靠性来获得，并受失败后果的限制。
起草内部摘要或分类文档等低风险行动可以容忍更广泛的自主权。而金融交易、客户沟通、代码部署、访问控制变更和数据删除等需要更严格的阈值、重复的一致性测试、政策检查、回滚机制以及明确的人工升级路径。
风险分布并不因公司规模而均匀。拥有2500名以上员工的大型企业在向零人工部署方面进展最快（70%），而较小公司这一比例为64%，同时他们部署的智能体在客户面前失败的比例也更高（54%对比48%）。
这是对企业领导者的警示。将人类从循环中移除并不会消除不确定性。在没有更强保障的情况下，它将不确定性转化为自动化生产决策。
市场将继续推动更大的自主性，因为经济激励是真实存在的。最有优势的组织不会是最快去除人工的组织，而是那些将可重复性和回归测试与部署速度同等重视的组织。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
