北京
每个AI Agent平台都在宣传企业级就绪、可观测性、治理合规。演示很干净，架构图很熟悉。但生产环境跑三个月后，裂缝开始出现：服务等级协议排除了大模型供应商，成本归因需要你自己维护一套永远不会更新的自定义标签，治理层不过是在开源权限系统上包了一层皮，根本不懂Agent之间的委托授权。
我们花了数年时间，帮团队评估、试点，有时甚至是抢救AI Agent部署。得出的教训是：签合同前不针对几个特定维度做压力测试，注定后悔。这不是说平台"不好"，而是要看它是否为你的现实场景而建：多模型路由、本地部署限制、将Agent决策视为高风险的合规制度，以及需要在半年后还能追溯Agent行为的团队。
这份指南梳理了签字前该问的12个问题。有些偏技术，有些偏合同，全都来自我们聊过的踩坑团队。
第一问：除了正常运行时间和延迟，你们采集哪些可观测信号？
正常运行时间和延迟只是入门门槛。如果供应商的可观测性宣讲到此为止，你就错过了判断Agent在做有用工作还是悄悄滑向失败的关键指标。要问具体细节：能否查询跨Agent的单个工具调用成功率？能否按工作空间分组追踪，查看协调Agent何时开始更频繁地路由到备用模型？模型返回有效JSON响应，和响应在语义上正确，这两者能否区分？
你应该能对着平台的追踪API运行类似这样的查询，而不是只能盯着仪表盘看：
traces = client.query_traces(
workspace="billing-team",
metric="tool_call_success_rate",
filter={"tool_name": "refund_handler", "window": "7d"}
)
只展示模型级延迟的平台，无法捕获向量搜索插件因索引漂移而默默返回空结果这类故障。这种失败是缓慢侵蚀信任，然后突然爆发。如果供应商展示不出多Agent工作流的追踪图谱——带延迟瀑布、工具调用归因、每个节点成本——那就视为危险信号。
第二问：多模型路由和降级策略怎么做？
很多平台声称支持多模型。但真正能在生产环境用的没几个。要问清楚：能否按Agent、按工作流步骤、或按请求复杂度/成本/延迟阈值配置模型路由？模型返回错误或违反内容策略时会发生什么？
生产级路由层要做的远不止这些。但原文在此处截断，无法补全。
（注：原文仅提供前两问完整内容，后续问题未在提供的文本中展开。）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
