支持团队打开一个会话,界面显示两次搜索、六个工具。Foundry 的追踪记录讲的是另一套,App Insights 里又是第三个版本。没人说得清:智能体到底搜过知识库,还是编了一条引用路径,又或者那个计数器本身就在说谎。
这不是界面瑕疵,是产品少了一块该有的表面。活动时间线必须让平台追踪、MCP 知识搜索和界面计数三者对得上。做法可以归成三个动作:持久化、投影、对账。
持久化:把每一轮的活动事件存下来
每个会话轮次都要落一条结构化的活动事件,字段包括工具名、这次调用属于知识搜索还是通用工具、状态、延迟、关联 id,以及在策略允许范围内脱敏后的参数。
聊天气泡只是一次渲染。事件才是支持团队的系统记录。没有持久化,websocket 一断,这个会话就再也重建不出来。
投影:界面计数只能从事件库算出来
“2 次搜索 / 6 个工具”必须由已持久化的事件计算得出,而不是因为某个加载动画转了一圈,就在前端把数字加一。平台拒绝了这次工具调用,界面就不能保留那个乐观计数。
界面允许简化,不允许发明。投影出了错,本质是建模出了错。
对账:让同一条 id 串起四层
Foundry 追踪和 App Insights 事务必须匹配同一批 id 和同一批计数。关联 id 要一路传下去,让 shell、API、Foundry 和 App Insights 讲同一个故事。测试负责抓住漂移——比如有人加了一条新的工具路径,却忘了发事件。
知识搜索要单独计数。它和“跑了计算器”“导出了 CSV”是不同的风险,也是不同的支持问题。细心的用户会问命中了哪个语料库,把所有东西塞进一个“工具”桶里,这个问题就永远答不上来。
再往前一步,是给内部用户和受角色门控的支持人员一个调试抽屉,把平台 span 和归一化事件并排摆出来。只有当操作 id 贯穿 shell 和 API,App Insights 的端到端事务视图才真正可用。这不是企业级智能体的可选装饰。
脱敏与可用性的取舍
持久化工具参数有利于排查,也带来泄露风险。默认应脱敏自由文本和密钥,保留工具名、状态、耗时,以及策略允许的语料标识。脱敏配置要写在事件 schema 旁边,让支持人员在开单之前就知道自己看不到什么。
上线前还要把留存、脱敏和审计访问写进书面策略:保留什么、保留多久、谁能看原始追踪、脱敏怎么执行。如果产品承诺“带引用的有据回答”,运维侧就必须能回答“我们查得到跑过哪次搜索”。否则审计就是表演。
支持团队应该能在五分钟内答出这几个问题:跑了哪些知识搜索、针对哪个语料提示、状态如何;跑了哪些通用工具;这一轮的界面计数和持久化事件是否一致;能不能打开关联的 App Insights 事务。如果任何一个答案都要翻三个互不相连的系统再靠猜,这个产品就还不能算可运维。
常见错误清单并不长:
- 乐观的界面计数器,加载时加一,失败时不减。
- 只有气泡,没有事件库,支持只能看截图。
- 所有工具共用一个桶,知识访问问题变得无法回答。
- 追踪没有关联 id,App Insights、Foundry、界面各自成岛。
- 调试抽屉是事后补的,故障时临时搭,之后没人维护。
- 承诺可审计,却没有留存设计。
新增工具时,PR 检查清单里要包含三件事:发事件、做界面投影、加一条对账测试。跳过清单的工具,只是把最初那个谎言换了一身新衣服。
团队里任何人都应该能读懂事件 schema,而不必先学会 Foundry 控制台。持久化时间线,对账计数器,把知识搜索单独拎出来。如果解释不了那些工具调用,就先暂停发布,把已经承诺过的可观测性产品做出来。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.