北京
你的AI应用跑得挺顺畅。响应成功生成，API稳稳返回200，用户那头也没啥抱怨。
但系统内部到底发生了什么，你完全没数。大模型是不是慢得像在梦游？Agent是不是在疯狂浪费token？拖垮响应速度的那一环到底藏在哪里？
这正是我在SigNoz黑客松上做AI应用时撞上的墙。AI回复是顺利吐出来了，可整个内部执行流程对我来说就是个密不透风的暗箱。
用户眼里只有一句话：“AI给了个回复。”但作为AI工程师，我得挖出更深的答案：为什么这次响应这么慢？拖后腿的是我自己的后端还是大模型？到底烧了多少token？哪个步骤掉了链子？这次执行大概花了多少钱？
这段经历让我认准了一件事：把AI应用搭出来只解决了问题的一半，在生产环境里看懂它的行为，是另一半同样要命的挑战。于是我做了一个东西——ObservEx Lite，一个基于OpenTelemetry和SigNoz的AI Agent可观测性平台。目标很明确：把AI调试从靠猜的玄学，变成可度量的工程活。
问题出在哪儿？传统应用通常是一条直来直去的路：用户请求→API→数据库→响应。监控这种系统相对省心。但现在的AI应用完全是另一回事，一条AI工作流可能长这样：用户请求→AI Agent→推理过程→大模型调用→生成响应。在这条链路上，什么事都可能出岔子——大模型延迟突然飙高，token消耗贵得肉疼，某个AI步骤直接挂掉，模型回复变得不可预测。
传统监控只能告诉我们“这个API请求花了5秒”，但AI开发者需要听到的是“大模型调用吃掉了大部分延迟，并且用了205个token”。这中间的空白，就是必须引入AI可观测性的理由。
ObservEx Lite就是专门为AI工作流设计的可观测层。它捕捉一个AI请求的完整生命周期：请求追踪、Agent执行流程、大模型调用追踪、token消耗、成本估算、报错追踪、性能分析，全都收进来。它不再把AI当成一次简单的API调用，而是让每一个关键的内部执行步骤都变得可见。
系统架构围绕一条基于OpenTelemetry的可观测流水线展开，把AI应用和监控平台接在一起。四层结构分工明确：最上面是AI应用层，一个基于FastAPI的AI Agent接收用户请求并跑完整个AI工作流；往下是遥测采集层，OpenTelemetry SDK负责抓取分布式追踪、应用日志以及模型名称、token用量、执行成本这类AI专有元数据；再往下是遥测传输层，通过OTLP协议把采集到的数据送出去；最底层是可观测层，SigNoz把这些数据接进来，用日志浏览器、追踪浏览器和仪表盘把一切摊开在面前。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
