网易首页 > 网易号 > 正文 申请入驻

错误率几乎没涨,AI客服却答错了费用

0
分享至

上线前五天,工程负责人玛雅翻到一份客服报告:一位顾客收到的改签费答复,和公司政策对不上。回答语气笃定,内容却是错的。


团队想弄清这是一次孤立回答,还是更大范围的生产环境变化。麻烦在于,请求量、延迟、供应商成本、客户报告分散在不同工具里,没有一个共享视图能快速定位行为从什么时候开始、涉及服务的哪一部分。

这个场景是虚构的,担忧却是真实的。在 Moffatt v. Air Canada, 2024 BCCRT 149 一案中,一位顾客依据聊天机器人给出的丧亲票价指引行事,而该指引与航空公司政策相冲突。Wayfinder 及其角色均为虚构,Observra 也未参与该案。

问题:信号没有上下文

光靠一块错误看板回答不了玛雅的问题。助手的回复不是服务器崩溃,健康的错误率也证明不了答案是对的。团队需要把运营信号放在一起,并带上足够上下文,才能查清某个具体时间段和某类工作负载上发生了什么。

团队用 Observra 的看板,把请求活动、延迟、可靠性和成本汇入同一个运营视图。玛雅把视图收窄到晚间流量窗口,查看可用的模型与应用维度拆分,再把请求量、p95 延迟、失败数和成本与团队的发布时间线对照;随后乔对照已批准的政策,复核了相关客服案例。

看板呈现的图景是:请求量上升,发布之后 p95 延迟攀升,错误率却几乎持平。客户报告出现在同一时间窗口,团队因此同时排查服务表现和答案质量。这是用于说明的虚构场景,不是 Observra 的遥测数据,也不是真实客户看板。

这让开发者拿到一个有焦点的调查方向,而不是一条含糊的报告。他们可以追问是流量还是某个特定模型造成了延迟变化,同时由客服负责人乔把有争议的答复与已批准政策逐条比对。

Observra 没有判定答案是否正确,也没有自动找出根因。它帮团队看清了什么发生了变化、该往哪里看、下一步该复核哪些证据。指标反映服务行为,客服案例和质量评估则对应答案质量。

为什么这件事重要

AI 功能进入生产环境后,团队需要的不是散落的日志和一个错误计数。请求量、延迟、可靠性和成本的共享视图,能帮开发者更早发现变化、收窄调查范围,并理解其运营影响。

对玛雅的团队来说,Observra 把一份客户报告变成了具体的起点:一个时间窗口、一类待检查的工作负载、一批待验证的证据。这就是可观测性对 AI 系统的价值——它不替代工程判断,但让下一步调试更清楚、更快。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
丰满圆润的肉感身材,这样穿运动装美得很有张力

丰满圆润的肉感身材,这样穿运动装美得很有张力

樱桃小丸子1987
2026-11-17 08:51:10
《GTA6》地图藏了一手!R星已经备战未来

《GTA6》地图藏了一手!R星已经备战未来

游民星空
2026-11-19 13:15:51
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

文史达观
2025-01-26 06:45:03
连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

刘哥谈体育
2026-11-17 05:34:13
台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

人生录
2026-10-31 00:55:04
20+6三分+0失误!谢泼德觉醒一战防守也被盛赞:休城需要贝弗利精神

20+6三分+0失误!谢泼德觉醒一战防守也被盛赞:休城需要贝弗利精神

颜小白的篮球梦
2026-11-19 21:58:12
两架出逃的重型运输机被叙利亚收回

两架出逃的重型运输机被叙利亚收回

窗帘拉开
2026-11-19 16:20:59
外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

澎湃新闻
2026-11-19 15:49:14
演了26年中国戏的日本人,竟说“中国人没资格养狗”,如今咋样?

演了26年中国戏的日本人,竟说“中国人没资格养狗”,如今咋样?

老吴教育课堂
2026-11-18 03:04:41
一个AI短剧编剧的三年:踩中了风口,却还不如去送外卖

一个AI短剧编剧的三年:踩中了风口,却还不如去送外卖

网易新闻出品
2026-11-13 08:42:32
年盈利910万,他贷款2900万上马彩电产线

年盈利910万,他贷款2900万上马彩电产线

算力游侠
2026-11-18 22:05:54
40年NBA第一人!国王赌对了,19岁小将又爆发,比詹科杜东更快

40年NBA第一人!国王赌对了,19岁小将又爆发,比詹科杜东更快

大西体育
2026-11-19 15:34:52
深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

券商中国
2026-11-19 02:14:46
杭州女子驾车过高架遭风筝线“割顶”,最新:肇事者已找到

杭州女子驾车过高架遭风筝线“割顶”,最新:肇事者已找到

扬子晚报
2026-11-19 20:29:47
中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

解说阿洎
2026-11-13 08:23:20
刚刚,新易盛、中际旭创、天孚通信,集体公告

刚刚,新易盛、中际旭创、天孚通信,集体公告

价值线传媒
2026-11-19 02:03:53
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
炸裂!女子收留19岁外甥女吃住在家,不料与丈夫发生关系还怀了孕

炸裂!女子收留19岁外甥女吃住在家,不料与丈夫发生关系还怀了孕

诗意世界
2025-07-30 18:39:13
9.7 分论文用「虾滑」冒充肿瘤?中南大学通报:存在学术不端行为,4 人被处罚

9.7 分论文用「虾滑」冒充肿瘤?中南大学通报:存在学术不端行为,4 人被处罚

生物学霸
2026-11-19 16:06:33
2026-11-20 00:40:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
251文章数 87关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

数码
旅游
健康
教育
时尚

数码要闻

联想Legion Go Beam掌机谍照曝光:取消标志性触控板 改用16:9屏幕

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

法考通过率 75% 和 20%,差的不是学生

聚光时刻,2026 时尚COSMO美容大赏年度全榜单揭晓!

无障碍浏览 进入关怀版