网易首页 > 网易号 > 正文 申请入驻

同一个AI,加记忆后首次派单准确率从18%升到74%

0
分享至

同一个模型,同一套决策代码,只差一层记忆:首次派单准确率从18%跳到74%,转人工比例从66%压到4%。这不是换了个更强的AI,是给它配了一张会记事的图。


测试对象是 microsoft/vscode 的真实工单分诊。作者用 FalkorDB 搭了一个叫 Handoff Graph 的派单代理,核心动作只有一个:记住谁把哪类问题转给了谁。然后在两个完全独立的留出时间段上各跑一次,不做训练,不调参。

先看没有记忆时的表现。夏季时段,代理把66%的工单直接推给人工,首次就选对负责人的比例只有18%。春季时段类似:64%转人工,首次准确率15%。这个水平基本等于没用。

加上记忆之后,同一套代码在两个时段分别做到4%转人工、74%首次准确,以及7%转人工、58%首次准确。作者的说法是,这个成绩距离微软专门做的分诊分类器只差几个百分点,而后者跑在自己的模型上,还配了一份手工维护的归属文件,并由 VS Code 团队人工纠正。

为什么记忆这件事在派单上这么值钱?因为转派本身就是高频动作。素材引用的微软自家研究显示,被重新指派的工单,分诊耗时可能长达原来的10倍。2009年一项针对 Mozilla 和 Eclipse 的研究发现,37%到44%的缺陷在开发者之间被转手。工单系统会统计这些转派,但不会从中学习。

2026年6月到10月中旬,microsoft/vscode 收到11,734个工单,分诊机器人完成了65%的首次指派,其中1,678个被转给了别人,而这些转派里有五分之四是从机器人的选择开始的。每一次转派都带着信息:这类问题给了这个人,最后落到了那个人手里。

有些工程师天然是枢纽。素材里提到一位工程师(记为A),6月到10月间从机器人手里接了405个工单,留下238个,把75个转给一位同事,64个转给另一位。这种模式在单个工单里完全看不见,放进图里就一目了然。

系统结构很克制。学习器是唯一写入方,把每次转派变成一条带时间戳的边;路由器只读,工单进来后先问图:A 把类似的工作转给过谁,A 自己又留下了多少。这给出一个很短的候选名单和一个先验。然后决策模型 TypeSafe Jev 对每个候选只回答一个很窄的是非题:这个工单更像 A 留下的那些,还是更像 A 转给 B 的那些。

决策规则写在代码里,不写在提示词里。备选明显更优就改派,差距太小就交人工并说明理由,否则维持机器人的原选择。每个决定都会附带一条能解释它的图路径。模型全程不写查询语句,只通过 MCP 服务器调用一组固定工具。

评测部分作者花的时间最多。做法是按时间顺序回放:每个历史工单都在 VS Code 机器人首次指派的那个时刻被路由,学习器逐日推进,所有查询都带时间过滤,决策永远看不到之后发生的转派。标签泄漏也被处理掉了——工单的区域标签往往由后来转派它的人加上,路由时刻只有约五分之一的转派带有区域标签,所以只用当时已存在的标签,其余靠工单文本。

对照组的设置是公平的:没有记忆,指的是同一个 Jev 模型、同一套决策代码,只有候选名单和先验换了来源,改成过去两周被指派最多的人。设计在开发窗口上做完后冻结,提交确切命令,在留出期上只跑一次。

作者还专门做了一次“把图拿掉”的测试,因为比赛规则要求图必须干真活。同样的模型、同样的提示、同样的决策代码,唯一变化是去掉图提供的东西:谁在什么时刻把什么转给了谁。结果转人工从4%弹回66%,首次准确率从74%掉回18%。

它没有赢过微软的分类器。在代理选择自己路由的那些工单上,两者准确率打平,差距在0.2个百分点以内。作者还预注册了一个更严格的尝试:转人工不超过15%的前提下,精度至少提升2个百分点。这个方案在开发数据上是+3.8,在没见过的春季时段掉到+0.5。作者自己点明,这是典型的对噪声过拟合,并且选择把它展示出来而不是藏起来。

天花板也测了。假设系统能精确知道哪些工单会被转走,并把每一个都送给该工程师最近最常转给的人,准确率也只能到大约85%,而机器人本身是78%。也就是说,全部收益只有七个点,而且前提是你能预知哪张工单会被转发。光知道“谁爱转发”不够。作者试过手上所有信号:工单文本的 AUC 是0.57,接近抛硬币;个人近期转发率的 AUC 是0.74,但没有一条覆盖规则能跑赢;谁提交的工单则毫无帮助。转派的中位时间发生在路由后大约一天,取决于工作量、休假,以及工单到达时没人看得见的那些对话。

关于人的记忆腐坏得很快。在开发数据上,记忆给出的最佳备选命中了最终负责人的38%;一个月后的夏季留出期,这个数字掉到13%。谁把什么转给谁,几周内就会变。作者认为,这恰恰是“持续在线学习的图”胜过“一次训练完成的分类器”的最强论据。

还有一个机器人看不见的信号。当某位工程师连续转走了最近三个工单,机器人下一次给他派单,12次里只对了3次——那人通常不在。图能注意到这个连续转派的势头,机器人却照派不误。这种情况很少,占比不到1%,但正是只有行为记忆才能做出的判断。

两个事后发现的描述性结论:代理给出的前三个建议里包含最终负责人的比例是81%和69%,分类器单次选择是77%和62%,如果由人工从建议里挑,这个差别有用。另外,当代理主动要求人工介入时,分类器的选择确实更容易错:错误率36%和47%,而整体是23%和38%。“我不确定”本身就是一个有用的转派风险信号。

作者总结的三条经验里,第一条关于怎么衡量上下文层:要拿同一个代理去掉记忆来比,而不是拿生产系统来比,两个结果都该报。第二条关于时间:所有泄漏都来自未来偷偷溜进来,边上的时间戳加每条查询的时间过滤解决了它。第三条是分工——让模型做判断,让图做遍历,代码管日期。

下一步他想换的不是模型,而是任务本身:不再和机器人在首次猜测上竞争,而是等工单在指派人手里搁置几个小时后作为第二分诊员介入。谁真正接什么活,那种记忆在那里应该最有用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
以色列大选倒计时12天!贝内特放出狠话:上台第1天就彻查内塔尼亚胡

以色列大选倒计时12天!贝内特放出狠话:上台第1天就彻查内塔尼亚胡

兰妮搞笑分享
2026-10-19 09:22:01
真正压死马家军骑兵的,是从东北火速运来的四野重炮

真正压死马家军骑兵的,是从东北火速运来的四野重炮

孤酒老巷QA
2026-10-14 05:56:59
乐基儿年轻时真漂亮,看曾志伟的眼神就知道了

乐基儿年轻时真漂亮,看曾志伟的眼神就知道了

娱你同欢
2026-09-13 20:22:17
还是老辈子相亲有意思,网友:搁现在都得黄

还是老辈子相亲有意思,网友:搁现在都得黄

康富贵碎碎念
2026-10-19 14:12:23
命里有时终须有,命里无时莫强求。广州业主23年950万卖掉137方三房,26年买家断供房子法拍只值500万,银行希望他能半价买回去

命里有时终须有,命里无时莫强求。广州业主23年950万卖掉137方三房,26年买家断供房子法拍只值500万,银行希望他能半价买回去

捣蛋窝
2026-10-18 06:55:22
男子花1800点陪酒女,摸胸被报警!姑娘:1800是陪酒钱,摸胸得另加

男子花1800点陪酒女,摸胸被报警!姑娘:1800是陪酒钱,摸胸得另加

一丝不苟的法律人
2026-10-16 12:39:11
顾此失彼!俄罗斯承认无力保护庞大工业体系免遭乌克兰无人机打击

顾此失彼!俄罗斯承认无力保护庞大工业体系免遭乌克兰无人机打击

军迷战情室
2026-10-19 07:38:51
审核时人畜无害,过审后变身"脱衣"工具:苹果堵死这条路

审核时人畜无害,过审后变身"脱衣"工具:苹果堵死这条路

Ping值焦虑
2026-10-18 03:01:26
京东京造推出Z9Pro-i人体工学椅:自带按摩热敷功能,1549元(国补后1149元)

京东京造推出Z9Pro-i人体工学椅:自带按摩热敷功能,1549元(国补后1149元)

IT之家
2026-10-18 18:34:43
宋哲元面对5000俘虏,他令50名刽子手行刑,惨叫声整整响了2天

宋哲元面对5000俘虏,他令50名刽子手行刑,惨叫声整整响了2天

纪史行者
2026-08-23 02:35:04
简直离谱,小米正式宣布接入苹果生态功能!

简直离谱,小米正式宣布接入苹果生态功能!

XCiOS俱乐部
2026-10-18 09:27:19
相差27岁“姐弟恋”分手后 女子起诉男方返还17万转账,称对方隐瞒已婚已育存在欺诈!一审判了

相差27岁“姐弟恋”分手后 女子起诉男方返还17万转账,称对方隐瞒已婚已育存在欺诈!一审判了

红星新闻
2026-10-18 19:05:29
全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

LULU生活家
2026-09-30 20:32:43
“红果短剧降智”热议背后,平台日活1.68亿,已超“爱优腾芒”四家总和

“红果短剧降智”热议背后,平台日活1.68亿,已超“爱优腾芒”四家总和

上观新闻
2026-10-19 08:21:51
大病最危险信号,不是消瘦,而是吃饭时频繁出现这4个表现

大病最危险信号,不是消瘦,而是吃饭时频繁出现这4个表现

芹姐说生活
2026-08-29 00:00:56
火箭已可硬刚雷霆却难击败马刺!可与雷霆对轰,赢马刺一人最关键

火箭已可硬刚雷霆却难击败马刺!可与雷霆对轰,赢马刺一人最关键

老皢尾声体育解说
2026-10-19 16:04:52
重磅发布!潘功胜,官宣新工具!央行最新部署

重磅发布!潘功胜,官宣新工具!央行最新部署

证券时报
2026-10-19 17:40:38
加仓185%!订单暴增1172%!机器人第一股获北向资金锁定,美国高盛、瑞银早已上车

加仓185%!订单暴增1172%!机器人第一股获北向资金锁定,美国高盛、瑞银早已上车

财报翻译官
2026-10-19 15:00:27
局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

林杰论事
2026-10-03 02:28:50
官方:U19国青将在11月熊猫杯中对阵韩国、越南、塔吉克斯坦

官方:U19国青将在11月熊猫杯中对阵韩国、越南、塔吉克斯坦

懂球帝
2026-10-19 15:22:10
2026-10-19 18:16:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
234文章数 98关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

一男子在成都租走坦克300 失联半年后GPS在境外上线

头条要闻

一男子在成都租走坦克300 失联半年后GPS在境外上线

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

家居
本地
健康
艺术
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

看着很健康的人,怎么会突然猝死?

艺术要闻

缅怀 | 著名油画家 宋惠民先生逝世,享年89岁

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版