网易首页 > 网易号 > 正文 申请入驻

当团队里同时有五个人在跟AI助手说话,它该听谁的?

0
分享至


假设你是一家公司新来的AI助手,老板让你负责协调整个产品团队的沟通。周一,项目经理说下周一必须上线新功能。周二,工程师跳出来说不行,还得测两周。周三,设计师又插一句,UI改版还要三周才能完工。

你会怎么办?

大部分现在的AI助手,只会做一件事:分别回复这三个人,把每个人的话当成独立请求处理。项目经理问上线时间,你告诉他"收到,正在安排";工程师说需要两周,你说"好的,已记录";设计师说要三周,你也点头称是。三条回复分别都对,但拼在一起,却是一团糊涂账,没有人知道最终到底哪天上线。

这不是一个假想的问题。香港理工大学的研究团队在一篇新论文里指出,这恰恰是当前几乎所有语言模型智能体的软肋。他们把这类系统起了个名字,叫ORG-AGENT,一个专门为组织场景设计的AI智能体框架。这篇论文最打动我的一点是,它没有停留在"让AI更聪明"这种空泛的目标上,而是精确地指出了问题出在哪儿:现在的智能体几乎全是为单个用户量身定做的,一旦放进一个多人协作的真实组织里,它们就开始露怯。

**核心问题:为什么"一对一"的AI遇到"多对一"就抓瞎**

先说一个可能有点反直觉的事实。你可能觉得,让AI同时服务多个用户,无非就是把对话记录都塞给它,让它自己去理解就行了,模型现在都这么强了,读懂几个人在说什么应该不难。

但论文里的两个基准测试结果狠狠打了这种想法的脸。研究者们用了两套测试系统,一套叫MUSES-Bench

*MUSES-Bench:一套专门测试AI智能体处理多用户请求能力的评测基准,包含指令选择、指令执行、跨用户信息访问和会议安排四类任务*

另一套叫GroupMemBench

*GroupMemBench:一套评测AI智能体在多人对话历史中检索和运用知识能力的基准,包含745个问题,横跨金融、医疗、制造、科技四个领域*

结果发现,现在市面上那些号称能管理长期记忆的AI系统,包括MemGPT、LightMem、SimpleMem这些听起来很唬人的名字,大多数连最朴素的BM25关键词检索都打不过。

具体数字是这样的:BM25这种上世纪就有的老式检索技术,拿到37.72%的平均准确率,而SimpleMem只有28.99%,MemGPT只有27.11%,LightMem更是只有17.05%。花了大力气构建的"智能"记忆系统,反而不如简单粗暴地按关键词匹配来得靠谱。

这就好比你雇了个特别贵的私人管家帮你整理档案,结果关键时刻你想找一份文件,还不如翻自己那本按拼音排序的老式笔记本来得快。问题出在哪?研究者分析,这些记忆系统为了追求"紧凑",把很多上下文细节压缩掉了,可恰恰是这些细节,在多用户场景里才是辨别"这句话是谁说的、什么时候说的、还作不作数"的关键线索。如果压缩记忆时把这些细节都扔了,AI表面上看起来记得更多,实际上却分不清谁是谁,什么时候的决定被后来的决定推翻了。

**三个维度的组织约束:身份、信息、决策**

论文里提出,一个真正能在组织里干活的AI智能体,必须同时具备两种能力。

第一种叫跨用户交互与决策

*跨用户交互与决策:AI需要同时和多个用户打交道,协调他们各自的诉求,最终做出一个综合的决定*

比如前面说的产品上线时间的例子,项目经理、工程师、设计师三方意见不一致,AI得学会像个真正的项目经理一样,把三方信息汇总起来,提出一个折中方案,比如"综合大家的意见,建议三周后上线"。

第二种叫跨用户记忆与知识运用

*跨用户记忆与知识运用:AI需要能从多个用户过去的对话记录里,准确检索并整合出正确答案,回答后来提出的问题*

比如有人问"新产品登录页用的什么验证方式",答案可能分散在三条不同的历史消息里,一条说用React前端,一条说用了新版设计系统,还有一条说接入了内部的单点登录服务。AI得把这三条信息串起来,才能给出完整答案。

这两种能力,背后都受到同一套组织约束的支配,论文把这套约束拆成了三个层面。

第一个层面关于用户,包括身份、权限和访问许可。同样一句"什么时候能完成",不同人问,答案可能完全不同,因为每个人手头的任务不一样。谁有资格看到哪些信息,也得看角色而定,工程师能看技术文档,但未必能看财务预算。

第二个层面关于信息本身,包括归属和时效性。一条记录到底是谁说的话,现在还作不作数,有没有被后来的决定推翻,这些都得搞清楚,不然AI很容易把过时的信息当成最新结论说出来。

第三个层面关于联合决策,包括冲突处理规则和完成标准。当多个用户的要求互相矛盾时,该听谁的,一个任务到底满足了哪些人的需求才算真正完成,这些规则都需要被明确遵守,而不是让AI凭感觉去猜。

**ORG-AGENT的解法:把任务拆成一张依赖关系图**

面对这么复杂的约束体系,研究团队的思路是什么?

他们没有指望靠模型"想清楚"来解决一切,而是设计了一套三阶段的执行框架。第一步叫任务分解与图构建,第二步叫依赖感知调度,第三步叫约束感知执行。

第一步是把一个复杂任务拆解成一个个可以独立执行的小任务,再用一张图把它们之间的先后依赖关系画出来。这张图专业术语叫TDG

*TDG(Task Dependency Graph,任务依赖图):一种有向无环图,节点是拆解后的原子子任务,边表示子任务之间谁必须先完成、谁才能接着执行*

图里有三种节点,一种叫询问节点,负责去历史记录里查东西或者向用户要信息;一种叫决策节点,负责做出具体判断,比如"接受还是拒绝某个指令";还有一种叫回应节点,负责最后给用户答复。

这一步为什么重要?因为组织任务里最容易出错的地方,恰恰是"该先问谁、后问谁"这件事。论文里举了个特别生动的例子。要安排一次多人会议,AI一开始并不知道谁必须到场、谁是可有可无的。如果直接按最方便的方式排,比如大多数人周三下午三点有空,就直接把会议定在那个时间,很可能漏掉了那个必须参加、但档期特殊的关键人物。

论文里真实的案例研究显示,一个普通版本的AI智能体,直接把会议定在了周三下午三点,因为大多数人支持这个时间。但有个叫Eve的人反复说过她那个时间没法参加,而她其实是这次会议的必到人员。结果就是,会议开成了,但是缺了一个必须在场的人,任务算失败。

ORG-AGENT的做法不一样。它先去问了一圈,搞清楚Eve和另一位叫David的人是必须到场的,而且David提到周五下午两点是他的备选时间。于是它把"先确认David是否能用周五下午两点"这个节点,安排在了询问其他人之前,因为David的确认是提议这个时间段的前提条件。等David回复"如果必要的话可以来",剩下的确认工作就能并行展开了,最终会议定在了周五下午两点,两个必到人员都能出席。

这就像装修房子时先打地基再砌墙,而不是先把家具都买好摆在客厅里,再发现地基还没做,家具全得搬出去重来一遍。如果不先确认关键先决条件,后面所有的安排都可能建立在一个错误的假设上,最后推倒重来的成本比一开始多花点时间确认要高得多。

第二步依赖感知调度,说白了就是拿到这张图之后,按照"谁先谁后"的顺序把任务排好队。专业上这叫拓扑排序

*拓扑排序:一种给有依赖关系的任务排序的算法,保证每个任务执行时,它所依赖的前置任务都已经完成*

没有相互依赖关系的任务,还可以同时并行处理,节省时间。

第三步约束感知执行,是整个框架里最见功夫的一环。每个节点在执行具体动作时,不是单靠模型自己瞎琢磨,而是配备了两类工具来辅助。

**两类工具:证据获取与记忆管理**

第一类叫证据获取工具,用来从海量的历史交互记录里精准捞出有用的信息,具体又分三种手段。

相似度打分,结合关键词匹配和语义相似度,找出和当前任务目标相关的记录。条件过滤,按照作者、角色、项目阶段、话题等元数据条件缩小搜索范围。关系遍历,从一条已知记录出发,顺着"回复了谁""被谁回复""后续决定是什么"这样的明确链接,去追溯一场讨论是怎么一步步演变的。

这里有个特别精彩的案例。GroupMemBench里有个问题,一位叫User_13的用户问:"我在'风险:计算差异'这个阶段,想要最终确定的是什么决定?"

历史记录里恰好有两条相关决定,一条是User_13自己说的关于验证范围的决定,另一条是另一个叫User_12的人说的关于发布时间的决定。这两条记录来自同一个项目阶段,发言人角色也相似。

用BM25这种传统检索方法,会因为User_12那条记录和问题在词面上重叠更多,误把User_12的决定当成答案,答错了。

ORG-AGENT怎么处理的?它把提问者的身份记录成节点属性,直接指定过滤条件是"作者等于User_13,阶段名称等于风险计算差异",这样一来,只有User_13自己说的话才会进入候选池,最终给出的答案是正确的验证范围决定。

这就好比在一个大家庭的聊天群里,你问"我上次说要买的东西到底是啥",如果搜索工具不知道"我"具体是谁,很可能把你姐姐说的购物清单当成答案发给你。只有先锁定"我"到底是谁,再去搜"我"说过的话,才不会张冠李戴。如果不做这层身份过滤,哪怕检索算法再精确,答案的主语都可能是错的。

第二类是记忆管理工具,负责维护一个贯穿整个任务执行过程的记忆库,把前面节点积累的信息和中间结果,传递给后面的节点使用。这个记忆库可以是结构化的字段记录,也可以是一份不断更新的摘要,取决于任务的性质。

每个节点执行前,先读取这个记忆,拼上自己的任务目标和相关约束规则,组成执行所需的完整上下文;执行完动作之后,再把新产生的信息写回记忆库,供后续节点参考。

**实验结果:数字说话**

理论说得再漂亮,最后还得看实际测试成绩。

在GroupMemBench上,用GPT-4o-mini作为底座模型,ORG-AGENT拿到了44.03%的平均准确率,是所有对比方法里最高的。比表现最好的传统检索方法BM25高出6.31个百分点,比表现最好的记忆系统Hindsight高出5.24个百分点。

|方法|平均准确率|

|BM25|37.72%|

|text-embedding-3-large|33.29%|

|HippoRAG2|36.11%|

|GraphRAG|19.06%|

|MemGPT|27.11%|

|Hindsight|38.79%|

|LightMem|17.05%|

|SimpleMem|28.99%|

|**ORG-AGENT**|**44.03%**|

在MUSES-Bench上,团队测试了三种不同的底座模型,GPT-4o-mini、DeepSeek-V4.1-Flash和Qwen3-32B。结果显示,无论底座模型强弱,ORG-AGENT都能带来稳定的提升。用GPT-4o-mini时,平均分从64.12%提升到72.39%,提升了8.27个百分点;其中会议安排任务的成功率,从37.04%直接跳到了60.19%,提升幅度高达23.15个百分点。

有意思的是,提升幅度和底座模型本身的能力成反比。底座越弱的模型,ORG-AGENT带来的改善越明显。这说明,把约束规则显式地梳理清楚、交给一套框架去执行,某种程度上能弥补模型本身推理能力的不足,就像给一个新手司机装上导航和倒车雷达,虽然不能让他瞬间变成老司机,但至少能避免很多低级失误。

论文还专门测试了随着团队人数增加,系统表现会不会明显下滑。结果显示,ORG-AGENT下滑速度明显更慢。以会议安排任务为例,每增加一个用户,普通AI智能体的成功率平均下降4.58个百分点,而ORG-AGENT只下降1.67个百分点。这意味着,当团队规模从几个人扩大到十几人、二十人时,ORG-AGENT和普通方法之间的差距会越拉越大。

**拆解与消融:每个部件都不是摆设**

研究团队还做了个"拆零件"的实验,看看如果去掉依赖关系图,或者去掉那些辅助工具,系统表现会掉多少。

如果去掉依赖关系,让所有子任务各自独立执行,不按顺序排队,GroupMemBench上的分数从44.03%掉到41.61%,MUSES-Bench上从72.39%掉到71.10%。

如果保留任务顺序,但关掉条件过滤、关系遍历和记忆管理这些工具,只留下最基本的相似度检索,GroupMemBench上分数掉到40.40%,MUSES-Bench上掉到67.10%,降幅更大。

这说明,依赖关系的建模和工具的支持,两者都是真正在起作用的部件,而不是可有可无的装饰。特别是工具支撑这一环,去掉之后掉分更多,说明真正精细化地满足约束条件,比单纯排好执行顺序更加关键。

**成本也是个问题**

值得一提的是,ORG-AGENT不光准确率高,运行成本也控制得不错。研究团队统计了各种方法消耗的语言模型token数量。

ORG-AGENT只用了550万token,就拿到了44.03%的最高准确率;相比之下,LightMem用了2160万token,准确率却只有17.05%;表现第二好的Hindsight用了整整1.175亿token,是ORG-AGENT的21.4倍,但准确率只比它低了5.24个百分点。

这背后的原因是,很多记忆系统需要提前把整个历史对话构建成复杂的图谱或者记忆网络,这个构建过程本身就极其耗费资源。ORG-AGENT没有走这条路,它是在真正接到问题的那一刻,才去有针对性地构建任务依赖图并检索信息,而不是提前把所有历史都处理一遍存起来。

这就好比图书馆管理,一种做法是提前把馆里每本书都编好详细的索引卡片,不管有没有人来借,先花大力气把整个体系建好;另一种做法是等读者真正提出问题时,才有针对性地去查那几本相关的书。如果读者的问题很分散、很少重复,第一种做法花的功夫大部分都白费了。ORG-AGENT选择了第二种更实用的路子。

**这个思路能走多远**

这篇论文最早的灵感来源,其实是研究团队观察到MUSES-Bench和GroupMemBench这两个新出的评测基准,都揭示出当前AI智能体在多用户场景下有明显短板。他们没有停留在指出问题的层面,而是往前走了一步,试图搭建一套统一的解决框架。

值得追问的一个方向是,这套框架目前测试的场景,团队规模最多到20个人。真实的大型组织可能涉及成百上千人,各种复杂的部门层级、审批链条、跨部门协作规则,这时候一张任务依赖图会不会变得过于庞大,导致构建和维护的成本反过来压垮系统本身?论文里没有给出答案,这恰好是留给后续研究者的空间。

另外,论文里的约束规则,像身份、权限、冲突处理等等,目前主要是靠大语言模型在分解任务和构建依赖图的过程中自己去识别和应用的。这种依赖模型自身理解能力的做法,会不会在规则特别复杂、特别隐晦的组织场景里失灵?这也是个值得深挖的问题。

**写在后面**

读这篇论文时,最触动我的其实不是那些准确率数字,而是研究者提出问题的方式。

他们没有笼统地说"AI记忆能力不足",而是精确拆解出用户身份、信息归属、时效性、冲突处理这几个具体维度,每一个都对应着真实组织生活里会遇到的具体麻烦。这种拆解方式本身,就是一种很有价值的思考训练,遇到一个模糊的大问题时,先问自己:"这个问题到底可以拆成哪几个更具体的小问题?"

另一个让我意外的细节是,那些号称能做长期记忆的AI系统,在多用户场景下居然普遍打不过最原始的关键词检索。这提醒我们,一项技术在单一场景下表现出色,换到更复杂的多方交互场景里,很可能整个假设基础都不成立了。压缩记忆节省了存储空间,但也悄悄丢掉了辨别"这是谁说的、什么时候说的"这些看似琐碎、实则致命的细节。

如果把这个逻辑推广开来,任何一个为"单人使用"设计的工具,搬到"多人协作"的场景里,恐怕都得重新审视一遍它的底层假设是不是还站得住。这可能不只是AI智能体的问题。

Q&A

Q1:ORG-AGENT是什么?

A:ORG-AGENT是香港理工大学团队提出的一种AI智能体框架,专门用来让AI同时服务多个用户,处理组织场景下的跨用户协调和知识管理问题。

Q2:ORG-AGENT相比普通AI智能体好在哪里?

A:在GroupMemBench测试中平均准确率达到44.03%,超过所有对比方法;在MUSES-Bench测试中平均分从64.12%提升到72.39%,且消耗的计算资源明显更少。

Q3:为什么现有的AI记忆系统在多用户场景下表现不好?

A:论文发现很多记忆系统为了追求紧凑存储,压缩掉了辨别发言人身份、时间等关键细节,导致在多用户场景中常常分不清谁说了什么、信息是否已过时,表现甚至不如传统关键词检索方法。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1000万欧新援实在太香!三大理由让巴萨不再想念小蜘蛛

1000万欧新援实在太香!三大理由让巴萨不再想念小蜘蛛

大卫的篮球故事
2026-10-12 19:05:43
索默:非常期待与国米交手,在那里效力的三年我永远不会忘记

索默:非常期待与国米交手,在那里效力的三年我永远不会忘记

懂球帝
2026-10-13 03:07:28
宜信终于还是爆雷了!最后的P2P大佬被抓

宜信终于还是爆雷了!最后的P2P大佬被抓

达摩财经
2026-10-13 00:27:21
常戎:我这辈子最正确的决定,就是与王菁华分手,娶小17岁的张远

常戎:我这辈子最正确的决定,就是与王菁华分手,娶小17岁的张远

旧史新谭
2026-10-13 02:35:56
英首相爆料:俄干预十年前“脱欧”公投?多平台此前调查称无证据,俄曾多次否认、斥责

英首相爆料:俄干预十年前“脱欧”公投?多平台此前调查称无证据,俄曾多次否认、斥责

红星新闻
2026-10-12 15:38:52
舆论彻底炸锅!王楚钦大V粉叫嚣:两小只是财神,是饭圈养活了国乒

舆论彻底炸锅!王楚钦大V粉叫嚣:两小只是财神,是饭圈养活了国乒

陌上初安j
2026-10-13 04:43:34
德云社刚消停几天,岳云鹏家又出事了,这次可不是小打小闹

德云社刚消停几天,岳云鹏家又出事了,这次可不是小打小闹

东方不败然多多
2026-10-10 06:48:22
生育大局定下了:没意外的话,2026年起中国生育政策迎来3大变化

生育大局定下了:没意外的话,2026年起中国生育政策迎来3大变化

陈博世财经
2026-10-12 14:27:02
【小调查】上海街头为何一下子冒出那么多老面烧饼店?

【小调查】上海街头为何一下子冒出那么多老面烧饼店?

阿天爱旅行
2026-10-12 19:30:42
小特嚣张言论引祸端,罗伯逊直接言语回击,中国两将被刺激后觉醒

小特嚣张言论引祸端,罗伯逊直接言语回击,中国两将被刺激后觉醒

夜深聊球
2026-10-12 20:11:30
花2688元住酒店就可驾车进入“中国天眼”核心区?涉事酒店在平台上已搜不到,文旅局将核查

花2688元住酒店就可驾车进入“中国天眼”核心区?涉事酒店在平台上已搜不到,文旅局将核查

大风新闻
2026-10-12 18:48:06
十人皇马踢得更清晰,为何全员在场反而混乱?

十人皇马踢得更清晰,为何全员在场反而混乱?

独坐山巅前
2026-10-13 05:22:40
郑钦文回应武网退赛:身体非常疲劳,期待明年以最好的状态登场

郑钦文回应武网退赛:身体非常疲劳,期待明年以最好的状态登场

全景体育V
2026-10-12 12:11:21
印度专家被气晕:中国用人民币买油93美元,印度用美元买121美元,说好的大国呢?

印度专家被气晕:中国用人民币买油93美元,印度用美元买121美元,说好的大国呢?

林杰论事
2026-10-11 10:07:30
全新smart精灵2号鎏金高定版上市:中国限量999台 官方零售价112999元

全新smart精灵2号鎏金高定版上市:中国限量999台 官方零售价112999元

快科技
2026-10-12 16:40:07
他是北京市委原书记,培养了两位正国级领导,离休后定下3条规矩

他是北京市委原书记,培养了两位正国级领导,离休后定下3条规矩

燕小姐说历史
2024-12-08 09:19:59
2-0大冷门,世界第39掀翻世界第3,阿尔卡拉斯无缘上海大师赛16强

2-0大冷门,世界第39掀翻世界第3,阿尔卡拉斯无缘上海大师赛16强

侧身凌空斩
2026-10-12 20:14:03
男人到死都要明白一个道理:你睡过10个以上的女人,你就会明白

男人到死都要明白一个道理:你睡过10个以上的女人,你就会明白

新时代的两性情感
2026-10-09 15:55:37
00后江西小伙在深圳管理四五百套出租房,19岁从承租一栋旧楼开始,月流水近百万。

00后江西小伙在深圳管理四五百套出租房,19岁从承租一栋旧楼开始,月流水近百万。

捣蛋窝
2026-10-12 21:40:40
原来他已去世10年!烟不抽酒不喝,每天坚持锻炼,59岁却骤然离世

原来他已去世10年!烟不抽酒不喝,每天坚持锻炼,59岁却骤然离世

揽星河的笔记
2026-10-12 17:15:04
2026-10-13 05:44:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10095文章数 570关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

男子借5000万 已归还3325万后仍被要求还4980万

头条要闻

男子借5000万 已归还3325万后仍被要求还4980万

体育要闻

一周吃6顿披萨的胖子,也能单防姆巴佩?

娱乐要闻

张艺谋身体状况曝光 陈婷不再顾及体面

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

小鹏G9L巴黎车展全球上市 法国市场售价74990欧元起

态度原创

房产
艺术
亲子
旅游
军事航空

房产要闻

等了半年!今年海口最值得期待的新盘,即将亮相!

艺术要闻

台北故宫一件魏晋真迹,被称作晋代笔法的“活化石”,水平不输《兰亭序》!

亲子要闻

婚姻真相:为什么产后一年,是夫妻最难熬的一年

旅游要闻

风格各异的北京胡同漫步路线 总有一款打动你

军事要闻

视频:沙特方面公布利雅得机场遭袭画面

无障碍浏览 进入关怀版