当AI团队里有人说谎

来源：市场资讯

（来源：科技行者）

你有没有遇到过这种情况：小组讨论作业题，三个同学异口同声说答案是A，只有一个人说是B。按照少数服从多数的原则，你选了A。结果卷子发下来，正确答案是B。

那三个说A的同学,可能根本不是三个独立思考的人,而是抄了同一份错误的参考答案,或者被同一个错误的直觉带偏了。表面上看起来是"三票对一票"的压倒性优势,实际上只是同一个错误被重复了三遍。

这正是眼下大语言模型多智能体系统面临的真实困境。当一个中心模型需要协调多个AI"同事"给出答案时,它经常会遇到这种一模一样的陷阱：几个AI peer(在多智能体系统中,peer指的是提供候选答案供中心模型评估或整合的其他智能体,可以理解为"合作伙伴"或"同事")给出了相同的、看起来很自信的回答,但中心模型自己根本没法验证这个答案对不对。

这时候该怎么办?新加坡南洋理工大学DeCLaRe实验室的研究团队给出了一个答案：给AI装一个"信誉记忆",让它记住谁曾经骗过你、谁的话可以信、谁和谁总是一起犯错。这篇论文提出的系统叫Σ-Mem,今天我们就来聊聊它是怎么做到这件事的。

验证悖论:为什么"问AI它自己对不对"这件事本身就很难

先说清楚这个问题有多棘手。

设想一个真实场景：一个做检索增强生成(RAG,一种让AI先查资料再回答问题的技术,能让答案更准确,但如果查到的资料本身就有问题或者AI理解错了,答案照样会错)任务的AI系统,题目问的是"根据项目报告,Helios实验室结束临时运营后永久落户在了哪个城市?"

四个候选答案摆在中心模型面前：柏林、苏黎世、日内瓦,还有一个叫"Encode"的奇怪答案。问题是,支撑这个答案的原始项目报告并没有给中心模型看。它手里只有四个答案,没有证据。

> 中心模型:指多智能体系统里负责整合、判断多个peer输出的那个"决策者"角色。它不一定比其他peer更聪明,但承担着最终拍板的责任。

这就是论文开篇提出的核心矛盾：**验证一个答案有时候和产生这个答案一样难**。

这句话初听可能觉得很抽象,但换个角度想就明白了。如果你是老师,批改一道你自己都不会做的物理题,你要判断学生写的解法对不对,难度是不是和你自己重新解一遍差不多,甚至更难?因为你得先理解他的思路,再验证每一步逻辑,任何一个环节出错你都可能被带偏。

论文里引用了几项相关研究(Kenton et al., 2024; Krumdick et al., 2025),都指向同一个结论:让弱模型去评判强模型的输出,或者让AI自己当裁判(即"LLM-as-a-judge"这种流行做法),都存在系统性的不可靠。更麻烦的是,当几个peer给出一致答案时,这种一致性可能根本不是独立验证的结果,而是共享偏见导致的集体犯错,就像前面举的抄答案的例子。

现有的解决方案是什么状态?此前的AI记忆系统,比如MemGPT、MemoryBank、Mem0这些工具,做的都是内容记忆。

> 内容记忆:指记录"发生了什么"的记忆系统,比如聊天记录、历史对话、检索到的文档片段。它擅长回答"我们之前聊过什么",但没法回答"我该不该相信这个人说的话"。

这类系统能帮AI记住三天前聊了什么话题,但完全没法回答一个更本质的问题：这个peer在数学题上一贯很准,但在查资料这件事上老出错,这种"能力画像"该存在哪里?又该怎么用?

Σ-Mem要解决的正是这个空白。它不是记录对话内容,而是记录"信誉",记录每个peer在什么类型的任务上值不值得信,以及peer和peer之间是不是存在某种"一起犯错"的隐藏关联。

两本账本:能力档案和关系图谱

Σ-Mem的核心设计其实可以理解成公司里的两套档案系统同时运作。

第一套账本记录的是每个员工(peer)的个人业务能力,论文里叫历史能力证据(historical competence evidence)。这套账本会记录：这个人擅长数学推理,那个人擅长查资料,第三个人代码写得好但逻辑题经常翻车。这份档案是逐题积累的,每完成一次任务,系统就往对应peer的档案里添一笔。

> 历史能力证据:记录单个peer在不同类型任务上表现好坏的持续更新记录,类似于给每个AI建一份"能力履历表"。

第二套账本记录的是员工之间的关系,论文里叫peer关系证据(peer relationship evidence)。这套账本记的不是谁厉害,而是谁和谁总是"一起对"或者"一起错"。如果两个peer的正确与否高度同步,说明他们可能用了类似的推理路径或者共享了某种偏见,那么这两个人同时说"是"的时候,可信度并不应该翻倍。

> 峰值关系证据(peer relationship evidence):记录peer之间正确性模式相关性的矩阵,数值为正表示两人倾向于同时对或同时错(可能共享偏见),数值为负表示两人倾向于此消彼长。

这两套账本在技术实现上都用了同一种数学结构：实对称矩阵(一种矩阵,转置后和自己相等,数学性质上保证了它的特征值一定是实数,便于分析和控制变化幅度)。这个选择不是随便定的,它牵涉到整篇论文最核心的稳定性保证。

为什么要用对称矩阵,而且要设计得这么"讲究"?这就要说到论文里另一个关键的数学工具了。

用一条百年前的数学定理防止AI记忆"发疯"

这里要讲一个可能有点反直觉的事实：让AI在线学习、持续更新记忆,听起来是件好事,但这恰恰是最容易出问题的地方。

想象一个刚入职的新员工,第一天就因为一次意外表现被贴上"不靠谱"的标签,从此以后所有人都不敢把重要任务交给他,哪怕他后来表现一直很好。这就是在线学习系统最容易踩的坑：单次事件的影响被无限放大,系统的判断被一次偶然事件彻底扭曲。

Σ-Mem要解决的正是这个问题。它引用了一个1912年由数学家赫尔曼·外尔(Hermann Weyl)提出的定理,叫外尔不等式(Weyl's Inequality)。

> 外尔不等式:一个描述矩阵特征值稳定性的数学定理。简单说就是,如果你往一个对称矩阵上加一个"扰动"(新的变化),这个矩阵的每一个特征值最多只会变化扰动本身大小那么多,不会被无限放大。

具体到Σ-Mem里,每次收到一条新的正确性反馈,系统会用这样的公式更新记忆矩阵：新状态等于旧状态乘以一个衰减系数,再加上这次事件带来的"扰动项"。这个扰动项被设计成秩一矩阵(数学上一种结构简单、影响范围可控的矩阵形式),它的谱范数(衡量矩阵"整体强度"的一个数值)是有明确上限的,论文里这个上限就等于更新因子η。

根据外尔不等式,这意味着无论这次反馈是"惊喜"还是"惊吓",它对整个记忆矩阵特征值的冲击都被死死限制在η以内,不会出现"一次意外就彻底推翻整个信誉档案"的情况。

这就好比银行给你的信用评分不会因为你一次逾期就直接归零,而是按固定权重扣一点分,持续的良好记录会慢慢把分数拉回来,持续的坏记录才会真正拉低评分。如果没有这个机制会怎样?系统可能因为peer某次运气不好答错了一道简单题,就把它打入冷宫,哪怕它接下来连续答对二十道题,信誉修复的速度也会跟不上崩塌的速度,这在真实场景里会导致系统对偶发噪声极度敏感,完全失去稳定性。

论文进一步给出了一个理论证明(Theorem 1),证明了持续存在的真实能力信号会随着时间积累超过噪声水平,而噪声本身有一个恒定不变的上限,不会随时间无限累积。也就是说,只要观察的时间足够长,记忆矩阵里记录的最大特征值,大概率反映的是这个peer真实的能力水平,而不是运气好坏导致的偶然波动。这个信噪比还和衰减因子γ正相关,γ越接近1(意味着记忆"忘性"越小),稳态信噪比越高,但代价是系统对能力变化的适应速度会变慢。这其实是一个经典的权衡：记性太好的人固执,记性太差的人善变,理想的状态是在两者之间找一个平衡点。

记忆怎么用:三种不同的"读取方式"

写好了两本账本,接下来的问题是,这些记忆到底怎么在实际决策里用起来?

论文给出的答案很巧妙：同一套记忆状态,可以支持三种完全不同的决策机制,不需要重新训练。

第一种叫残差导向(residual steering),是最"精细"的一种用法。它的原理是这样的：对每个peer,系统会从记忆矩阵里读出一个"能力可靠性方向",这个向量经过投影变换后,会被注入到中心模型内部注意力机制的中上层(具体是从第L/2层到最后一层)的残差流(Transformer模型内部的一条"信息主干道",各层的计算结果会累加到这条主干道上,后续层再从这条主干道里读取信息)里。

> 残差流:Transformer架构里贯穿整个网络、承载并累积各层信息的核心数据通道,可以理解为一条不断被添加内容的传送带。

这么做的效果是,中心模型在评估同一个问题时,针对不同peer会产生不同的"心理状态"。它不再是机械地读取答案文本再判断,而是"带着对这个peer过往表现的印象"去评估这次的回答。这就像老师批改作业时,即使卷面内容一模一样,面对平时成绩稳定的学生和平时爱抄袭的学生,批改时的警惕程度自然会不一样,哪怕两份卷子写的完全相同,老师的心理预期已经被过往记录悄悄改变了。

论文里把这套评估过程设计成一个"是否应该信任这个答案"的问答,让模型输出"是"和"否"这两个词的对数概率之差作为效用分数,再结合peer关系矩阵做归一化,最终通过一个贝叶斯后验模型(基于概率论的推断框架,能综合多个证据源计算最终判断)来决定选哪个peer的答案。

第二种用法完全绕开了中心模型,叫M-路由(M-route)。它只用当前问题去查询历史能力记忆,不看任何peer的具体回答内容,直接选出历史记忆分数最高的那个peer,把它的答案原封不动地当作最终结果。这种做法有点像开车前直接查这条路上过去哪家外卖店评分最高,不管今天具体点的是什么菜,信得过这家店的整体口碑就直接下单了。

第三种用法叫M-加权投票(M-weighted voting),介于前两者之间。它把历史可靠性分数当作每个peer投票时的权重,同一个候选答案下所有支持它的peer的可靠性分数相加,谁的加权票数高就选谁。这种做法比简单多数投票更聪明的地方在于,它承认"三个不靠谱的人一致同意"未必比"一个可靠的人单独坚持"更有说服力。

三种用法各有侧重,后面的实验会告诉我们,这不是三选一的问题,而是要看具体是什么样的中心模型、什么样的历史证据质量,再决定用哪一种更划算。

反事实攻击测试:当"信得过的人"突然开始说谎

理论讲完了,接下来看看这套系统在真实测试里表现如何。

研究团队设计了一个很有意思的实验,叫反事实攻击测试。简单说,就是人为地把原本正确的答案和错误的答案对调,模拟"曾经可靠的peer突然开始不靠谱了"这种情况。攻击比例从CF@0(完全不篡改,干净基线)到CF@90(90%的可篡改事件都被篡改),覆盖数学题、RAG检索问答、代码生成三个领域,一共2685个任务。

在这个残酷的测试里,Qwen3-0.6B(一个较小规模的中心模型)的表现特别能说明问题。基础模型(没有Σ-Mem加持)有一个致命的毛病：无论攻击强度多大,它始终死死抱着peer 1(Gemma模型)不放,选择次数每次都超过1800次,占了全部任务的三分之二以上。这种固执的偏爱在CF@90时把准确率拖到了46.22%。

加上Σ-Mem之后呢?准确率直接飙升到71.10%,提升了将近25个百分点。更关键的是peer选择的分布也发生了彻底反转,peer 1的选择次数从1830骤降到81次,系统真正学会了"这个人现在不能信了"。

这个结果背后的逻辑其实很朴素：如果一个系统永远不会根据历史反馈调整信任对象,那它本质上就是一个僵化的规则引擎,遇到环境变化就会彻底失灵。Σ-Mem的价值恰恰体现在这种极端场景里,它证明了记忆真的在"学习",而不只是摆设。

不过这个实验也暴露了一个诚实的短板,论文没有回避。CF@50这个设置下,历史证据里恰好一半支持原来的偏好,一半支持攻击方向,结果是彻底的自相矛盾。这种情况下Σ-Mem的表现反而不如基础模型。研究团队对此的解释很坦诚：这不是机制的失败,而是记忆的忠实反映。

这个说法值得多想一层。如果一段历史记录本身就是自相矛盾的,一个诚实的记忆系统没办法凭空生成一个确定的答案,就像你问一个每天说的话一半真一半假的朋友"这次是不是可信",他自己历史记录的矛盾性决定了你没法从中提炼出稳定的判断依据。这提示我们,记忆系统的可靠性上限,终究是被数据源本身的质量决定的,这不是算法能单方面解决的问题。

论文里还对比了Σ w/o G(只用能力记忆,不用关系记忆)和Σ w/ G(两者都用)。多数情况下Σ w/ G表现更好,说明peer之间"谁和谁总是一起犯错"这个额外信息,确实提供了单纯看个人历史看不到的洞察。

换个陪练团队,系统还认得出好选手吗

训练阶段Σ-Mem只见过三个peer:Gemma、Phi、Qwen-Coder。测试阶段,研究团队又塞进来两个从没见过的新面孔:Llama-3.2-3B和BitCPM-CANN-3B,组成4人和5人的扩大版peer池。

这个设计其实在测一件很实际的事：企业里团队成员经常会换人,新来的实习生系统压根没见过,一套只认识老员工的信誉评估机制,遇到新人加入还能用吗?

结果显示,即便面对完全陌生的peer,只要有足够的正确性反馈积累,系统依然能在CF@0、CF@70、CF@90这几个设置下持续提升基础模型的表现。这背后的技术原因是Σ-Mem的可训练组件是跨peer共享的,加入新peer只需要新开一份档案,不需要重新训练整套模型。这就好比公司来了新同事,不需要重写整个考核制度,只要给这个人建个新档案,套用已有的考核标准就行。

同样的,CF@50这个"信息本身自相矛盾"的场景下,表现依然是最弱的一环,这也印证了前面的判断:这不是peer数量的问题,是数据本身模糊性的问题。

走出训练的舒适区:数学、代码、检索之外的世界

Σ-Mem的训练只用了数学推理、RAG问答、代码生成这三类任务。如果拿去测完全没见过的领域,比如常识推理、多学科知识问答、复杂逻辑题,还能奏效吗?

研究团队挑选了六个跨领域测试集:PIQA(物理常识推理)、MMLU(广域知识理解)、OpenBookQA和SciQ(科学问答)、BBH(复杂推理挑战)、SuperGLUE(语言理解能力集合)。

结果是,五个中心模型加起来一共30组测试,27组都取得了正向提升。最亮眼的是BBH这个复杂推理任务,所有中心模型都获得了显著改善,比如Qwen3-4B从20.38%提升到28.66%,Qwen3-8B从19.29%提升到28.17%,提升幅度接近甚至超过40%的相对改进。

这个跨领域泛化能力的技术支撑在于,Σ-Mem通过一个叫φ(x)的编码函数,把任意一个新任务映射到已经学到的"能力方向"空间里去。这就好比一个老练的猎头,虽然从没见过某个具体的岗位需求,但可以把这个新岗位的能力要求拆解映射到已经熟悉的几个能力维度上(逻辑思维、沟通表达、执行力),再从候选人过往履历里推断谁更合适。这不是死记硬背具体任务,而是学到了某种更抽象的"能力画像"结构。

不过论文也如实报告了三个表现下滑的例外情况,比如Qwen3-8B在OpenBookQA上略降,Qwen3.5-9B在PIQA和SciQ上也略有下滑。这说明这套泛化能力不是万能的,尤其在中心模型本身已经很强、基础准确率很高的情况下,记忆导向的干预有时反而会轻微扰动一个本来就正确的判断。

不用问答案对不对,也能选出好答案

最后一组实验想验证的是一个更大胆的想法：如果完全不让中心模型评估当前的回答内容,只靠历史记忆本身能不能做出好决策?

这就是前面提到的M-路由和M-加权投票两种"响应无关"的机制。研究团队把它们和一个"记忆无关"的对照组,也就是简单多数投票,放在一起比较。

结果相当能打脸传统认知。在整个跨领域测试集上,M-路由和M-加权投票的整体准确率都稳定在60.6%到61%左右,超过了多数投票的59.12%,也超过了固定选择表现最好的单一peer的57.52%这条基线。这意味着,单纯依靠历史积累下来的可靠性分数,完全不需要中心模型去"读"当前这次的回答内容,就已经能做出比简单投票更靠谱的判断。

论文接着做了一个更精细的对比,区分了不同强弱的中心模型在选择机制上的偏好差异。对Qwen3系列(相对较弱的中心模型),M-加权投票的表现更好,原因很直白:模型本身评判当前回答质量的能力有限,与其让它"画蛇添足"地介入判断,不如完全信赖历史记忆的纯粹信号。而对Qwen3.5系列(更强的中心模型),结合了残差导向的Σ w/G反而表现最好,说明模型足够强大时,它能把当前回答的内容线索和历史信誉证据结合起来,产生比单一信号更精准的判断。

这个发现其实揭示了一个更深层的道理：记忆和判断力不是替代关系,而是互补关系。一个刚入职的新主管,可能过度依赖前任留下的员工评价档案,反而是老练的主管,能把档案里的历史记录和眼前这次具体表现结合起来综合判断。工具本身的价值,取决于使用工具的人有没有足够的判断力去驾驭它。

研究团队还专门做了一个反馈可用性的消融实验,逐步调整"能获得多少正确性反馈"这个比例,从5%一路加到100%。结果显示,无论是M-路由还是Σ w/G,随着反馈比例增加,准确率都稳步上升,证明记忆确实在从观测到的事件中积累有用信息,而不是随机波动。而且对更强的Qwen3.5模型,Σ w/G始终领先M-路由,进一步佐证了前面那个判断:模型的内容理解能力,是能给纯记忆信号锦上添花的。

一场跨越百年的数学和当下AI困境的相遇

写到这里,不得不感慨一件事：这篇论文用来稳定AI在线记忆的核心数学工具,竟然是1912年赫尔曼·外尔为了研究偏微分方程特征值分布提出的一个纯理论结果。一个诞生于物理学和数学交叉领域、原本用来描述空腔辐射理论的不等式,一百多年后被拿来给大语言模型的多智能体系统当"防止记忆发疯"的安全阀。这种跨越百年的技术嫁接本身就挺有意思的,它提醒我们很多看似"过时"的经典数学工具,可能正安静地等着某个全新的应用场景来激活它。

论文里还有一个细节让我印象深刻,就是CF@50那个"失败"案例的处理方式。很多论文遇到自己方法表现不佳的场景,倾向于弱化或者绕过,但这篇论文选择正面承认,并且给出了一个站得住脚的解释:这不是算法缺陷,是数据本身模糊性的必然结果。这种诚实反而让整篇论文的可信度提升了,因为它划出了方法的真实边界,而不是营造一种"万能药"的假象。

这也让我想到一个还没被解决的问题:如果未来能设计出一种机制,让系统自己判断"眼下这批历史证据到底有没有参考价值",而不是无差别地信赖历史,会不会比现在这种固定衰减系数的做法更聪明?这本质上是一个关于"何时该信任经验,何时该抛开经验重新判断"的古老问题,只是这次它出现在了硅基的世界里。

Q&A

Q1：Σ-Mem是什么,它解决了什么问题?

A：Σ-Mem是新加坡南洋理工大学团队提出的一种在线信誉记忆机制,专门用于大语言模型多智能体系统。它解决的核心问题是,当中心模型无法直接验证多个AI同伴给出的答案是否正确时,如何依靠历史表现记录和peer之间的关系模式,做出更可靠的信任判断,而不是简单依赖多数投票或表面一致性。

Q2：为什么Σ-Mem用外尔不等式来设计记忆更新机制?

A：因为在线学习记忆容易被单次异常事件严重扭曲,外尔不等式保证每次新证据对记忆矩阵特征值的影响都有明确上限,不会被无限放大,同时持续一致的证据能稳定累积,让记忆既能适应变化又不会被偶然噪声带偏。

Q3：Σ-Mem在实际测试中效果如何?

A：在反事实攻击测试中,Σ-Mem让Qwen3-0.6B在CF@90设置下的准确率从46.22%提升到71.10%。在六个跨领域测试集上,30组实验里27组都取得了提升,同时不依赖回答内容的M-路由和M-加权投票也超过了多数投票和最佳固定peer的表现。