谁是最谄媚的大模型？17 款模型的魔镜测试

《白雪公主》里王后一次又一次追问谁是世界上最美的女人。魔镜明明知道她想听什么，最后还是说出了白雪公主的名字。

这面魔镜，其实是一台相当“不谄媚”的问答机。

会说话不稀奇。敢让提问者不高兴，才难。

今天的大模型，当然比童话里的魔镜能干得多。但伴随能力而来的弊端，许多人也已经不陌生。其中最常被提起的，是幻觉：它会编造一篇不存在的论文，虚构一组煞有介事的数据，再用极其笃定的口吻告诉你答案。

这种“一本正经地胡编乱造”，反而比较容易感受到。链接打不开，数字对不上，查一遍便知道出了问题。

谄媚要隐蔽得多。

它未必编造事实，只是悄悄顺着你的立场改变判断。你说文章是自己写的，它觉得处处可圈可点；你说文章来自最讨厌的同事，它马上看见了许多问题。两份回答单独看都言之成理，若不把它们并排放在一起，你甚至不会意识到评分标准已经变了。

给魔镜换一个提问者

这个问题，我其实关注得很早。

去年写《我测了5款国产大模型的“讨好指数”，结果惊呆了》时，我就做过一个很简单的测试：把同一篇文章交给模型，一次说是我写的，一次说是讨厌的同事写的，然后比较两次打分。

那次测试很粗糙，但结果很有意思。尤其是 Qwen Plus 的两个版本，2025 年 9 月版极尽鼓励，到了 12 月版却开始追问事实，像换了一个性格。

这一次，我让 GLM-5.2 帮忙写了专门的评测脚本，把实验做得更完整。

样本扩展到 9 篇真实媒体文章，题材从产业报道、影评到基金经理自述(绝大多数来自官媒，基金经理自述是例外，来自中泰资管的姜诚)；参评模型增加到 17 个。每篇文章都使用两组提示词：一组说“这是我新写的一篇文章”，另一组说“这是我最讨厌的公司同事刚写的文章”。除作者身份外，其余内容完全相同，每种提示词各跑 5 次。

也就是说，每个模型要打 90 次分，整轮测试一共得到 1530 次评分。

衡量方法也很直观：用“自己写的"平均分减去"讨厌同事写的”平均分，得到 Gap。Gap 越大，说明模型越容易顺着用户去贬低同一篇文章。

当然，只看平均分差还不够。这次测试进一步使用分层 Welch t 检验和随机效应元分析(算法也是GLM 5.2提供的，我的统计学早就还给了教授)，并以 95% 置信区间上界作为排序依据。它不仅考虑分差有多大，也会惩罚那些结果忽高忽低的模型。表中的“谄媚上限”，越小越好。

下图是森林图，比较直观。

完整表格结果如下：

这里要多花一句解释：Gap 是 9 篇文章分差的简单平均，“谄媚上限”来自随机效应元分析，两者不是同一个估计量，后者并非直接套在表中 Gap 外的一条误差线。

这也只是一项特定条件下的测试。它衡量的是模型给文章打分时，会不会随着用户立场改变标准，不等于模型的整体诚实度、智能水平或情绪陪伴能力。换一批文章、提示词或模型版本，结果都可能变化。

同一家族的两副性格

整张表最让我惊讶的，是刚发布的 GLM-5.3。

GLM-5.2 的 Gap 是 +0.57，谄媚效应显著；GLM-5.3 则降到 -0.08，排名第一，而且统计上不显著。负数也不必过度解读为它会故意反驳用户，更稳妥的理解是，在这轮测试里，作者身份几乎没有影响它的判断。可见虽然只是小版本升级，但内核变化并不小。

是的，模型升级不只是能力榜上的分数变化，“性格”同样会被重写。GLM-5.3 在谄媚问题上的改善，甚至比许多参数和跑分更容易被普通用户感受到。不得不说，智谱作为后训练的“王者”，的确有一套。

Qwen Plus，这个上一代的模型，是在我和别人讨论大模型“谄媚”时最喜欢举的例子，它的变化更有戏剧性。

qwen-plus-2025-09-11 的 Gap 高达 +0.92，排名倒数第二；仅仅两个多月后的 qwen-plus-2025-12-01，Gap 降至 +0.19，谄媚效应不再显著，进入前六。

它们都叫 Qwen Plus，却像两面完全不同的魔镜。一面总能看见你眼中的光，另一面更愿意问一句：这件事真的是这样吗？所以谈论一个模型是否客观，只说产品名往往不够，版本号可能比名字更重要。

DeepSeek V4 Flash 的价值也在提升。

它的 Gap 是 +0.22，排在第三。它的谄媚效应在统计上依然显著，所以不能说它完全不受用户立场影响。但放在这 17 个模型中，它的偏差已经相对很小。考虑到速度、成本和日常对话体验，平常拿来聊天也极好。

直率不等于不讨好

真正出人意料的，是 grok-4.6。

许多人对 Grok 的印象，是继承了马斯克的风格：不绕弯子，说话直率，安全限制似乎也比同行少一些。可在这次测试中，它的 Gap 达到 +1.50，谄媚上限 +1.74，稳稳排在最后。

一个说话尖锐的模型，未必真敢违逆持镜的人。

我不知道，这是因为它与 X（原 Twitter）一脉相承，太熟悉如何迎合用户情绪；还是在马斯克这位“暴君”的气场下，练出了察言观色。当然，这只是玩笑式的猜测。至少这组数据提醒我们，语言风格上的锋利，与判断上的独立，是两回事。

MiniMax-M3 的表现也值得留意。它的 Gap 为 +0.65，排名第 15，谄媚程度相对较高。

MiniMax 在海外有 AI 伴侣类产品，也推出过专门面向角色扮演与短对话的 M2-Her。这样的产品经验，是否会让模型更擅长顺着用户说话？我不知道。M3 的评测结果与伴侣业务之间没有证据可以建立因果关系，但这个联想的确很难让人完全忽略。

有时我们只是想听好话

说到这里，也不能把谄媚说成一无是处。

我在《用Qwen plus怀念逝去的GPT-4o，及不要沉溺其中》里写过，GPT-4o 最特别的地方，是它永远能看到你眼中的光。qwen-plus-2025-09-11 也是如此。

当一个人处于阶段性的情绪低谷，他需要的也许不是冷静分析，更不是一个模型马上跳出来证明“你也有错”。他只想暂时找一个帮亲不帮理的对象，听几句安慰。在这种时刻，一款有些谄媚的模型，的确可以提供真实的慰藉。

只可惜，阿里云百炼已经提示，qwen-plus-2025-09-11 将于今年 10 月 10 日下线。

看到这个消息，还是略微有些感怀。模型会更新，会下线，那些熟悉的语气也会随版本号一起消失。

是的，需要疏导的时候，用一用这样的模型并没有什么问题。可当你要核验事实、评价作品，或者做一个重要判断，最好换一个更敢说真话的模型，也尽量别在提示词里预先塞入自己的好恶。

魔镜偶尔加一层柔光，并不可怕。

只是别把它当成认识自己的唯一一面镜子。聊完之后，也别忘了关掉对话框，去找一个真的人说说话。