同一个模型，换种语言问同样的问题，答案居然会不一样

2023年的一个下午，如果你问一个多语言大语言模型同一个知识性问题，先用英语问一遍，再用希伯来语问一遍，你可能会得到两个不一样的答案。这件事早就被研究者注意到了，大家把它归结为知识不对等：模型在英语语料里学到的东西，可能没有很好地迁移到希伯来语上，因为训练数据里英语文本远比希伯来语文本多。这个解释听起来很合理，几乎成了领域内的常识。

但这里有个问题一直没人回答清楚。

如果给模型出一道纯逻辑题，题目里没有任何需要"查资料"的知识，比如让它玩一盘井字棋，规则、棋盘、格子编号全都摆在眼前，换成希伯来语问它会不会下得更差？照理说不应该。棋盘就是棋盘，格子0到8就是格子0到8，这跟你用什么语言提问没有半毛钱关系,推理能力这种东西,难道还要看语言脸色吗？

一群研究者决定认真测一测这件事。他们没有用问答题库，而是让模型自己跟自己下棋。

一、让AI自己和自己对战，才能看清语言到底改变了什么

这个实验设计的巧妙之处在于它排除了几乎所有干扰项。

研究团队搭建了一个叫做多语言TextArena的游戏平台，让同一个模型的两个实例分别用不同语言接收界面，然后互相对战。

TextArena*：一个开源的文字游戏对战平台，支持单人、双人和多人游戏，最初由新加坡科技研究局等机构开发，用于训练和评估大语言模型的博弈能力。

棋盘状态、卡牌、数字、可选动作、游戏规则，这些东西一个字都没有变,变的只有呈现给模型的语言界面。玩家A看到的是德语指令，玩家B看到的是英语指令，但两人面对的是同一张棋盘、同一套规则。如果模型的推理能力真的和语言无关,那么无论用哪种语言问它,它下出来的棋应该一样好,胜负应该随机分布,就像同一个人自己跟自己下棋,谁赢谁输全凭巧合。

这就好比你找一个双语律师,让他用中文写一份合同,再用英语写同一份合同,合同的法律条款、金额、期限全部相同,唯一的区别是语言。如果这个律师是真正精通双语的,两份合同的严谨程度应该差不多。但如果他其实是中文母语,英语只是后来现学的,你八成会发现他的英文合同里漏洞更多,有些复杂的条件从句他压根没绕明白。语言这层皮,悄悄暴露了他脑子里真实的思维深度。

如果不这样设计对照实验会怎样？如果直接拿现成的多语言知识问答测试来验证,你测出来的差异会混杂着两种东西:一种是模型真的不会推理,另一种是模型压根没学过那门语言里的相关知识。这篇论文想单独把"推理能力打折"这件事挑出来,就必须找一个知识含量趋近于零的任务,棋盘游戏刚好符合。

研究团队选了三个4B参数规模的开源模型：谷歌的Gemma-4-E4B-it、阿里的Qwen3-4B,以及Mistral AI的Ministral3-3B。之所以选这个体量,是因为要打的对局实在太多,总共跑了51万8千四百场游戏,如果换成更大的模型,算力开销会直接爆炸。

他们选了八种语言,英语、中文、西班牙语、法语、德语、马来语、阿拉伯语、希伯来语,覆盖不同的文字系统和语系,确保结果不是某一种语言特性造成的巧合。六款游戏分别测试不同能力:井字棋测空间推理,尼姆游戏测是否能调用一套已知的数学必胜策略,简单塔克棋测路径规划,科罗内尔·布洛托测资源分配和博弈对抗,库恩扑克测在信息不全时的风险决策,反复囚徒困境测多轮互动中的合作与背叛。

二、同一个大脑,换一种语言就变了性格

结果出来的时候,数据摆在那里,很难视而不见。

三个模型里,不管是哪一个,只要用英语作为界面语言,平均战绩就是最好的。而希伯来语,几乎每次都垫底。以Qwen3-4B为例,用英语对阵希伯来语时,胜负差值达到了正0.38,这意味着在同样的对局设置下,说英语的那个实例把说希伯来语的那个实例几乎打得毫无还手之力。

这个数字换算成生活场景是什么概念,想象你和朋友玩一百局井字棋,规则完全相同,棋盘完全相同,但你被要求全程用第二外语思考,而对方可以用母语思考,一百局下来你可能要多输三四十局。这不是运气不好,这是语言这层滤镜实实在在地拖累了你的判断速度和判断质量。

胜负差值*：论文里的核心指标,计算方式是某语言的胜场数减去负场数,再除以总场数,数值范围在负一到正一之间,正数越大说明这门语言作为对战界面时表现越强。

有意思的是,不同模型受语言影响的程度也不一样。Gemma模型相对稳定,各语言间的落差没有那么夸张;Qwen模型则呈现出最陡峭的语言等级差,强者恒强,弱者恒弱的现象特别明显。这提示我们,语言敏感性这件事本身也是模型的一种特质,并不是所有多语言模型都以同样的方式"偏心"某种语言。

游戏类型上也有区别。科罗内尔·布洛托这种资源分配博弈,是所有游戏里语言差异最大的,而库恩扑克这种纯概率博弈,受语言影响反而最小。这个发现本身就很值得琢磨,为什么涉及多步骤策略规划的游戏更容易被语言拖累,而涉及概率判断的游戏相对稳健,这背后可能牵涉到语言如何影响模型内部的"规划链条"长度,规划步骤越多,语言造成的误差就越容易累积放大。

三、翻车的方式也分语言:棋盘上的方向感说变就变

如果只是输赢有差距,可能还只是"整体变弱"这么简单一句话就能概括。但研究者往深挖了一层,发现不同语言导致的失败模式完全不同。

拿井字棋来说,输棋只有三种可能:被对手连成一条横线、一条竖线,或者一条斜线。研究者统计了Gemma模型在不同语言下,输棋时具体是被哪种线型击败的。

用英语作为界面时,输棋原因分布得比较均匀,横线百分之二十八点五,竖线百分之三十四点八,斜线百分之三十六点七,说明模型对三个方向的警觉性差不多。但换成阿拉伯语或希伯来语,输棋原因明显偏向斜线和竖线,阿拉伯语的斜线输棋占比高达百分之四十五点三,远超英语。

研究者去看了实际的游戏对话记录,发现在阿拉伯语和希伯来语场景下,模型经常把一串格子编号错误地识别成一条线,也就是"看错了棋盘"。这不是策略失误,是最基础的空间感知出了偏差。

这就像同一个人开车走同一条熟悉的路,用母语听导航时,他能条件反射地反应出"前方路口左转",可一旦导航换成他不太熟练的第二语言播报,同样的指令,他得多花半秒去解析这句话到底是什么意思,而这半秒的延迟,恰好可能让他错过了转弯的最佳时机。语言不只是传递信息的通道,它还占用了大脑本该用来处理任务本身的那部分带宽。如果不用语言切换来做对照,你根本发现不了模型在低资源语言里,连"数格子"这种最基础的操作都开始打折扣。

Qwen3-4B的情况稍微特殊一点,除了希伯来语之外,其余语言下的失误模式相对稳定,说明它可能具备更泛化的空间理解能力,但希伯来语依然是它的软肋。

简单塔克棋这个连线游戏也验证了类似的规律,英语界面下横竖两种输法基本对半开,五十三点二比四十六点八,而德语、希伯来语、阿拉伯语、马来语全都明显偏向竖线输法,最夸张的德语达到了六十点三比三十九点七。

四、策略性格也会跟着语言变:胆子大小、诈唬频率全不一样

除了空间感知,研究者还在库恩扑克这个博弈游戏里发现了另一个现象,模型的冒险倾向会随语言变化。

库恩扑克*：一种极简版的扑克博弈,只用J、Q、K三张牌,双方各持一张,通过下注、跟注、弃牌等动作博弈,常被用作博弈论研究的标准测试案例。

拿到最差的牌J时选择下注,这在牌桌上叫诈唬。研究发现,Qwen模型在不同语言下诈唬J牌的概率差了超过两倍。用英语时诈唬率是百分之二十三点三,换成中文直接飙到百分之四十五,几乎翻倍。这意味着同一个模型,换一种语言外壳,风险偏好判若两人,英语版本偏保守,中文版本更爱冒险。

Gemma模型则在处理中间牌Q的时候波动最大,下注率从马来语的百分之四十一点六一路跳到希伯来语的百分之六十三点三。这说明语言影响的不是某个固定的决策点,而是模型面对不确定性时整体的判断阈值都会跟着挪动。

再看Ministral模型,这个模型整体表现最不稳定,持有最强牌K的时候,居然还有百分之十到二十三的概率主动弃牌,这在扑克里属于极其严重的操作失误,相当于手握王炸却主动认输。而这个弃牌率同样随语言剧烈波动,希伯来语和阿拉伯语下的弃王错误率明显更高。

这个现象让人联想到一件事,人在说外语的时候,情绪反应和风险判断也常常会变得不一样。有研究发现人用外语做道德判断时会更理性、更少受情绪左右,因为外语缺乏母语那种情感浓度。这里模型展现出的诈唬率和弃牌率随语言波动,某种程度上像是把这种"外语效应"投射到了机器身上,尽管背后的机制完全不同,一个是认知心理学层面的情感疏离,一个是训练数据分布不均带来的能力短板,但表现出来的行为轨迹却有种诡异的相似。

五、有些知识,模型明明学过,只是换种语言就想不起来了

最扎心的发现出现在尼姆游戏这一节。

尼姆游戏*：一种双人取物博弈,场上有若干堆物品,玩家轮流从任意一堆里拿走至少一件,拿走最后一件的人获胜。这个游戏有一套完整的数学必胜策略,叫做"尼姆和",只要按照公式操作就能保证不败。

这套策略不需要临场创造,它是数学上已经证明的确定性算法,只要模型脑子里存着这个知识点,理论上任何语言下都应该能同样好地执行。

研究者去统计游戏日志里模型提到这套最优策略的次数,发现在阿拉伯语和希伯来语环境下,Qwen和Ministral模型提及最优策略的次数断崖式下跌。但更诡异的是,提及次数和真正执行成功的次数之间,居然对不上。

以Qwen模型为例,英语和法语环境下,提到最优策略的次数差不多,英语十五万次,法语接近十六万次。可英语环境下,模型执行出正确开局的成功率是百分之八十点八,法语环境下却只有百分之二十四点六。同样知道这个策略,英语能用出来,法语却用不出来。

这背后藏着一个更细的线索。研究者发现,Ministral模型在处理阿拉伯语和希伯来语的对局时,有一小部分游戏记录里,模型会突然"切换"成拉丁字母进行内部推理,哪怕呈现给玩家的界面依然是阿拉伯语或希伯来语。而这些偷偷切换成拉丁字母思考的对局,恰恰是模型成功提到最优策略的主要来源。也就是说,当模型被允许,或者说被自己悄悄允许,用另一种语言在脑子里想问题时,它突然就想起了那个策略。

这就好比一个人明明会解一道数学题,但如果强迫他必须用自己不熟悉的第二语言在脑子里默算,他很可能卡壳,可一旦允许他悄悄切回母语心算,答案立刻就冒出来了。知识明明就在那里,存储的位置没有变,只是取出来的钥匙对不上锁孔。

这个发现直接推翻了"知识不对等"这个简单粗暴的老解释。因为知识不对等理论认为,不同语言掌握的知识量本来就不一样,是训练数据分布不均导致的。但尼姆游戏的策略是纯数学的,不需要任何语言特定的世界知识,理论上一旦模型学会了,应该能在任何语言接口下无损调用。可实际情况却是,同一份知识,存在那里,却因为处理语言的不同,变得时而能取用、时而取不出来。这更像是一把钥匙插错了锁孔,而不是保险箱里压根没放钱。

六、把思考语言换一下,输赢立刻能扳回大半

既然发现了知识"取不出来"这个现象,研究者干脆做了个实验,把界面语言和推理语言拆开。

也就是说,棋盘规则依然用弱势语言呈现,但明确要求模型在内心推理的时候切换成强势语言,比如英语,最后再把结论套回原来的界面语言输出。

结果相当惊人。Gemma模型在德语界面下的井字棋战绩原本是负0.22,几乎是它表现最差的语言之一。但只要把推理语言换成英语,战绩直接跳到正0.20,追回了原本差距的百分之八十九点四。简单塔克棋的表现类似,德语界面下从负0.21提升到正0.05,追回了百分之六十点五的差距。

这说明什么,说明语言这个变量,并不是单一地作用在"模型懂不懂"这一个环节上,它至少作用在两个不同的阶段,一个是"看懂棋盘状态"这个理解阶段,一个是"想清楚该怎么走"这个推理阶段。而推理阶段的语言瓶颈,是可以通过换一种语言思考来绕开的,理解阶段的瓶颈却绕不开,因为棋盘本身还是用弱势语言写的。

这就好比你去一家外国餐厅点菜,菜单是纯外语的,你看不太懂菜名,这属于理解层面的障碍,换个脑子里想问题的语言帮不了你,你还是得先搞懂这行外语文字到底写的是什么菜。但如果菜单上写着数字标价,你要计算凑单打折,这个计算过程你完全可以在脑子里用你最熟悉的语言心算,哪怕点菜的对话依然得用外语进行。理解障碍和计算障碍,是两种性质完全不同的坎,一个能靠切换内心语言绕过去,另一个不能。

不过研究者也很坦诚地指出,这个方法不是万能药。在库恩扑克这个博弈游戏里,换用不同语言进行推理,效果时好时坏,并不稳定,甚至有时候反而变差。这说明语言对决策链条的干扰,在不同任务类型上,发生的具体环节可能完全不一样,没有一个放之四海而皆准的解药。

七、静态考试成绩能预测一部分,但预测不了全部

前面讲的都是模型在互动博弈里表现出来的行为差异,那这些差异和我们平时看到的那些多语言评测榜单,比如常见的Belebele阅读理解测试、Global-MMLU知识问答测试,有没有关系?

Belebele*：一个覆盖122种语言变体的多语言阅读理解评测集,题目形式是给一段短文,再回答几道理解题。

Global-MMLU*：一个多语言版本的知识问答基准,题目内容覆盖数学、历史、科学等多个学科领域,用来衡量模型在不同语言下的知识掌握程度。

研究团队把每个模型在这两个静态测试上的成绩,拿去和它们在博弈对局里表现出来的语言强弱排名做对比,发现两者确实存在正相关,相关系数普遍在0.7到0.9之间,说明在静态知识测试里考得好的语言,大概率在互动博弈里也表现得更强。这符合直觉,毕竟静态测试和互动博弈某种程度上都反映了模型对这门语言的整体掌握程度。

但这里有个重要的例外,静态测试成绩没法预测模型的"跨语言一致性"这个维度。Gemma模型在Global-MMLU上的平均分是三家模型里最低的,但它在不同语言之间的表现波动幅度却是最小的,属于那种平均不算拔尖、但发挥稳定的选手。反过来Qwen模型平均分最高,波动幅度却最大,属于强的时候特别强、弱的时候特别弱的类型。

这提醒我们一件容易被忽略的事,一个模型整体多语言能力强,不代表它在各种语言之间表现得同样均衡。这就好比一个学生总平均分很高,但你细看会发现,他数学接近满分,英语却勉强及格,这种科目间的巨大落差,是单看总平均分完全看不出来的。想知道一个多语言模型到底靠不靠谱,光看它的总分排名是不够的,还得看它在不同语言之间的分数方差有多大。

八、网络文本的多少能解释一部分,但解释不了汉语和马来语这两个反常案例

研究者还想知道,一门语言在互联网上的文本资源量,是不是也能预测模型在这门语言下的表现。他们用一个叫FineWeb-2的数据集统计了每种语言的词汇总量,作为训练数据规模的代理指标,因为具体每个模型训练用了多少某语言的数据,这类信息厂商通常不公开。

FineWeb-2*：一个覆盖多语言网页文本的大规模语料数据集,常被用来估算某种语言在互联网上的文本资源丰富程度,间接推测模型训练数据里可能包含的该语言比例。

整体上,网络文本量和模型在这门语言下的表现同样呈正相关,数据越多的语言,模型表现往往越强。但两个反常案例特别值得说一说。

第一个是马来语,尽管它在FineWeb-2里的语料规模是八种语言里最小的,但三个模型在马来语下的表现却都好于希伯来语,而希伯来语的网络文本量明明比马来语更充裕。研究者推测,这可能和文字系统有关系。马来语用的是拉丁字母,和英语、德语、西班牙语等高资源语言共享同一套书写系统,这种共享可能让模型在训练时能从这些高资源拉丁字母语言里"蹭"到一些跨语言的知识迁移,而希伯来语用的是完全独立的希伯来字母,享受不到这种便利。

第二个更反常的是中文。中文的网络文本量大约只有英语的二十分之一,但Qwen和Ministral模型在中文界面下的表现几乎追平英语,几乎没有明显差距。可Gemma模型在中文界面下的表现却接近零,处于不上不下的中间水平。同样的训练数据规模劣势,不同模型消化吸收的结果完全不同,而且中文和英语并不共享文字系统,所以前面那个"文字系统相近能蹭红利"的解释在这里也用不上了。

这说明数据量和文字系统只能解释一部分现象,剩下那部分,很可能跟每家公司具体的训练配方、数据配比策略、甚至某些没有公开的技术细节有关。这也是这篇论文在讨论局限性时特别坦诚提到的一点,由于这些模型的训练数据都不公开,研究者只能靠外部代理指标去猜测原因,没法百分百确定背后真正的机制。

写在后面

读到尼姆游戏那一段的时候,有个细节让我反复想了好一会儿。模型明明"知道"那个数学策略,提到过它,但换一种语言就是用不出来,直到它偷偷切回熟悉的字母系统思考,答案才冒出来。

这让我想到一个问题,如果一个人脑子里的知识,存在的位置没有变,取用的通道却因为语言不同而时通时堵,那这种"会"到底算不算真正的会?我们平时评价一个双语者到底精不精通某门语言,好像默认的标准就是他能不能流畅地用这门语言解决问题,可这篇论文展示的现象说明,同一套知识,可能真的会因为你用哪种语言去"敲门",而得到完全不同的响应速度和响应质量。

论文里还有一个细节我觉得值得单独拎出来说,那就是不同游戏受语言影响的程度差别巨大,资源分配博弈受影响最大,概率博弈受影响最小。这暗示着语言拖累的可能不是所有类型的思考,而是特别偏重多步骤规划、需要在脑子里模拟对手反应的那种思考。这个线索还没被这篇论文彻底讲透,如果未来有人能进一步拆解,到底是规划链条的哪一步最容易被语言干扰,那可能会比笼统地说"语言影响推理能力"更有价值。

这篇论文测试的都是4B参数规模的模型,更大规模的模型是不是也会呈现出同样的语言等级差,论文里也老实承认没有验证过。这个问题留在那里,等着被回答。

Q&A

Q1：多语言TextArena是什么？

A：多语言TextArena是研究者在开源游戏对战平台TextArena基础上搭建的多语言扩展版本,支持将同一套棋盘游戏用不同语言呈现给模型,让同一模型的两个实例用不同语言界面互相对战,从而单独测量语言对模型行为的影响,而不混杂知识差异这个因素。

Q2：为什么同一个大语言模型用不同语言玩游戏,输赢会不一样？

A：研究发现语言不仅影响模型能调用的知识,还会影响空间感知、风险偏好和策略执行等纯推理层面的表现。比如井字棋里模型在不同语言下会因为"数错格子"而输棋,尼姆游戏里模型明明知道数学必胜策略,换种语言却经常用不出来,英语和中文等语言整体表现更强,希伯来语普遍垫底。

Q3：把推理语言换成英语能解决多语言模型的表现差异吗？

A：能在部分场景下大幅缓解。研究发现让模型用弱势语言接收界面,但改用英语在内心推理,能追回井字棋和简单塔克棋里近九成和六成的性能损失,但在库恩扑克这类概率博弈里效果并不稳定,说明语言瓶颈作用在理解和推理两个不同环节,不能一招通吃。