慕尼黑工业大学等多机构联手揭示大模型的"偏心"有多严重

这项由慕尼黑工业大学（TUM）、慕尼黑机器学习中心（MCML）、慕尼黑数据科学研究所（MDSI）、查尔斯大学、纳扎尔巴耶夫大学、法国国家数字科学技术研究院（Inria）、印度理工学院卡拉格普尔分校、德国数字科学大学等多家机构联合开展的研究，以预印本形式发布于2026年7月7日的arXiv平台，编号为arXiv:2607.05992v1，感兴趣的读者可通过该编号检索完整论文。

你有没有想过，如果AI的数学题是用上索布语（一种只有约一万三千人使用的语言）或楚瓦什语写的，它还能答对吗？这个问题听上去有点奇特，却触及了人工智能发展中一个真实而严峻的不平等现象。

当今的AI大语言模型（可以理解为一种超级智能对话机器）在做数学题时，表现其实严重依赖于题目是用什么语言写的。用英语或中文写的数学题，AI答得头头是道；一旦换成普通话使用者更少的语言，模型的表现就会急剧下滑，甚至彻底失灵。这就好比一个数学天才突然被要求用一门他从未系统学过的语言来解题——数学能力本身没问题，但语言的障碍让他束手无策。

这项研究的核心贡献是推出了一个名为**PLURAMATH**的新数据集与评测框架，将现有最具代表性的多语言数学推理基准——由阿里巴巴旗下通义千问团队发布的PolyMath——从原本覆盖的18种高资源语言，扩展到了额外的18种代表性不足的语言，涵盖六大语言家族，从资源相对充足的波兰语、土耳其语，一直延伸到极度濒危的上索布语（全球母语者约1.3万人）和下索布语（约7000人）。研究团队随后用27个当前最先进的AI推理模型，在这套新基准上进行了大规模测试，全面揭示了AI在面对"非主流"语言时的真实处境。

一、数学推理为何偏爱英语和中文

要理解这项研究的意义，首先得明白一件事：AI模型是通过阅读大量文本来"学习"的，而互联网上的文本绝大多数是英语，其次是中文、西班牙语、法语等。这就像一个孩子从小只读英文书，长大后当然用英文思考和解题最流利。

现有的数学推理评测基准几乎都有这个问题。最著名的GSM8K（一套小学数学题）是纯英文的，AIME、MathArena和OMEGA也都是英文比赛题。中文数学基准如CMATH和AGIEval是例外，但它们只覆盖了中文。近年来虽然出现了一些多语言数学评测，比如PolyMath覆盖18种语言、MGSM8KInstruct覆盖10种语言、MathNet覆盖47个国家和17种语言，但这些"多语言"基准的语言选择仍然以高资源语言为主，那些全球数亿人使用却在互联网上存在感极低的语言，依然缺席。

与此同时，研究界已经发现了一个令人不安的现象：数学推理能力并不能在语言之间自由迁移。即使AI在英文数学题上表现出色，一旦换成非拉丁字母书写的语言，它往往会给出"算法上看似合理但实际上南辕北辙"的答案——推理过程和最终答案之间出现了严重的不一致。更深层的研究发现，大型推理模型在不同语言中的内部"思考轨迹"并不均匀，它们骨子里仍然倾向于用英文思考，哪怕表面上在用其他语言作答。

正是在这样的背景下，研究团队决定系统性地填补这个空白，建立一套真正覆盖语言长尾的数学推理评测工具。

二、PLURAMATH是怎么建成的

建立PLURAMATH的过程，堪比一项精细的多国合作工程。研究团队以PolyMath为基础——这是一套四难度等级的数学题库，每个难度级别有125道题，合计500道题，题目来源从K-12基础数学到奥林匹克竞赛数学不等。他们需要将这500道题翻译成18种新语言，并确保翻译质量足以用于严肃的科学评测。

整个数据构建流程分为三个关键环节。第一步是机器翻译打底稿。研究团队没有让一个翻译系统包打天下，而是为每种语言单独挑选最合适的翻译工具。每种语言的"语言负责人"（language stakeholder）——也就是该语言的母语学者——会先用少量题目做试验，从DeepL、Gemini、Google翻译等工具中选出效果最好的一个，或者使用针对特定语言对微调过的开源模型（例如，西班牙语到加泰罗尼亚语用salamandraTA-7b-instruct，英语到印地语和奥里亚语用sarvam-m，德语到上下索布语用TartuNLP）。

第二步是人工核查与修正，这是整个流程中最关键、也是最能体现这项工作严谨性的环节。所有语言的机器翻译稿件都经过母语学者的逐题审核，审核人员需要具备相关语言的母语能力，且持有计算机科学或数学领域至少硕士学位。审核内容涵盖三个维度：题目自然语言的流畅度与准确度、数学术语在目标语言中的规范性，以及LaTeX数学公式代码与原题的完全一致性。对于修改量较大的语言，团队还安排了第二轮审核，近半数语言经历了这一双重把关。

第三步是自动化的LaTeX代码检查。数学题中充满了公式，公式用LaTeX代码表示，机器翻译有时会错误地把LaTeX命令名称翻译掉，或者让美元符号（用于标记公式的起止）错位。研究团队开发了专用脚本来自动检测这类错误，并将相关脚本公开发布。

在翻译过程中，研究团队遇到了四类典型错误。LaTeX代码损坏是最常见的问题，例如命令名被翻译成目标语言或公式分隔符错位。数学术语错误也很普遍，尤其是在语言相近的语言对之间（如斯洛伐克语和捷克语），常出现跨语言的术语混用。形态丰富的语言（如哈萨克语、鞑靼语）还会出现词形变化、词序和过度直译的问题。此外，一些模型还会产生"幻觉"式翻译，包括未翻译的词汇残留和不正确的实体替换。修改工作量因语言而异，差异显著——乌克兰语、希腊语、希伯来语几乎不需要修改，而斯洛伐克语、鞑靼语、哈萨克语则需要大量重写。

在整理数据时，研究团队还意外发现了原始PolyMath数据集中的若干错误：包括英文数据中的错误答案（如一道邻居宠物数量题的正确答案是195而非标注的348），以及非英文版本中的翻译问题。研究团队将这些错误系统整理后提交给PolyMath的原始仓库，以拉取请求的方式贡献给社区。

三、PLURAMATH覆盖了哪些语言，它们有多"稀有"

PLURAMATH新增的18种语言，构成了一个真实的语言多样性光谱。从母语使用人数来看，最大的是印地语（约6亿母语者），其次是土耳其语（8000万）、波兰语（4500万）、乌克兰语（4000万）、乌兹别克语（3500万）、奥里亚语（3500万）、阿姆哈拉语（3200万），再到希腊语（1300万）、哈萨克语（1300万）、捷克语（1000万）、希伯来语（900万）、塞尔维亚语（820万）、鞑靼语（550万）、斯洛伐克语（500万）、加泰罗尼亚语（400万）、楚瓦什语（100万），最后是上索布语（约1.3万）和下索布语（约7000人）。

研究团队采用了语言学家乔希等人提出的资源分类框架，将这些语言按AI技术资源丰富程度分成四类。拥有大量未标注数据和标注数据的"主流"语言（4类），包括印地语、土耳其语、波兰语、捷克语、塞尔维亚语、加泰罗尼亚语；网络资源丰富但标注数据较少的"新星"语言（3类），包括乌克兰语、希腊语、哈萨克语、希伯来语、斯洛伐克语；有一定标注数据支撑的"有望者"语言（2类），如阿姆哈拉语；以及数据极度匮乏的"挣扎者"语言（1类），包括奥里亚语、鞑靼语、楚瓦什语、上索布语、下索布语。

从语言家族覆盖来看，PLURAMATH囊括了印欧语系的斯拉夫分支（波兰语、乌克兰语、捷克语、斯洛伐克语、塞尔维亚语、上下索布语）、印度-雅利安分支（印地语、奥里亚语）、希腊分支（希腊语）、罗曼分支（加泰罗尼亚语），以及突厥语系（土耳其语、乌兹别克语、哈萨克语、鞑靼语、楚瓦什语）和亚非语系的闪米特分支（阿姆哈拉语、希伯来语）。

值得一提的是，这18种语言中，大多数都是本国或本地区数学教学的正式用语，但乌兹别克语、楚瓦什语、上索布语和下索布语在大学数学教育层面并不普遍使用，这给数学术语的翻译带来了额外挑战——有些概念在这些语言中根本没有标准译法。

在题目长度方面，不同语言家族之间存在显著差异。研究团队使用Qwen3-4B基础模型进行词元化（可以理解为把文字切分成AI能理解的最小单位），发现印度-雅利安语言（尤其是奥里亚语和印地语）和阿姆哈拉语产生的词元数量远多于英文或俄文原题，而拉丁字母和西里尔字母的语言则与高资源语言的分布较为接近。题目越长，对AI理解的要求越高，这本身就是一种额外的挑战。

四、27个AI模型接受测试——它们是谁，怎么考

研究团队精心挑选了27个代表当前最高水平的AI推理模型，覆盖从亚十亿参数的小型模型到数千亿参数的顶级闭源模型，形成了一个全面的参照系。

小型开源模型（不超过40亿参数）包括通义千问系列的Qwen3.5-0.8B、2B、4B，液态AI的LFM2.5-1.2B，字节跳动的Ouro-1.4B和2.6B，DeepSeek蒸馏版R1-Distill-Qwen-1.5B，MistralAI的Ministral-3-3B，以及谷歌的Gemma-3-4B。

中型开源模型（70亿到350亿参数）包括AllenAI的OLMo-3-7B-Think，DeepSeek的R1-0528-Qwen3-8B，Mistral的8B和14B推理版，通义千问的Qwen3.5-9B，OpenAI开源的gpt-oss-20b，英伟达的Nemotron3-Nano-30B，谷歌的Gemma-4-31B，以及Qwen3.5-35B的混合专家架构版本。

大型开源及API模型包括DeepSeek的R1-Distill-Llama-70B，OpenAI的gpt-oss-120b，通义千问的Qwen3.5-122B和Qwen3-235B，DeepSeek V3.2，以及月之暗面的Kimi-K2.5。

闭源商业模型则有Anthropic的Claude-Haiku-4.5、谷歌的Gemini-2.5-Flash和OpenAI的GPT-5.4。

评测采用了三种不同的提问方式。第一种是"基础提问"：用目标语言直接呈现题目和要求，模型可以用任何语言作答，但要求把最终答案写在指定的LaTeX盒子格式里。第二种是"英文推理链提示"：题目仍用目标语言，但系统级指令要求模型用英文一步步推理，最后再给出答案。第三种是"回译提问"：先用Facebook开发的NLLB机器翻译模型把题目从目标语言翻译回原始的高资源语言（如英文、德文、俄文），再用高资源语言提问。后两种方式的设计初衷，是检验"让AI用更擅长的语言思考，能否弥补低资源语言下的性能差距"。

评分采用了PolyMath原有的"难度加权准确率"指标，对低、中、高、顶四个难度级别的答题正确率分别赋予1、2、4、8的权重，让更难题目的表现对总分影响更大。所有实验在正式评测前都经过了超参数搜索，最终确定使用中等推理强度、温度0.1、最大输出2000词元的配置。

五、测试结果：性能差距既真实又复杂

测试结果的核心发现可以用一句话概括：AI在高资源语言上的数学推理表现，系统性地优于在低资源语言上的表现，而且语言的"资源丰富度"与模型性能之间存在统计上显著的正相关关系（斯皮尔曼相关系数ρ=0.646，p=0.0038）。换句话说，一种语言在现有AI技术生态中越"主流"，模型在这种语言下答题就越准。

但这个大方向之下，各语言之间的差距大小相差悬殊，这一点颇为耐人寻味。希腊语和波兰语与高资源语言的性能差距最小，平均仅约0.67个百分点；而整体平均差距约为2.15个百分点；楚瓦什语和阿姆哈拉语的差距最大，达到约4.86个百分点。这背后折射出的，是不同语言在互联网文本数量、标注数据积累和NLP工具成熟度上的巨大鸿沟。

从不同规模模型的表现来看，小型模型在低资源语言上的表现极不稳定，有时甚至完全失效——例如LFM2.5-1.2B在高资源语言上的得分为0，在部分低资源语言上却反而有一点点分数，原因是它连基本的格式要求（把答案写在指定盒子里）都经常做不到。随着模型规模增大，跨语言的稳定性也在提升，最顶尖的闭源模型GPT-5.4和Claude-Haiku-4.5在所有语言上的表现都相对一致，语言之间的波动幅度比小模型小得多。

在答题格式遵守率方面（即模型是否能把答案写在要求的LaTeX格式里），闭源模型几乎达到100%，而部分小型开源模型的格式遵守率极低，这意味着即使模型"算对了"，研究者也无法提取到正确答案，导致测量到的性能被低估。

推理长度的分析带来了一个反直觉的发现。人们或许会觉得，推理步骤越多、答案越长，说明模型思考越深入，应该表现越好。但测试结果表明，性能最好的模型（GPT-5.4和Claude-Haiku-4.5）恰恰以更简短的推理链条给出正确答案，而许多性能差的模型反而生成了更长的输出，往往是因为陷入了无休止的自我检验循环或重复性的胡言乱语。低资源语言下，模型生成的内容有时甚至比高资源语言更短，但这不是因为答题效率更高，而是因为它更快地"放弃"了，在找不到答案时戛然而止。

三种提问方式的对比结果也颇具启示性。总体而言，切换到英文推理链或回译为高资源语言并没有带来稳定可靠的性能提升。对于少数几个中型模型（如Gemma-3-4B、Nemotron3-Nano-30B，以及大型的gpt-oss-120b），英文推理链提示确实在部分语言上有所改善，但这种改善可能部分来自于"逐步推理"这个指令本身，而非语言切换的效果。回译方案的效果则更为有限，在绝大多数模型上没有带来改善。这一发现的含义是：仅仅通过换一种提问语言来绕过模型对低资源语言的弱势，基本行不通；要真正提升模型在低资源语言上的推理能力，需要从更根本的训练层面入手。

六、翻译能力和推理能力，是一回事吗

为了探究模型在低资源语言上表现差，究竟是因为"不会翻译/不懂这门语言"，还是因为"推理能力本身的跨语言迁移有问题"，研究团队专门设计了一组翻译能力评测实验。他们让一部分模型在FLORES+翻译基准和索布语共享任务数据集上进行翻译测试，并分析翻译质量（用chrF++分数衡量）与数学推理性能之间的相关性。

但另一方面，英文推理链带来的性能提升与翻译质量几乎不相关（r=+0.11，p=0.21）；模型倾向于用英文还是目标语言作答，与翻译质量的相关性也很微弱（r=+0.07，p=0.36）；语言资源类别与翻译质量的相关性同样很弱（ρ=+0.08，p=0.36）。

研究团队还注意到，在翻译任务上，专门针对特定语言对微调的小型开源模型（如用于上下索布语的TartuNLP模型，用于印地语和奥里亚语的sarvam-m，用于西班牙语-加泰罗尼亚语的salamandraTA）在翻译质量上往往超过通用闭源大模型，这说明专业化的领域适配对于低资源语言仍然有其不可替代的价值。

七、人类专家的眼睛看到了什么

仅仅靠自动评分还不够——当AI给出的答案和推理过程明明"看起来有道理"，但实际上漏洞百出，该怎么办？研究团队专门设计了一套人工评测方案，对选定的五个模型（Gemma-3-4B、Ministral-3-8B、Nemotron3-Nano-30B、gpt-oss-120b、DeepSeek-V3.2）在两种高资源语言（英语、俄语）和11种低资源语言上的推理过程进行了深度解读。

评测员针对每个模型的每道题回答了六个问题：答案是否因格式问题被错标为错误、推理是否使用了目标语言、推理逻辑是否清晰有步骤感、最终答案是否与推理过程一致、正确答案是否出现在推理过程中（即使没有正式提取出来）、推理是否在2000词元限制内完成。

人工评测结果揭示了一些自动评测看不到的细节。在格式问题上（即答案其实正确但因格式问题被标错），gpt-oss-120b在高资源语言和低资源语言上都有一定比例的这类情况（高资源21%、低资源16%），说明这个模型有时把数字加上了单位或文字说明，导致自动匹配失败。

在推理语言方面，各模型行为差异明显。Gemma-3-4B是本组模型中最忠于目标语言的，在高资源语言下几乎100%用目标语言推理，在低资源语言下也保持89%的比例。DeepSeek-V3.2在高资源语言下100%使用目标语言，低资源语言下也有35%的比例，但在低资源语言上仍然频繁切换为英文。Ministral-3-8B则几乎全程用英文推理（高资源语言下25%使用目标语言，低资源语言下25%），属于"用英文思考"的典型代表。Nemotron3-Nano-30B的情况最糟糕，在低资源语言下只有9%的推理用目标语言。

推理质量的下滑在低资源语言上尤为明显。模型在高资源语言上产生连贯推理步骤的比例普遍高于低资源语言。更令人担忧的是，所有模型——尤其是Nemotron——经常产生不连贯、重复或乱码性质的推理内容，有时候甚至连最终答案都没有生成，整个推理过程就直接中断了。还有一些情况是，正确答案其实"出现过"，只是模型没能把它妥善地汇报出来。

研究团队还在人工评测中记录了一些极端案例。DeepSeek-V3.2在乌克兰语题目上的一个典型失败模式是：算到了正确答案（70000美元），却陷入了不停的自我质疑循环，反复重新计算同一个数字，最终在2000词元上限到来时还没有把答案写在要求的格式里。Nemotron则在一道乌克兰语中等难度题上输出了完全乱码，全是反斜杠和数字的重复组合，最后以泄露的控制符号结束。这些案例生动展示了当前AI模型在应对非主流语言时的脆弱性。

八、这一切意味着什么，我们能做什么

说到底，PLURAMATH这项研究的价值不仅在于"揭示了问题"，更在于"提供了工具和方法论框架"，让后续研究者能够更系统地推动多语言AI公平性的进步。

研究团队完整开源了数据集、评测代码、提示词模板、标注指南和质量控制流程，目标是让其他研究者能够相对低成本地将这套方法扩展到更多语言。数据集已经在HuggingFace上以Apache-2.0协议发布，项目主页为tum-nlp.github.io/pluramath，代码仓库为TUM-NLP/pluramath。

研究的主要局限性也值得诚实面对。首先，18种新语言距离"覆盖全球语言多样性"还差得很远，但已经迈出了重要一步。其次，这套框架依赖最低限度的机器翻译基础设施，对于完全没有机器翻译支持的极度濒危语言来说，全流程手工翻译的成本依然极高。再者，高难度数学题所需的知识体系（如奥林匹克数学）在某些目标语言的教育体系中并不普及，这引出了"这类评测对这些语言社区是否真正有意义"的深层问题。此外，本研究采用单次生成（pass@1）的评测方式，可能低估了某些模型的真实上限。最后，PolyMath在2025年中期发布，部分较新的大型模型在训练时可能已经见过这套数据，存在数据污染的风险。

从更宏观的视角来看，这项研究传递了一个清晰的信息：AI领域不能仅仅因为"全球数十亿人说英语或中文"就认为多语言问题已经解决。世界上有数千种语言，每一种语言都承载着一个社区的知识传承和教育机会。当AI数学辅导工具只在英文下工作良好，而在使用者的母语下一塌糊涂，这不仅仅是一个技术问题，更是一个关乎教育公平的社会问题。

未来的研究方向至少包括：在低资源语言上继续预训练或域适配；更系统地探索跨语言知识迁移机制；以及为更多未覆盖语言扩展这类评测基准。研究团队也表示，将在许可证允许的范围内发布所有模型的推理痕迹和输出结果，以支持后续的知识蒸馏研究——也就是说，让小模型通过学习大模型的推理过程来提升能力，从而降低服务低资源语言社区的计算成本。

归根结底，这项工作发出的邀请是：让更多掌握小语种的研究者和工程师参与进来，共同把AI的"数学智慧"真正带给每一个语言社区，而不只是互联网上文字最多的那几个。

Q&A

Q1：PLURAMATH数据集是怎么保证翻译质量的？

A：PLURAMATH的翻译质量保障依赖三个层次。首先，每种语言由母语学者推荐最适合的机器翻译工具（如DeepL、Gemini或针对特定语言对的专用模型）生成初稿。其次，具备数学或计算机科学高等教育背景的母语者逐题审核，检查语言流畅度、数学术语规范性和LaTeX公式的完整性。近半数语言还经历了第二轮双重审核。最后，研究团队用自动化脚本检测LaTeX代码中的格式错误，并公开了这套工具供社区使用。

Q2：为什么更长的AI推理不一定带来更好的数学答题表现？

A：研究发现，顶尖模型（如GPT-5.4和Claude-Haiku-4.5）反而用更短的推理链条给出正确答案，而性能差的模型往往产生更长的输出——这些长输出通常是重复的自我检验循环或乱码。在低资源语言下，短输出有时是因为模型更快"放弃"而非更高效。翻译实验也显示推理长度与翻译质量负相关，说明更长的推理不等于更深的理解，而可能是模型不确定时的"原地踏步"。

Q3：PLURAMATH包含哪些难度等级的数学题，最难的是什么类型？

A：PLURAMATH继承自PolyMath的四级难度体系，每级各125道题。最简单的"低"级对应K-12基础数学应用题（如速度路程计算）；"中"级包含高中竞赛和大学初级数学（如数列极限证明）；"高"级是竞赛难度的组合数学、几何和数论题；最难的"顶"级题目来自奥林匹克数学竞赛，例如涉及有理数函数方程的证明题，即使是数学专业学生也需要认真思考。测试显示绝大多数开源中小型模型在顶级题目上得分接近于零。