韩国高丽大学研究团队揭开多语言搜索引擎的"英语偏心"秘密

这项由韩国高丽大学计算机科学与工程系主导的研究，于2026年发表在国际机器学习顶级会议ICLR 2026（International Conference on Learning Representations）上，论文编号为arXiv:2604.05684。研究聚焦于跨语言信息检索领域一个长期被忽视却至关重要的问题：当搜索引擎面对多语言混合文档库时，为什么它总是莫名其妙地"偏爱"英文内容？

假设你是一位泰语母语者，想在网上搜索关于"气候变化"的文章。文档库里既有一篇非常切题的泰语文章，也有大量不那么相关的英语文章。理论上，一个优秀的多语言搜索引擎应该把那篇泰语文章排在最前面。然而现实却往往相反——搜索引擎会把那些内容并不对口的英语文章推到更靠前的位置，让真正有用的泰语文章石沉大海。这就是该研究团队发现并着力解决的核心问题。

研究团队不仅精确地描述了这个问题的存在，还设计了一套新的测量工具来量化这种偏差，并提出了一种仅需2800个训练样本就能显著改善现状的训练方法。这个数字相当精妙——在动辄需要百万级数据的深度学习领域，用不到三千条数据就能让模型发生实质性改变，颇有"四两拨千斤"的意味。

一、搜索引擎的语言翻译官是怎么工作的

要理解这项研究，首先得明白现代搜索引擎的核心机制。当你输入一个搜索词，搜索引擎并不是逐字逐句去比对文档里有没有相同的词，而是把你的问题和每篇文档分别"翻译"成一串数字——专业上叫做"嵌入向量"（embedding）。这个数字串就像是文本内容的数字指纹，意思越相近的两段文字，它们的数字指纹在数学空间里就越接近。

这个把文字变成数字指纹的过程，是由经过大规模训练的语言模型完成的。好的多语言模型，应该能把不同语言中意思相同的句子转化为非常相近的数字指纹。比如"苹果是水果"的中文版本和英文版本"Apple is a fruit"，在理想的多语言模型中，两者的数字指纹应该几乎一模一样，就像是同一张脸在不同语言的镜子里照出来的像。

然而研究团队发现，目前主流的多语言模型并没有做到这一点。英文文本的数字指纹往往比其他语言的数字指纹"更有优势"——即便是与查询内容完全不相关的英文文档，它的数字指纹也常常比内容高度相关的非英文文档更接近用户的查询内容。这就好比一台本该公平比较各国菜肴味道的机器，却天生对西餐的味道更敏感，结果总是把西餐排在前面，哪怕用户明明想找的是一碗正宗的东北猪肉炖粉条。

二、现有评测方式为何发现不了这个问题

弄清楚问题的存在之后，研究团队面临的第二个挑战是：为什么学术界长期以来没有发现这个严重的偏差？答案在于现有的评测方式本身存在盲点。

传统的跨语言信息检索评测，通常是这样设计的：文档库里全是英文文章，用户用另一种语言（比如中文）提问，考察系统能不能把相关的英文文章找出来。在这种纯英文文档库的设定下，系统对英语的天然偏好反而成了一种优势——因为所有候选文档都是英文的，偏好英文不会造成任何问题。

还有一种叫做多语言信息检索的评测，文档库里包含三种以上的语言，任务是从这个混合库里检索相关内容。但这种评测往往只关注"能不能找到"，而不深入分析"为什么找到了"或者"有没有因为语言偏见而错过了什么"。

研究团队意识到，要真正发现英语偏心问题，需要一种特殊的实验设置：文档库里同时包含英文文档和另一种语言的文档，而且这些文档是一一对应的翻译版本，意思完全相同。在这种设置下，如果用非英文语言提问，一个真正公平的系统应该同样容易找到对应的非英文文档，就像一个真正公平的裁判应该不管选手的国籍，只看表现一样。

三、用一把新尺子来量清楚问题有多严重

为了在这种新的实验设置下衡量系统表现，研究团队发明了一个叫做"Max@R"的新评测指标。这个指标的设计思路相当直觉化：当文档库里存在两个意思相同、语言不同的正确答案时，系统必须把这两个答案都找出来才算成功。Max@R记录的，就是系统找到所有正确答案时需要翻看多少篇文档——翻看的文档越少，说明系统越高效、越公平。

用一个生活化的场景来理解：假设你委托助理帮你在一个书架上找两本书，一本中文版、一本英文版，内容完全相同。助理从书架最前面开始找，如果他第15本找到了中文版，第300本才找到英文版，那么Max@R就是300。这说明助理对中文书的敏感度比英文书差得多——尽管两本书内容一样，他就是更容易"看见"英文书。

研究团队还配套设计了两个辅助指标。一个叫Complete@K，意思是"在前K个结果里，两个正确答案是否都出现了"，类似于考核助理在找前10本书时能不能把两本都找到，结果以百分比表示。另一个叫Max@Rnorm，是对Max@R的标准化版本，方便在不同规模的文档库之间进行横向比较，因为1000本书的库和100万本书的库里，"翻到第300本"的难度截然不同。

四、四大主流系统在新测试下的真实表现

研究团队用这套新的评测体系，对四个当前最主流的多语言文本嵌入模型进行了测试，分别是multilingual-E5-base、gte-multilingual-base、jina-embeddings-v3和bge-M3。测试语言覆盖了阿拉伯语、中文、西班牙语、泰语和越南语，以及另外五种语言（德语、希腊语、印地语、罗马尼亚语、土耳其语），使用的测试数据集是XQuAD和Belebele——两个经过专业人工翻译、质量有保障的多语言问答基准集。

测试结果相当触目惊心。以multilingual-E5-base模型为例，在传统的单语言文档库测试中，用英文提问和用中文提问的性能差距并不明显，Max@R的差值仅在个位数左右。但在新的双语文档库测试中，用中文提问时的Max@R值高达650.95，而用英文提问时只有53.04，差值接近600。这意味着，如果一个中文用户用这个系统搜索，系统需要翻阅大约650篇文档才能同时找到中文和英文的正确答案，而英文用户只需翻阅53篇。换句话说，中文用户需要付出英文用户十二倍以上的"搜索代价"，才能获得同等质量的服务。

即便是相对表现较好的bge-M3模型，差异同样存在，只是幅度较小。在西班牙语的测试中，该模型表现最为稳定，但在阿拉伯语和泰语上的表现明显较差，说明不同语言之间的对齐质量并不均匀——有些语言被"照顾"得好一些，有些语言则持续被冷落。

研究团队还观察到第三个问题：在双语文档库的场景下，几乎所有模型的Max@R值都高得离谱，在实际应用中完全不可用。如果一个搜索引擎要让用户翻阅数百篇文档才能找到所需信息，那它基本上就失去了搜索引擎存在的意义。

五、两步走的修复方案：让数字指纹真正说同一种语言

发现问题之后，研究团队设计了一套训练策略来修复这些模型。这套策略的核心思路是：既然问题出在不同语言的数字指纹不够接近，那就直接让它们在数学层面上更接近。

修复方案分成两个相辅相成的部分。第一部分解决的是"指纹不像"的问题。研究团队引入了一种叫做"詹森-香农散度"（Jensen-Shannon Divergence，JSD）的数学工具。这个工具的作用，可以用调色板来理解：如果说英文版文档的数字指纹是一种颜色，非英文版文档的数字指纹是另一种颜色，JSD就是衡量这两种颜色差异大小的尺子。训练时，系统会被要求尽可能让这两种颜色变得一致——也就是说，意思相同的文章，不管用什么语言写成，它们的数字指纹应该在数学空间里高度重合。

这种做法的精妙之处在于，它直接操作的是嵌入向量的"分布形状"，而不只是表面上的相似度分数。就像两幅画的整体颜色分布可以完全不同，即便你从两幅画里各取一个像素，这两个像素的颜色可能刚好相同——单看一个点是骗人的，看整体分布才是真的。研究团队在论文中也通过图示展示了这一点：用传统方法训练的模型，两种语言的嵌入向量在整体分布上差异高达18.61，而用新方法训练后，差异缩小到7.98，即便两种方法得到的余弦相似度同样是0.99。

第二部分解决的是"检索能力本身"的问题。研究团队使用了一种叫做InfoNCE的对比学习损失函数。这个部分的训练逻辑可以用"认亲游戏"来理解：系统被训练成能够在一堆人里认出"亲戚"——当给定一个英文查询，系统必须在一批候选文档里认出对应的非英文文档，并把它与其他不相关的文档区分开。通过反复练习这种"认亲游戏"，系统对跨语言语义相似度的感知能力会显著提升。

训练所用的数据格式是三元组：一个英文查询、一个对应的英文文档、以及这个英文文档的目标语言译版。训练数据来自MIRACL数据集的英文训练集，共2800个英文查询-文档对，然后用GPT-4o将英文文档翻译成各目标语言，从而得到训练所需的三元组。整个训练过程在两张NVIDIA A100 GPU上完成，每个模型只训练一个轮次，计算成本相对较低。

六、修复之后效果如何

经过这套方法微调之后，四个模型在各项指标上都取得了显著改善。以jina-embeddings-v3模型在中文场景下的表现为例，在XQuAD数据集上，英文查询和中文查询之间的性能差距从6.89个百分点骤降至1.77个百分点；在Belebele数据集上，这个差距从4.45个百分点缩小到几乎可以忽略不计的0.12个百分点。两种语言的用户终于站在了几乎相同的起跑线上。

在Max@R这个全召回排名指标上，改善同样惊人。multilingual-E5-base模型在中文查询下的Max@R从650.95降至23.10，意味着系统需要翻阅的文档数量从650多篇减少到23篇左右。这种量级的改变，已经足以让系统从"不可用"变为"实用"。

研究团队还专门设计了一个更严苛的测试场景，叫做Multi-1：在双语文档库里，故意把与查询语言相同的那个正确答案藏起来，只保留另一种语言的正确答案。这相当于要求系统必须跨越语言壁垒去找到那个"异国版本"的正确答案。在这个测试中，经过新方法微调的模型表现同样有明显提升，在所有语言对和两个数据集上都能看到NDCG@1指标的一致改善。

另一个重要的验证维度是：新方法有没有"拆东墙补西墙"，在改善跨语言表现的同时破坏单语言场景的性能？测试结果显示，在单语言同语言检索（Mono-Same）的场景下，新方法基本保持了原模型的水平，甚至在部分语言上略有提升。在单语言跨语言检索（Mono-Cross，即传统CLIR）场景下，新方法同样超越了基线模型。这说明提升跨语言对齐能力不仅没有伤害原有性能，反而对所有检索场景都有正向的迁移效应。

七、消融实验：两个组件缺一不可

研究团队还做了一组"拆零件"实验——分别去掉JSD损失和InfoNCE损失，看看少了哪个零件系统会如何表现。结果证明两个组件确实缺一不可，功能上高度互补。

单独去掉JSD损失之后，系统的跨语言语义对齐能力明显下降，说明InfoNCE单打独斗时只能提升检索层面的表现，而无法从根本上解决嵌入向量分布不对齐的问题。单独去掉InfoNCE损失之后，系统的检索能力大幅下滑——即便两种语言的嵌入向量在数学上对齐得很好，如果系统不知道怎么利用这种对齐来进行检索，对齐本身也是白费功夫。

研究团队还比较了另一种替代方案：仅用InfoNCE来拉近英文文档和目标语言文档之间的相似度（记作LNCEpsg），而不是用来拉近查询和文档之间的相似度。这种方案确实比纯基线模型有所改善，但与完整方法相比仍有明显差距。这个对比揭示了新方法的核心优势：它不是简单地让两个文档"看起来更像"，而是从根本上调整了嵌入空间的分布结构，让查询能够更有效地找到跨语言的相关文档。

八、研究的边界与未来

坦率地说，这项研究也有一些自认的局限。首先，所有实验都以英文为中心，研究的是英文与其他语言之间的偏差。现实世界中还有大量不涉及英文的语言对——比如中文和日文之间、阿拉伯语和波斯语之间——这些情况是否同样存在类似的偏差，目前还没有系统性的研究。

其次，实验场景主要局限于两种语言混合的文档库。真实的多语言搜索环境可能同时包含十几种语言，那种场景下问题会更复杂，现有方案是否同样有效，还有待验证。

第三，训练数据的翻译依赖GPT-4o进行机器翻译。机器翻译虽然质量较高，但相比人工翻译仍可能存在细微的文化语境失真，这可能在某些语言对上引入细小的系统性偏差。

说到底，这项研究做的事情，是给那些天生说"英文偏心话"的多语言搜索系统补上了一节"语言公平教育课"。现实中的信息检索场景远比学术评测复杂，但如果连最基本的"意思相同就应该得到相同排名"这条原则都难以保证，那多语言搜索的价值就要大打折扣。

归根结底，语言应该是获取信息的桥梁，而不是设置门槛的壁垒。一个泰语用户搜到的信息质量，不应该比英文用户差十二倍。这道理听起来再简单不过，但让机器真正理解并做到，仍然需要这样系统性的研究工作来一步一步推进。

对这个方向感兴趣的读者，可以通过论文编号arXiv:2604.05684查阅完整原文，深入了解技术细节和实验数据。

Q&A

Q1：Max@R这个新指标和传统的NDCG、MRR有什么区别？

A：传统指标如NDCG和MRR主要衡量"第一个正确答案排在第几位"，适合每个问题只有一个标准答案的场景。而Max@R针对的是每个问题有多个正确答案（比如同一内容的多语言版本）的情况，它记录的是"找到所有正确答案需要翻阅多少文档"，也就是最后一个正确答案出现的位置。这个数字越小，说明系统对不同语言的文档都能公平对待。传统指标在单语言文档库里根本发现不了英语偏心问题，但Max@R在双语文档库下能直接把这个差距数字化地展示出来。

Q2：跨语言信息检索训练只用了2800条数据，为什么这么少的数据也能有效果？

A：这套方法有效的关键不在于数据量，而在于训练目标的设计。JSD损失直接优化的是嵌入向量在数学空间中的分布形状，让不同语言的向量在整体结构上趋于一致，这是一种比较"深层"的调整，不需要大量数据就能让模型的内部表示发生实质性变化。InfoNCE损失则通过对比学习告诉模型"什么是跨语言的正确匹配"，这种明确的监督信号效率很高。此外，底层的多语言模型本身已经经过大规模预训练，具备相当的多语言理解能力，2800条高质量的微调数据足以引导它朝正确方向调整。

Q3：多语言嵌入模型的英语偏心问题是怎么产生的？

A：这个问题主要源于训练数据的不均衡。英文是互联网上数据量最大的语言，大多数多语言模型在预训练阶段接触的英文文本远远多于其他语言。模型见过更多英文数据，自然对英文的语义理解更精准、嵌入向量也更稳定。相比之下，泰语、阿拉伯语等语言的训练数据少，嵌入向量的质量相对较低，与英文向量之间的对齐也就不够紧密。这就像一个从小只吃川菜的厨师，突然让他评价日料和法餐的味道，他的判断难免带有偏差，因为他的味觉标准本身就是按川菜校准的。