四川大学与华为联手：为什么AI做逻辑题时"中文版"会突然变笨？

这项由四川大学数学学院与华为技术有限公司2012实验室理论实验室联合开展的研究，于2026年6月16日以预印本形式发布在arXiv平台，编号为arXiv:2606.17905v1，研究方向归属于计算机科学中的计算与语言领域（cs.CL）。感兴趣的读者可以通过该编号在arXiv上查阅完整论文。

你有没有遇到过这样一个生活场景：同一道逻辑谜题，用英文写出来，AI秒秒钟给出正确答案；但换成中文，哪怕意思完全一样，AI就开始磕磕绊绊，甚至给出截然相反的结论？这背后到底发生了什么？研究团队为了搞清楚这个问题，专门设计了一套叫做"CHLOGIC"的测试工具，像一个精密的语言检测仪，专门用来量化AI在中英文逻辑推理之间的能力差距。

**一、一张考卷，两种语言，测出AI的"中文软肋"**

要理解这项研究做了什么，可以先想象一个场景：某个学生用英语考试能得满分，但同样的试卷翻译成中文后，他的分数却大幅下滑。这并不是因为题目的逻辑变了，而是因为语言本身带来的"包装"让他产生了误解。AI面对逻辑推理任务时，恰恰存在类似的问题。

现有的逻辑推理基准测试（也就是用来衡量AI能力的标准化考题集）大多是英文的，或者即便有中文版本，也只是简单翻译，并没有系统地检验：当同一个逻辑结构以不同的中文表达方式呈现时，AI的判断是否还保持一致。CHLOGIC就是为了填补这个空白而诞生的。

研究团队构建CHLOGIC的核心思路，就像是给同一块乐高积木套上不同颜色的外壳，然后问AI："这些外壳里装的是同一种积木吗？"逻辑结构是固定不变的积木本体，而中英文的不同表达方式就是五花八门的外壳。如果AI真的理解了逻辑本质，那不管外壳怎么变，它的判断都应该保持一致。

**二、这套考卷究竟是怎么设计的？**

CHLOGIC由三个部分组成，各有侧重，共同构成一个覆盖面广、难度分层的测试体系。

第一部分叫做"通用对齐集"（General aligned set）。研究团队从九大逻辑模板家族中提炼出60条基础逻辑命题，涵盖从最基础的"如果P则Q，P成立，那么Q成立"（这叫假言推断，日常生活中无处不在）到更复杂的关系逻辑和多步推理链条。每条命题被实例化为50个具体场景（比如把抽象的"P→Q"替换为"如果李明认真读题，那么他会通过考试"这样的具体故事），一共生成3000道题。每道题都有一个英文版本，外加五个中文版本。五种中文版本各有特色：标准中文是直接照着英文逻辑结构翻译过来的忠实版本；自然书面中文是更流畅、更符合中文书面语习惯的写法；口语化中文是平时说话那种随意的表达；反问式中文是用问句形式来表达同一个逻辑判断（比如"他不就是因为认真读题才通过考试的吗？"）；扰动中文则是加入了干扰信息、词序变化或者语用歧义的版本。这三千道题，每道的逻辑答案是固定的（"是"或"否"），只有表达外壳不同。

第二部分叫做"困难对齐集"（Difficult aligned set）。研究团队从数理逻辑教科书中精选了40个高难度逻辑骨架，这些题目涉及量词交换（比如"对所有x存在y"和"存在y对所有x"在逻辑上完全不同，但中文表达很容易混淆）、关系属性（传递性、反传递性、对称性、反对称性）、唯一性和等价性推理。这40个骨架同样各自实例化为50道题，共2000道，每道也配有英文版和五种中文版。

第三部分叫做"纯中文集"（Chinese-only set）。这部分完全没有英文对照，专门针对中文独有的语言现象。研究团队设计了15种现象类型，每种100道题，共1500道。这15种现象包括：条件标记词的区分（"只要A就B"表示A是B的充分条件，而"只有A才B"表示A是B的必要条件，两者逻辑方向完全不同）、部分否定与全称否定（"不都是"和"都不是"在中文里很容易混淆，但逻辑含义截然不同）、"不一定"与"一定不"的区别、多重否定、反问句（反问句的字面意思和实际意思往往相反）、省略成分（中文句子里经常省略主语或宾语，但AI需要能猜出省略的是谁）、多义词、分词歧义（同一串汉字可以切分出不同的词，产生不同意思）、模糊量词（"大多数""基本上""不少"这类词的逻辑力度是模糊的）、比较结构、时序与因果的混淆（"A之后B发生了"不等于"因为A所以B"）、让步与转折、反讽与讽刺（字面说的和真实意思相反）、成语与网络用语（不能从字面意思推断逻辑含义）以及规则式中文、品牌名称和谐音词造成的概念混淆。

在题目标签设计上，通用对齐集和困难对齐集只有两个标签——"是"和"否"。"是"表示结论确实能从前提中合理推出；"否"表示结论要么被前提反驳，要么推理方式本身是无效的（即使结论本身不是明显错误的）。纯中文集则多了第三个标签——"不确定"，专门用于那些因为中文表达的模糊性，使得单凭给定信息真的无法判断结论是否成立的情况。

**三、"考官"是如何出题的？**

整个题库的构建流程就像一个严格的质检流水线，分为六道工序，人机协作完成。

流程的起点是由研究人员手工确定逻辑模板、前提条件、目标问题和正确答案——逻辑骨架和标准答案是人定的，AI只是负责给这个骨架套上不同的语言外衣。出题时，DeepSeek-V3负责生成六个版本的表述（一个英文，五个中文），Yi-1.5-34B-Chat则充当独立"审查员"，检查每个版本是否忠实地保留了原始前提、目标问题和正确答案，有没有偷偷加进新的前提，或者删掉了判断所必需的信息。在这一轮检查中，共有300道候选题被标记为需要修改，随后由DeepSeek-V3重新生成修订版本。最终，所有留下来的题目还要经过人工审查员的逐一审核，确认中文表达是否自然流畅、语义是否与逻辑模板对齐，有100道题在这一关进行了手工修订，没有任何题目被直接废弃。整个过程中，被用来接受测试的Qwen3、Ministral和GLM等AI模型完全没有参与题库构建，避免了"自己出题自己考"的问题。

这套制作流程的精髓在于：逻辑结构和答案由人类锁定，AI只负责语言层面的创作，并由另一个AI进行初步质检，人类做最终把关。

**四、AI们在考场上表现如何？**

研究团队选择了五款当时颇具代表性的大型语言模型参与测试：Qwen3系列（包括0.6B、8B、14B、32B四个规模版本）、Ministral系列（3B和8B两个版本）以及GLM-5.1。所有模型都在零样本设置下作答——也就是说，AI没有事先看过任何类似的例题，直接上场。

测试结果揭示了一个清晰的规律，像是一幅凸显中英文鸿沟的地图。以GLM-5.1为例，它在通用对齐集的英文题上能拿到98.30%的正确率，几乎接近满分；但面对同样逻辑内容的反问式中文版本，正确率跌到了78.89%，足足下降了近20个百分点。在更难的困难对齐集上，这种落差更加明显：GLM-5.1的英文正确率是84.70%，但面对反问式中文版本时，正确率只剩下52.30%，基本上接近瞎猜的水平。

Qwen3-32B是所有参测模型里整体表现最强的。它在通用英文题上几乎完美，达到99.07%；在通用中文的五种变体上，标准中文95.73%、自然书面中文93.33%、口语化中文95.70%、扰动中文97.00%，只有反问式中文稍微低一些，也有93.53%。这说明足够大的模型在常规逻辑题上已经相当能适应各种中文表达。但一旦切换到困难集，Qwen3-32B的英文正确率是96.05%，而反问式中文版本立刻跌到了69.35%，差距依然触目惊心。

Qwen3-8B的情况则更能说明模型规模的影响。它的通用英文正确率是98.40%，看起来很好；但通用中文五个变体的平均正确率只有79.61%，反问式中文更是只有68.69%。困难集上的英文是80.50%，反问式中文直接跌到34%。这个数字意味着在这类题上，Qwen3-8B的表现还不如随机猜测两倍准确——因为题目只有"是"和"否"两个选项，随机猜测的期望正确率已经有50%了。

更值得关注的是模型规模与中文鲁棒性的关系。在Qwen3系列内部，随着模型从8B扩展到14B再到32B，通用中文题的平均正确率从79.61%升到85.28%再升到95.06%。提升最明显的恰恰是反问式和扰动式这两类最"非常规"的中文表达，反问式从68.69%一路涨到93.53%。这说明更大的模型确实在"读懂"非标准中文表达方面有显著进步。但即便是最大的Qwen3-32B，在困难集的反问式中文上也只有69.35%，说明这个问题并没有被规模完全解决。

Ministral-8B呈现出一个有趣的反常现象：它的通用英文正确率是92.03%，比几个Qwen3的大模型低不少，但在困难集的某些中文变体上，它的表现反而比更强的模型更好。比如困难集的自然书面中文，Ministral-8B达到77.05%，比Qwen3-8B的61.58%和Qwen3-14B的60.42%都高出一截。这说明"英文逻辑准确率高"和"中文逻辑鲁棒性强"并不是同一回事，是两种可以相对独立发展的能力。

Qwen3-0.6B和Ministral-3B的表现则暴露了另一类问题：它们的分数不是真正意义上的逻辑推理，而是被答案分布带跑偏了。Qwen3-0.6B几乎对所有题目都回答"是"，而通用对齐集恰好有78.33%的题目答案就是"是"，所以它"无脑"回答"是"也能得到78.30%的正确率——这显然不是真正的推理。Ministral-3B则相反，它极度倾向于回答"否"，而在某些"否"答案占多数的题型上就显得格外"准确"，但在"是"答案占多数的题型上几乎全军覆没。研究团队专门为这两个模型做了更细致的偏差感知指标分析，发现它们的平衡准确率（即在"是"和"否"两类题上分别计算准确率后取平均）远比总体准确率低，Qwen3-0.6B的平衡准确率只有50%，完全等于随机猜测。

**五、到底是"看不懂逻辑"还是"读不懂中文"？**

光知道AI在中文上分数低还不够，研究团队想进一步搞清楚：AI的错误到底是因为它不会逻辑推理，还是因为它没能从中文表达中正确理解逻辑结构？这两者的区别很重要，就好比一个人解不出数学题，你需要先判断他是不懂数学，还是看不懂题目的中文描述。

为了区分这两种错误来源，研究团队设计了"回译探针"实验。做法是把标准中文版本用DeepSeek-V3翻译回英文，然后用这个"经过中文转了一圈再回来"的英文版本重新测试AI，看看分数会怎么变化。

在通用对齐集上，回译的效果非常显著。Qwen3-8B在标准中文上的正确率是90.53%，翻译回英文后飙升到99.10%，几乎追平了直接用英文原版的98.40%。Qwen3-32B从95.73%升到99.30%，GLM-5.1从92.60%升到97.73%。这个模式在几乎所有模型和所有逻辑家族上都成立，尤其是命题等价法则、谓词基础和量词等价法则这些类别，回译后的提升最为明显。这强烈暗示：在通用逻辑任务上，AI的中文错误中有相当大一部分不是因为它不懂逻辑，而是因为它没能从中文表达中准确"解码"出逻辑结构。一旦把中文转换回英文，那层语言障碍消失了，AI的逻辑推理能力就能重新发挥出来。

但在困难对齐集上，情况就复杂多了。Qwen3-8B和Qwen3-14B回译后有明显提升（分别提高22.10和23.47个百分点）；Ministral-8B小幅提升了3.10个百分点；但Qwen3-32B回译后反而下降了4.10个百分点（从83.10%跌到79.00%），GLM-5.1更是大幅下滑了18.05个百分点（从81.00%跌到62.95%）。这说明回译并不是一个中立的"去除中文噪音"的操作——翻译本身可能简化了措辞、改变了语气、丢失了有助于判断的细节，甚至引入了新的英文歧义。对于足够强大的模型来说，原版中文里其实包含了有用的信息，回译反而帮了倒忙。

在纯中文集的15种现象上，回译的效果也是高度分化的。对于省略成分类（原本中文省略了主语或宾语，回译后补全了），Ministral-8B的正确率从20%一跃到100%，堪称戏剧性反转。时序与因果混淆类也有类似效果。模糊量词类在多个模型上回译后都有大幅提升。然而，反讽类题目在Qwen3-14B上回译后从79%大幅跌到18%，谐音词和品牌名称类在Ministral-8B上从98%跌到30%。这两类现象之所以回译后变差，是因为讽刺的语气和谐音造成的双关在翻译过程中被抹平了，原本AI还能靠中文语境猜出来，翻译成直白英文后反而失去了线索。

**六、哪些逻辑类型最容易让AI在中文里出错？**

研究团队还对不同逻辑模板类型的错误进行了深入分析，发现了几个特别容易踩坑的区域。

命题等价法则是最稳定的"绊脚石"。所谓等价法则，指的是一些像数学恒等式一样成立的逻辑变换，比如"非(P且Q)"等价于"(非P)或(非Q)"（这就是著名的德摩根定律）。在英文里，Ministral-8B对这类题的正确率是94.67%，但标准中文只有23.56%，反问式中文更只有8.00%——几乎就是在瞎猜。GLM-5.1在英文等价法则上有98.22%的准确率，标准中文78.22%，但自然书面中文只剩34.44%，反问式中文43.33%。这说明等价关系需要全局追踪和真值条件比较，而中文的各种改写方式极容易打乱这种精确追踪。

无效推理与逻辑谬误类的情况则出现了一个反直觉的现象：在某些谬误模板上，中文版本的正确率反而高于英文版本。以Ministral-3B为例，它在英文无效推理题上得了91.50%，但五种中文版本上竟然全部达到100%。Ministral-8B在英文无效推理上73.25%，但标准中文达到94.75%。研究团队的解释是：某些谬误在中文的"忠实翻译"版本里表达得更清晰、更直白，让无效推理的错误更容易被识别出来；而英文原版可能因为措辞太简洁，反而让AI没有足够的语义线索去判断。这个发现非常重要，它提醒我们不能笼统地说"AI在逻辑谬误上表现差"——准确的说法应该是"AI在识别逻辑谬误方面对表达方式极度敏感，同一个谬误用不同语言或不同措辞写出来，识别率可以相差悬殊"。

研究团队还进行了一组针对性的增强实验：专门选出几个英文原版正确率出人意料地低的逻辑模板，然后制作了措辞更加明确、逻辑关系交代得更清楚的增强版英文表述。结果显示效果非常显著——对于Qwen3-8B，"分支推理"类模板的英文原版正确率只有10%，增强版直接达到100%；Qwen3-14B在分支推理上英文原版是0%，增强版同样到了100%。"无效量词分配"、"存在谬误"、"大项不当"、"小项不当"等模板上也出现了类似的大幅提升。这再次证明：AI的许多逻辑错误根源在于读不准表达方式，而不是真的不懂背后的逻辑规则。

**七、中文独有的语言现象，AI应对得怎么样？**

在纯中文集的15类现象上，不同模型展现出了截然不同的强项和弱点，整体正确率也普遍低于通用对齐集，说明这部分确实更难。

条件标记词（只要/只有/除非/否则）是区分充分条件与必要条件的核心，多数模型在这类题上的正确率只在60%至78%之间，远未达到令人满意的水平。部分否定与全称否定（不都是 vs. 都不是）同样困难，Ministral-8B只有43%，Qwen3-32B只有51%。时序与因果混淆是所有现象类型中最难的，Ministral-8B的原始中文正确率竟然是0%，其他模型也普遍在13%至40%之间——大约与随机猜测旗鼓相当。模糊量词类的Qwen3-32B只有10%，Ministral-8B只有12%，GLM-5.1表现最好但也只有91%。

相比之下，多义词与同形字类、品牌名和谐音词类、法规规则式中文等现象上，多数模型表现较好，正确率普遍在80%至100%之间，说明现代大模型对这些表层词汇特征的处理已经较为成熟。反讽类在Qwen3-32B上有96%，GLM-5.1有95%，Ministral-8B竟然也达到100%——这有些出乎意料，说明这些模型在识别中文反讽的常见句式上还是有一定积累的。

**八、所有这些发现意味着什么？**

归根结底，这项研究用严谨的数据告诉我们一件很有价值的事：当今最强大的AI在逻辑推理上的能力，有很大一部分是"英文特权"——它们在英文逻辑题上磨砺出来的本领，并不能自动迁移到中文的各种表达方式上，尤其是那些利用了中文特有句式、语气、量词或语用现象的表达。

这背后有两层独立的挑战。第一层是"读懂逻辑结构"——从一句话里正确提取出逻辑关系（谁是条件，谁是结论，否定的是哪一部分）。第二层是"按逻辑推理"——在读懂结构之后，正确地判断结论是否成立。现有的大多数逻辑基准测试主要考的是第二层。而CHLOGIC的特殊价值在于，它通过把逻辑结构固定、只改变中文表达方式，把第一层的挑战单独剥离出来，让我们能清楚地看到：相当多的错误，其实发生在第二层推理开始之前的第一层"解码"阶段。

研究结果还有一个实践启示：当AI系统被部署在中文自然语言处理场景中，比如合同审查、规则判定、逻辑问答等需要精确逻辑判断的场合，仅凭英文基准测试上的高分，并不能保证中文场景下的可靠性。尤其是在涉及反问、多重否定、条件标记词混淆、时序因果混淆等中文特有表达时，AI的判断可能会出现令人意外的错误。

当然，这项研究也有其局限性。CHLOGIC是基于模板驱动的合成数据集，覆盖的是结构化的逻辑推理场景，并不能代表日常语言中所有类型的推理。参与测试的模型只有七个，而且AI模型的能力还在持续迭代更新。尽管题目经过严格的人工审核，用AI生成的中文变体也可能残留一些不自然的痕迹。回译实验本身也是一个经过AI中介处理的变换，并不是真正"中性"地去除了中文影响，而是引入了翻译层面的新变量。

CHLOGIC最重要的贡献，不是宣布AI有多差或多好，而是提供了一个可以细粒度、可重复、可控地衡量"多语言逻辑鲁棒性"的工具。有了这个工具，未来的研究者可以更清楚地追踪：当模型迭代改进后，中文逻辑理解的哪些弱点被修复了，哪些依然存在，从而为AI在多语言环境下的实际可靠性提供更有说服力的评估依据。

Q&A

Q1：CHLOGIC基准测试和普通的逻辑推理数据集有什么区别？

A：普通逻辑推理数据集大多是英文的，或者即便有中文版也只是简单翻译，无法区分模型到底是"不懂逻辑"还是"读不懂中文表达"。CHLOGIC的特殊之处在于，它把同一个逻辑结构同时用英文和五种不同风格的中文写出来，而且答案是锁定的。这样，如果模型在英文上答对、在中文上答错，就说明错误出在语言解码阶段，而非推理阶段本身，为诊断AI的中文逻辑弱点提供了更精准的工具。

Q2：中文里的"只要"和"只有"为什么会让AI产生逻辑错误？

A：这两个词在日常中文里看起来很相似，但逻辑含义完全不同。"只要A就B"表示A是B的充分条件，意思是有A就必然有B；"只有A才B"表示A是B的必要条件，意思是没有A就不会有B。两个方向恰好相反。AI在处理这类题时，如果没有准确捕捉到这个区别，就会把充分条件和必要条件搞混，得出错误的逻辑结论，而这类错误在CHLOGIC的测试中非常普遍。

Q3：回译实验为什么在困难题上反而让AI表现变差？

A：回译（把中文翻译回英文后再测试）在简单题上通常有帮助，因为它消除了中文表达带来的歧义。但在困难题上，情况会反过来：原版中文可能包含一些有助于判断的语境线索，翻译成英文后这些线索丢失了。此外，翻译本身可能引入英文表达的新歧义，或者改变措辞的精确度。对于Qwen3-32B和GLM-5.1这类足够强的模型，原版中文反而是更好的输入，回译后分数反而下降了。