给希腊语装上大脑：当AI学会用小语种"思考"，我们发现了什么

2026年,三个实验室的AI模型被同时要求做一件事:用希腊语进行推理。

不是"用希腊语回答问题"，这个早就有模型能做到。而是用希腊语思考问题,把整个思考过程用希腊语写出来,让使用者能看懂、能审查、能纠错。

结果发现,在这之前,没有一个模型真正做到过这件事。

这篇论文出自一家叫Sophea AI的公司,他们选了三个各自代表不同技术路线的开源模型,阿里巴巴的Qwen、OpenAI的Gpt-OSS、英伟达的NemotronH,给它们做了同样的希腊语推理微调。原本的研究计划很简单:训练,测试准确率,发论文。

但真正有意思的部分,是他们撞上的一连串意外。

一开始,团队像所有人一样,盯着准确率这个数字看。训练前后对比,分数几乎没变。这在做模型微调的人眼里几乎是灾难性的结果,意味着几个月的工作可能白费了。

于是他们做了一件几乎所有论文都不会做的事:换个随机种子,把训练重新跑一遍,其他什么都不变。

结果分数上下浮动了7.7个百分点。

这个数字比他们之前测试过的所有数据处理方法、所有训练配方调整带来的效果差异都要大。换句话说,过去几周他们辛辛苦苦调整语料库、换训练方案,以为自己在改进模型,实际上很可能只是在随机噪声里打转。

随机种子

*随机种子*：决定模型初始参数和训练数据顺序的一个数字,理论上不应该影响最终效果的方向性,只应该带来微小抖动。

这就像你想知道两杯咖啡哪杯更浓,但你从来没测过同一台咖啡机连续煮两杯的浓度差异有多大。如果连续煮出来的两杯咖啡浓度本身就能差出一大截,那你拿"换了新豆子"和"没换豆子"的两杯做对比,得出的结论可能完全是噪声在说话,不是豆子的功劳。团队之前一直在比较"用了新语料"和"没用新语料"这两杯咖啡的浓淡,却从没测过咖啡机本身的抖动有多大。如果不做这个种子对照实验,论文里原本准备写的五六个"重要发现",可能没有一个是真的。

这次意外的发现,把整篇论文的方向彻底改写了。团队开始意识到,准确率这个单一数字,对一个小语种推理模型来说,可能压根不是正确的度量方式。他们转而去看那些准确率这个数字根本捕捉不到的东西:模型到底用什么语言在思考,它花了多少计算资源,它能不能分辨题目的难易程度,它又在哪些地方悄悄退化了。

零,一个惊人的数字

在深入这些新维度之前,有一个数字值得单独拎出来说。

研究团队测试了三个模型的基础版本,也就是没有经过任何希腊语推理微调的原版模型,给它们1000道希腊语题目,让它们开启"思考模式"作答。

统计结果显示,这些基础模型在用希腊语思考的比例是:零。

一千次尝试,零次成功。哪怕问题本身是希腊语写的,模型的内部推理过程也几乎从来不会切换到希腊语,而是习惯性地用英语打草稿,读起来像是"我们需要用希腊语回答一个选择题……"这样的中英混杂开场,然后再把最终答案翻译成希腊语呈现给用户。

这意味着什么?意味着一个希腊用户提问,模型内心其实在用英语盘算,用户看到的希腊语答案,只是英语思考过程的翻译产物。如果这个思考过程出了错,用户根本没办法读懂中间发生了什么,更别提去纠正它。

这就好比你请了一位翻译帮你处理合同谈判,对方开出的条件,翻译先在自己脑子里用他的母语盘算了一整套利弊,只把最后的结论翻译给你听。你以为你在直接参与谈判,其实你连谈判过程的一半都看不到。如果不让翻译的思考过程本身也变得透明,你永远无法判断这个结论是怎么来的,更没法在谈判过程中及时插话纠正方向。

这个"零"就是整篇论文真正想解决的问题:如何让模型的思考过程,而不仅仅是最终答案,变得对希腊语用户可读、可审、可控。

监督微调做到了什么

*监督微调*（SFT）：给模型展示大量"问题-推理过程-答案"的样本,让模型模仿着学会类似的推理方式,是目前训练AI模型最常用的方法之一。

团队构建了一个包含约11.8万行希腊语数据的训练语料库,一半带有完整的推理过程记录,另一半是普通的问答对话数据。有意思的是,这些推理过程本身也是精心设计出来的,不是简单翻译英文数据集的内容。

团队发现,直接把英文的推理链条翻译成希腊语,会得到一种"整洁的总结",而不是真正展现思考轨迹的文字。所以他们改用另一种做法:让一个大模型重新用希腊语从头解答每一道题,只保留那些最终答案和标准答案一致的推理过程,答案不对的直接丢弃,绝不修补。

这里有个细节值得展开讲讲。团队设计了一套打分标准来衡量什么样的推理文字才算"好",核心看的不是对错,而是文字里有没有真实思考的痕迹,比如尝试了一种解法后发现不对、进行了自我验证、中途改变了方向。他们测试了一个公开的希腊语常识推理数据集,发现里面人工写的解释文字得分只有0.27分,几乎没有一条超过及格线;而用他们的方法重新生成的推理文字,得分跳到0.68分,97%都超过了及格线。

这就像批改学生的解题过程,一份作业写着"答案是C,因为其他选项都不对",另一份写着"我先试了A,算出来不符合条件,又试了B,发现漏掉了一个前提,最后确认是C"。两份作业的最终答案可能一模一样,但后一份才真正展示了这个人是怎么想问题的。如果只满足于第一种写法,你训练出来的模型学会的只是"报答案"的套路,而不是真正的推理习惯。

微调之后,效果如何呢?

论文给出的数字相当亮眼:四个正式发布的模型,推理过程用希腊语的比例从零跳到了97.4%到98.1%之间。语法评审也全面向好,四个模型的语法正确性都有提升,而且提升幅度最大的恰恰是原本表现最弱的那些模型。整体能力方面,和各自的基础模型相比,差距都在几个百分点以内,说明微调没有让模型变笨,只是让它换了个语言习惯思考。

推理预算:省下来的钱去哪了

除了语言切换,团队还测量了另一个维度:模型思考时到底花了多少"字"。

在准确率完全相同的情况下,基础模型平均每道题要写1010个词的推理过程,而微调后的模型只需要150个词。这看起来是个巨大的进步,毕竟推理越简洁,理论上服务器成本越低。

但这里藏着一个陷阱,团队管它叫"分词膨胀"问题。

*分词*（tokenizer fertility）：AI模型不是按"字"计费的,而是按内部切分出的"token"数量计费,不同语言切分出的token数量差异很大。

希腊语每个词平均要消耗2.3到2.5倍于英语的token数量。这意味着,如果你只看"词数"减少了多少,可能会得出一个错误的省钱结论,因为希腊语本身的token成本就更高。

团队用每个模型自己的分词器重新计算了token成本,结果发现三个模型家族的表现截然不同:阿里的Qwen模型确实省钱了,微调后的token消耗只有基础模型的三分之一;英伟达的NemotronH打了个平手,基本没有变化;而OpenAI的Gpt-OSS反而更贵了,微调后的token消耗是原来的1.6倍。

这就好比三家外卖平台都宣称"配送时间缩短了",但你发现其中一家统计的是"骑手实际骑车时间",另一家统计的是"从下单到送达的总时间",第三家干脆换了个更堵车的路线来省油钱。如果你不把计费单位统一,光看"缩短了"这个说法,根本判断不出谁是真的省了成本。这也是为什么团队坚持用"词数"作为跨语言公平比较的单位,同时额外补充token数据,让读者自己看清楚哪个层面的省钱是真的省钱。

模型能分辨难易吗

这一部分的发现,可能是整篇论文里最能体现微调价值的地方。

团队设计了一个指标,专门衡量模型是不是"对着简单题目也使劲刷时间"。他们统计每道题在所有测试模型上的平均推理长度,如果某个模型在一道"至少80%的模型都能答对"的简单题目上,推理长度却达到了平均值的三倍以上,就判定为"超支"。

结果显示,基础模型在98%的简单题目上都出现了这种超支现象,而且更让人意外的是,它在简单题目和困难题目上的超支比例几乎一模一样,都在98%左右。

这说明什么?说明基础模型压根不知道一道题是简单还是困难,它对每道题都用同样多的力气去"想",无论这道题是不是三下五除二就能解决的。

而微调后的模型,超支比例直接降到了0.2%到12%之间,并且在困难题目上花的时间明显比简单题目多。

这就像一个刚入职的新员工,不管任务是回复一封简单邮件还是撰写一份复杂报告,都要反复检查修改二十遍,因为他分不清哪个任务值得认真对待、哪个任务简单处理就行;而一个有经验的老员工,简单邮件几分钟处理完,复杂报告才会花心思反复打磨。如果一个AI系统不具备判断任务难度的能力,即使它最终答案是对的,它消耗的算力成本也会高得不成比例,尤其是在需要大规模部署、每天处理成千上万个请求的场景下,这种"一视同仁"式的低效会被无限放大。

被误判的"遗忘"

微调一个模型,人们最担心的就是"学了新的,忘了旧的",这在机器学习里叫灾难性遗忘。

论文里有一段特别值得说的插曲。团队最初发现,微调后的模型在常识推理测试上,普遍出现了3个百分点左右的下滑,而且是十二个不同训练版本全部出现同样的下滑趋势。这看起来就是教科书级别的"学了希腊语,忘了常识"的证据。

但当团队换了一种提问方式重新测试,要求模型只回答一个选项字母,而不是写一大段解释,这个下滑现象直接反转成了1.7个百分点的提升。

真相是什么?真相是模型的常识判断能力从来没有丢失,只是当它被要求写长篇大论的推理过程时,某种格式上的习惯变化让它在最后给出答案时"绊了一下"。这不是能力问题,是表达方式的问题。

这就像一个老师傅做菜手艺没退步,但你要求他一边炒菜一边用蹩脚的英语解说每一步操作,他解说时磕磕巴巴,你可能会误以为他厨艺变差了。让他用熟悉的方式操作、只在最后报菜名,他立刻恢复水平。如果只看"一边解说一边炒菜"这个特定场景下的表现,就下结论说"他厨艺退步了",那就冤枉他了。

团队还专门找了语言评审来打分,考察模型在语域控制（该用正式语气还是随意语气）和语法准确性上的表现。结果是语域控制在所有模型上都没有丢失，甚至原本表现最弱的两个模型还有提升；语法正确性更是全面进步，进步最明显的恰恰是原本语法最差的模型。

六次"仪器说谎"的经历

这篇论文最让人印象深刻的地方,可能不是它证明了什么,而是它诚实地记录了自己被误导过多少次。

团队总共遇到了六次"自己搭建的测量工具出了问题"的经历,每一次都曾让他们相信了一个后来被推翻的结论。

第一次,他们的评分程序没有专门去找模型要求写的那句"答案是某某"的固定格式,而是扫描整个回答文本,让最后一次提到的选项获胜。这导致一个话痨型模型,哪怕正确说出了答案,又花大段篇幅解释"为什么其他选项不对",最后被这套评分逻辑误判成了错误答案。这个漏洞在某次测试里制造出29.8个百分点的虚假优势,相当于18倍标准差,一个统计学上几乎不可能出现的极端偏差。

第二次就是前面提到的常识推理"假性遗忘"事件。

第三次更微妙:团队发现他们的逻辑推理测试题库里,有38.9%的题目和训练数据来自同一个题库,属于事实上的"考试泄题",尽管表面看起来是两个独立的数据集。这种污染肉眼几乎看不出来,常规的文本重复检测方法也没能第一时间发现,是团队后来专门核查才揪出来的。

第四次,团队用机器翻译的方式把一个英文数学测试集扩充成希腊语版本,却没意识到用来做翻译的AI模型,和用来生成训练数据的AI模型是同一个"家族"。结果微调后的模型对这种翻译腔调格外适应,在机器翻译的题目上得分虚高,而在人工翻译的对照组题目上,基础模型反而领先。这暴露了一个容易被忽略的坑:如果你用AI翻译搭建测试基准,又用同一个AI家族生成训练数据,你的微调模型会因为"读懂了同一种翻译腔"而作弊得分,而这种作弊,常规的数据污染检测完全查不出来,因为题目本身确实是全新的,只是"口音"被模型摸透了。

第五次是个技术细节但影响深远的错误:希腊语和多数欧洲语言一样,用句点分隔千位,用逗号表示小数点,这和英语的书写习惯正好相反。团队的答案提取程序按照英语习惯处理数字,导致模型正确地用希腊语格式写出17.500（十七点五千）这样的答案时,被误判为17.2这样的错误数值。这个错误发现得晚,但影响范围小,只影响了个别测试题,没有改变论文的最终结论,但它揭示的问题很有普遍意义:给非英语语言设计的测试工具,必须专门检验它在目标语言自己的数字书写习惯下能不能正常工作,不然它会把流利的目标语言表达,误判成错误。

第六次是在做强化学习实验时,团队发现某个默认设置悄悄地把"要求模型深度思考"的模式关掉了,导致他们花了四个GPU、整整四小时跑出来的结果,其实测的根本不是他们以为的那个模式,而是另一套设置下的数据,文件名却写着原本预期的模式名称。整个过程没有报错、没有警告,数字看起来完全合理,却是错的。

这六次经历共同指向一个道理:一个自动化的测量工具,完全有可能对整门语言都产生系统性偏差,却在所有的英语测试里表现得完美无缺,不会露出任何破绽。这也是为什么团队反复强调,每一个行为指标都需要一个"对照组"来验证,而不是简单的归一化处理就能解决问题。

三种训练配方的较量

论文里还有一段独立的对比实验,虽然团队自己也说这不是论文的主线,但很值得单独讲讲,因为它解释了另一个重要的失败模式。

训练语料库分成两半,一半带推理过程,一半是普通问答对话。团队试了三种组合方式。

第一种,把两半数据混在一起,一次性训练。结果模型学会了"不管三七二十一先给答案",哪怕明确要求它进行深度思考,它也有23.6%的概率直接跳过推理过程,交一份空白的思考记录。

第二种,先用推理数据训练,再接着用混合数据继续训练。这修复了"跳过思考"的问题,空白思考记录的比例降到了1.3%以下,但带来了新麻烦:模型开始经常不按要求的格式给出最终答案,这个格式失败率从12%飙升到33%到40%。

第三种,只用推理数据训练,完全不碰普通问答数据。这个方案的准确率和格式合规率都是最好的,代价是模型失去了"直接对话不深度思考"这个模式的能力。

团队后来专门做了一个统计:把"只用推理数据"和"两阶段混合训练"这两种做法,累计跑了15次独立训练,用统计学方法对比,得出"只用推理数据训练平均高出6.9个百分点"这个结论,而且这个结果在概率上非常显著,不太可能是偶然。这也是整篇论文里,唯一一个经受住了随机种子噪声考验、真正站得住脚的准确率层面的发现。

这就像开一家餐厅,同时经营外卖和堂食两种业务,如果厨师被要求两种订单混着做,他可能会习惯性地走捷径,把堂食也当外卖简化处理;如果先专门练一段时间精致堂食手艺,再插入外卖训练,堂食质量保住了,但上菜规范可能会乱套;如果干脆专心只做堂食,不接外卖单子,出品质量和规范性都是最好的，但这家店就没法做外卖生意了。选哪种方案,取决于你到底需不需要外卖这项业务,这是一个业务取舍,不是谁天生更优越的问题。

修复语言死锁

前面提到,微调后的某个版本被明确要求"用英语来思考"时,却依然一字不差地用希腊语作答,一千次尝试,一次都没有听从指令。

团队管这个现象叫"语言死锁"。

深挖之后发现,问题的根源不在于教会模型说希腊语这件事本身,而在于训练数据只朝一个方向设计:全都是"希腊语问题配希腊语推理"。模型因此学会了一种过于死板的规则,不管指令怎么说,一律用希腊语思考。

解决方法是重新设计训练数据,让希腊语问题配希腊语推理、英语问题配英语推理,两种语言方向都要覆盖到,并且严格筛选掉那些推理过程中途"串台"的样本。

这个调整之后,重新训练出来的模型在1900道英语问题上,100%都用英语进行推理,一次语言混杂都没有出现。同时,在希腊语测试上,依然保持97.98%的希腊语推理比例。

更进一步,团队还测试了"能不能用明确指令让模型反着来",比如对一道希腊语题目下达"请用英语思考"的指令。这次,模型在44.8%到62.5%的情况下(不同模型家族表现不同)确实会切换到英语思考,虽然没能做到完全服从,但至少不再是铁板一块的0%了。

这就像教一个孩子在家说中文、在学校说英文,如果你只教他"家里永远说中文",他可能会养成一种固执的习惯,哪怕老师用英语明确要求他回答,他还是忍不住脱口而出中文。而如果你从小就让他知道"这取决于场合和对方的要求",他才能真正学会随情境切换,即使不是每次都能做得完美。这揭示了一个更深的道理:教AI模型某种行为习惯的时候,如果训练数据本身缺乏方向上的多样性,模型学到的往往不是"灵活运用"这个能力,而是一条死板到近乎顽固的单行道规则。

强化学习登场,补上SFT补不了的洞

监督微调虽然做到了让模型用希腊语思考,但它有几个天生的软肋。

*强化学习*（RL）：不同于监督微调"照着样本模仿",强化学习是让模型自己尝试,根据结果好坏给予奖励或惩罚,让模型自主摸索出更好的行为方式。

*RLVR*：全称"带可验证奖励的强化学习",奖励信号来自可以客观核实的规则,而不是依赖另一个AI模型或人类主观打分。

监督微调训练出来的Qwen模型,存在两个明确的缺陷:24%的希腊语问题,模型没有按要求的格式给出最终答案;3.5%的情况下,答案本该出现在最终回复里,却"泄漏"进了推理过程的文字里,没有正确分离。这两个问题,单纯靠模仿现成样本很难彻底根除,因为模仿学习从来没见过"正确分离答案和推理"这件事失败时会发生什么后果。

团队设计了一套奖励机制,把这几个可以客观核对的指标直接作为强化学习的奖励信号:答案对不对、思考语言对不对、格式对不对、有没有在规定长度内结束、以及是否服从明确的语言切换指令。整套机制不需要依赖另一个AI模型来"打分",因为AI裁判本身可能带有偏见或被投机取巧,而这套规则是完全客观、可审计的。

在正式训练之前,团队还专门设计了28种"作弊手法"来测试这套奖励系统会不会被钻空子,比如让模型只写答案不写推理过程、写一堆流畅但毫无计算内容的废话、故意用代码块把英文内容伪装成合规格式等等。这个测试提前抓出了三个奖励机制本身设计上的漏洞,避免了模型学会投机取巧而不是真正改进。

结果如何?

在增加了一个"随机奖励"作为对照组的前提下(这个对照组奖励是完全随机给出的,用来验证效果是不是真的来自学习,而不是碰巧),强化学习把格式合规率从24%降到了2.5%,把答案泄漏率从3.5%降到了0%,而随机奖励对照组这两个数字几乎没有变化,证明这确实是有效学习带来的改善,不是巧合。

至于"能不能让模型更听话地服从语言切换指令"这件事,强化学习让服从比例从44.8%提升到53.9%,提高了9.1个百分点,但没有达到团队预先设定的"训练成功"标准线,也就是说这个能力确实对奖励有反应,但还没被彻底"教会"。

最让团队意外的是,他们原本担心的一件事没有发生:纯粹追求准确率的强化学习梯度,理论上可能会侵蚀模型好不容易学会的希腊语思考习惯,但实际测试下来,这个希腊语思考的比例在没有专门保护措施的情况下,依然保持在98%以上,几乎没有退化。

这就像给一位新员工制定绩效考核,如果只考核"完成任务的速度",他很可能会为了赶时间放弃你希望他保持的其他好习惯,比如认真核对细节。团队原本担心强化学习这个"速度优先"的考核方式,会让模型放弃辛苦养成的希腊语思考习惯,但测试下来这个习惯出乎意料地稳固,并没有被侵蚀。

三个模型家族,三种脾气

论文里还有一段特别接地气的内容,记录了团队在实际操作三个不同模型家族时踩过的坑,这些细节在正式的模型说明文档里根本查不到。

阿里的Qwen模型,它的"专家模块"是以堆叠参数的形式存储的,导致适配器没办法直接加载回评估工具里,必须先把适配器合并进模型主体才能测试,团队为此白白损失了一整轮评估时间。它的基础版本还有个隐藏的坑:如果生成长度限制设得太短,大部分回答会被硬生生截断,导致准确率骤降到20.8分,而放宽限制后能跳到77.2分,这说明拿这类模型做对比测试时,如果不注意生成长度设置,测出来的根本不是模型能力,而是长度限制本身。

OpenAI的Gpt-OSS模型走的是完全不同的路子,它不用常见的"思考标签"来标记推理过程,而是用专门的"通道"来区分推理内容和最终回答,如果评分程序是按另一种标记方式设计的,会读错整个内容。更麻烦的是,即使明确告诉它"不要深度思考",它依然会在几乎所有情况下打开推理通道,这意味着不能简单地靠"有没有出现推理标记"来判断它是不是在思考。

英伟达的NemotronH是个混合架构模型,它的专家模块是逐个独立存储的,导致适配器数量暴涨到4188个,是Qwen模型的一百多倍,训练速度因此慢了三到七倍。团队还发现三个隐藏的系统设置陷阱,任何一个没调对,轻则拖慢训练,重则导致训练报错或者训练完成后才在推理阶段崩溃,而且没有任何提前警告。

这段经历传递出一个朴素但重要的教训:一套代码能在新模型上跑完全程,不代表它跑对了。

写在后面

读完这篇论文,最让我意外的不是模型学会了用希腊语思考,而是那个"随机种子换一下,分数跳了7.7个百分点"的发现。这个数字比论文里绝大多数精心设计的实验对比结果都要大,意味着如果没有做这次意外的对照实验,整篇论文很可能建立在一堆噪声之上而不自知。

这让我想到一个更普遍的问题:我们平时看到的很多"A方法比B方法好"的结论,到底有多少是经受住了"换个随机种子重跑一次"这种最朴素检验的?这篇论文没有回避这个尴尬,反而把它当作核心发现之一写了出来,这种诚实本身,比论文里任何一个准确率数字都更值得记住。

另一个让我反复琢磨的细节,是希腊语数字书写习惯和英语相反导致的评分错误。这提醒我,给非英语语言做AI工具的时候,那些看起来无关紧要的"约定俗成",比如标点、数字格式、书写方向,恰恰是最容易被忽略、也最容易造成系统性偏差的地方。一个只在英语世界测试过的工具,拿到另一种语言里,可能连最基础的对错判断都会出问题,而且不会有任何警报提醒你。

如果一个AI系统连数字的千位分隔符都可能读反,那些更复杂的、我们还没意识到需要检查的文化和语言差异,又藏了多少?

Q&A

Q1：这篇论文测试的希腊语推理模型,准确率到底提升了没有?

A：几乎没有提升,最好的微调版本在测试基准上得分76.5,基础模型是77.2,差距在训练本身产生的随机波动范围之内。但准确率不是重点,重点是模型从完全不用希腊语思考,变成了97%以上都用希腊语思考,推理过程从此变得可读可审查。

Q2：为什么说随机种子换一下,分数能差7.7个百分点是个大问题?

A：因为这个数字比论文里测试过的所有数据处理方法、训练配方改进带来的效果差异都要大。这意味着如果不做这个种子对照实验,很多"看起来有效"的改进措施,可能只是随机噪声在起作用,根本不是真实的效果提升。

Q3：强化学习到底解决了监督微调没解决的什么问题?

A：主要解决了两个格式类问题,把不按要求格式给答案的比例从24%降到2.5%,把答案错误地泄漏进推理过程的比例从3.5%降到0%。同时它让模型服从"用另一种语言思考"这种明确指令的比例提高了9.1个百分点,但还没有完全教会这个能力。