你坐在电脑前,调整好提示词,郑重其事地让大模型用阿拉伯语回答。结果它甩回来一串中文。不是幻觉,不是阴阳差错,是实打实的中文。你挠头,你以为自己眼花。这个场景不是段子,而是 Fasil 项目的真实开端——一个让 AI 为正式阿拉伯语(فصحى)辩论打分的平台,一上路就撞上了谁都懒得优化的角落。
阿拉伯语有超 4 亿使用者,全球互联网训练数据里它的份额却不到 1%。你以为自己用过的大模型只是带了个阿拉伯语“外挂”,实际上它们的内核还是英语思维。这 1% 就是 Fasil 遇到的最硬工程约束,比战乱、停电、API 预算为零还要难啃。下面我把翻车的测量结果和被打脸的假设拆成几条,没一点水分。
![]()
1. 分词器直接收你 2.2 倍税,成本翻着跟头涨
同一句话,用 Qwen2.5 的分词器跑一下:“The strongest argument wins.” 产出 5 个 token。换成阿拉伯语“الحجة الأقوى هي التي تنتصر.”,相同意思,直接蹦出 11 个 token。意义分毫未差,开销却是 2.2 倍。问题出在形态学上:阿拉伯语一个单词能塞进主语、时态、宾语和所有格,而分词器从小喂英语长大,压根没学会高效合并这些形态,只能把单词撕成毫无意义的子词碎片。
这 2.2 倍乘数像滚雪球一样贯穿所有环节:有效上下文窗口缩水一半多,同样一份辩论文稿得吞掉你 2.2 倍的预算;每单位意义的推理成本不止翻番;小模型的退化速度更是任何英文基准测试都预测不到的。缓解手段很有限:拼命压缩提示词,更关键的是把辩论结构逻辑——评分规则、发言轮次、状态切换——全部写到 Django 程序里,而不是塞进提示。给模型的唯一任务就是打分,规则它一个字都不该看。这条低资源语言工程的第一法则就是:花在指令上的每个 token,都是抢内容的口粮。英语经得起浪费,阿拉伯语的 2.2 倍成本下你浪费不起。
2. 小模型碰上正式阿拉伯语就崩,方言反倒还扛得住
这一点完全反直觉,也耽搁了我最多时间。小模型处理口耳相传的方言阿拉伯语,居然比处理正式阿拉伯语(فصحى)更像样。回头想很容易解释:社交媒体扒下来的数据里净是方言,正式阿拉伯语在本来就少得可怜的阿拉伯语语料切片里又成了稀有品种。但辩论平台没得选,只能用 فصحى。天真的“模型选小的就行,反正都是阿拉伯语”一路翻车。
解决办法是把任务拆碎:小模型只负责“检查”,别指望它在 فصحى 上做推理。模型规模必须和任务对齐,也绝不要以为一种语言的基准分数能在它的不同语域之间平趟。
3. 结构化输出这事,我先被打脸后才测量
刚开始我一口咬定“阿拉伯语会把 JSON 输出搅得天翻地覆”。接着我跑了 5 次提示尝试,才发现自己错得离谱。这一段我必须在公开场合纠正自己。至于具体的数据和原因,原文截了胡,但教训已经够直白:没测之前别下结论,尤其当你要用一个小众语种调结构化输出时。
Fasil 的每一条坑都在重复同样的事:阿拉伯语的“1%”不是一个背景数字,它会具体成 2.2 倍的 token 账单、فصحى 面前直接投降的小模型、还有你坚信不疑但一测就翻的假设。下次再碰到 AI 拿中文回你阿拉伯语,别光笑,它背后的问题远比你看见的要多。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.