网易首页 > 网易号 > 正文 申请入驻

AI用中文回了阿拉伯语问题,坑在哪里

0
分享至

你坐在电脑前,调整好提示词,郑重其事地让大模型用阿拉伯语回答。结果它甩回来一串中文。不是幻觉,不是阴阳差错,是实打实的中文。你挠头,你以为自己眼花。这个场景不是段子,而是 Fasil 项目的真实开端——一个让 AI 为正式阿拉伯语(فصحى)辩论打分的平台,一上路就撞上了谁都懒得优化的角落。

阿拉伯语有超 4 亿使用者,全球互联网训练数据里它的份额却不到 1%。你以为自己用过的大模型只是带了个阿拉伯语“外挂”,实际上它们的内核还是英语思维。这 1% 就是 Fasil 遇到的最硬工程约束,比战乱、停电、API 预算为零还要难啃。下面我把翻车的测量结果和被打脸的假设拆成几条,没一点水分。


1. 分词器直接收你 2.2 倍税,成本翻着跟头涨
同一句话,用 Qwen2.5 的分词器跑一下:“The strongest argument wins.” 产出 5 个 token。换成阿拉伯语“الحجة الأقوى هي التي تنتصر.”,相同意思,直接蹦出 11 个 token。意义分毫未差,开销却是 2.2 倍。问题出在形态学上:阿拉伯语一个单词能塞进主语、时态、宾语和所有格,而分词器从小喂英语长大,压根没学会高效合并这些形态,只能把单词撕成毫无意义的子词碎片。

这 2.2 倍乘数像滚雪球一样贯穿所有环节:有效上下文窗口缩水一半多,同样一份辩论文稿得吞掉你 2.2 倍的预算;每单位意义的推理成本不止翻番;小模型的退化速度更是任何英文基准测试都预测不到的。缓解手段很有限:拼命压缩提示词,更关键的是把辩论结构逻辑——评分规则、发言轮次、状态切换——全部写到 Django 程序里,而不是塞进提示。给模型的唯一任务就是打分,规则它一个字都不该看。这条低资源语言工程的第一法则就是:花在指令上的每个 token,都是抢内容的口粮。英语经得起浪费,阿拉伯语的 2.2 倍成本下你浪费不起。

2. 小模型碰上正式阿拉伯语就崩,方言反倒还扛得住
这一点完全反直觉,也耽搁了我最多时间。小模型处理口耳相传的方言阿拉伯语,居然比处理正式阿拉伯语(فصحى)更像样。回头想很容易解释:社交媒体扒下来的数据里净是方言,正式阿拉伯语在本来就少得可怜的阿拉伯语语料切片里又成了稀有品种。但辩论平台没得选,只能用 فصحى。天真的“模型选小的就行,反正都是阿拉伯语”一路翻车。

解决办法是把任务拆碎:小模型只负责“检查”,别指望它在 فصحى 上做推理。模型规模必须和任务对齐,也绝不要以为一种语言的基准分数能在它的不同语域之间平趟。

3. 结构化输出这事,我先被打脸后才测量
刚开始我一口咬定“阿拉伯语会把 JSON 输出搅得天翻地覆”。接着我跑了 5 次提示尝试,才发现自己错得离谱。这一段我必须在公开场合纠正自己。至于具体的数据和原因,原文截了胡,但教训已经够直白:没测之前别下结论,尤其当你要用一个小众语种调结构化输出时。

Fasil 的每一条坑都在重复同样的事:阿拉伯语的“1%”不是一个背景数字,它会具体成 2.2 倍的 token 账单、فصحى 面前直接投降的小模型、还有你坚信不疑但一测就翻的假设。下次再碰到 AI 拿中文回你阿拉伯语,别光笑,它背后的问题远比你看见的要多。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
善恶到头终有报!央媒表态才6天,韩红再迎“噩耗”,孙浩曝黑幕

善恶到头终有报!央媒表态才6天,韩红再迎“噩耗”,孙浩曝黑幕

可乐爱微笑
2026-07-11 01:38:08
22岁女子多次求饶仍被前男友杀害,他“带着大号行李箱”

22岁女子多次求饶仍被前男友杀害,他“带着大号行李箱”

中国新闻周刊
2026-07-12 12:05:05
年薪35万,月加班80小时:挤进长鑫的年轻人正在经历什么?

年薪35万,月加班80小时:挤进长鑫的年轻人正在经历什么?

第一财经资讯
2026-07-12 12:48:23
台风巴威走了!水库腾空了,大树树冠锯了,网友吐槽“福州擦了个边”,台州网友急了

台风巴威走了!水库腾空了,大树树冠锯了,网友吐槽“福州擦了个边”,台州网友急了

火山詩话
2026-07-12 09:54:38
婚后首次同框!霉霉与橄榄球巨星亮相队友婚礼

婚后首次同框!霉霉与橄榄球巨星亮相队友婚礼

自愈小日子
2026-07-12 00:37:41
西安赛格事件仍在发酵!当地网友吐槽,商场封闭地铁出口一大半、引导路人穿行商场,引发质疑

西安赛格事件仍在发酵!当地网友吐槽,商场封闭地铁出口一大半、引导路人穿行商场,引发质疑

火山詩话
2026-07-12 15:07:10
最新研究:生育率下降未必带来经济增长放缓

最新研究:生育率下降未必带来经济增长放缓

参考消息
2026-07-12 11:04:17
长沙车位女的通报一出,我站无理取闹的闵先生

长沙车位女的通报一出,我站无理取闹的闵先生

将军箭
2026-07-12 17:56:53
温网疯狂一夜!辛纳卫冕男单冠军,兹维列夫收获全满亚90后第一人

温网疯狂一夜!辛纳卫冕男单冠军,兹维列夫收获全满亚90后第一人

莼侃体育
2026-07-13 03:27:12
空位不传哈兰德!30岁挪威射手遭网暴,回应争议:我没能力传过去

空位不传哈兰德!30岁挪威射手遭网暴,回应争议:我没能力传过去

我爱英超
2026-07-12 23:19:51
外交部亚洲司负责人就日方涉“南海仲裁案裁决”恶劣言行提出严正交涉

外交部亚洲司负责人就日方涉“南海仲裁案裁决”恶劣言行提出严正交涉

澎湃新闻
2026-07-12 22:38:21
白岩松:阿根廷不该进决赛!但有个玄学 前国脚:阿根廷必输法国

白岩松:阿根廷不该进决赛!但有个玄学 前国脚:阿根廷必输法国

念洲
2026-07-12 13:56:03
范志毅:南美球队是在走下坡路,欧洲足改变了南美人踢球方式

范志毅:南美球队是在走下坡路,欧洲足改变了南美人踢球方式

懂球帝
2026-07-12 20:08:15
余承东罕见发飙,华为汽车急了

余承东罕见发飙,华为汽车急了

鸣金网
2026-07-12 13:46:28
瑟洛特谈未传给哈兰德:斯通斯封住了传球线路,我感觉传不过去

瑟洛特谈未传给哈兰德:斯通斯封住了传球线路,我感觉传不过去

懂球帝
2026-07-12 22:45:17
笑趴了!新生问学长,解剖用的尸体自己带还是学校发?网友炸锅了

笑趴了!新生问学长,解剖用的尸体自己带还是学校发?网友炸锅了

夜深爱杂谈
2026-07-12 19:43:35
浙江一汽车厂被曝使用多名印度工人,人社部规定:雇用外籍员工需国内暂缺适当人选

浙江一汽车厂被曝使用多名印度工人,人社部规定:雇用外籍员工需国内暂缺适当人选

不掉线电波
2026-07-12 14:07:03
某团外卖接入AI客服后,网友发现了“不限额度”使用AI的方法~

某团外卖接入AI客服后,网友发现了“不限额度”使用AI的方法~

老郭在学习
2026-07-12 19:16:22
《功夫女足》票房破4亿元,周星驰感谢影迷支持:感到惭愧,常觉得自己做得不够好

《功夫女足》票房破4亿元,周星驰感谢影迷支持:感到惭愧,常觉得自己做得不够好

新快报新闻
2026-07-13 00:12:03
中国最担心的事正在发生,巴基斯坦若引进FC-31,美国可能破解

中国最担心的事正在发生,巴基斯坦若引进FC-31,美国可能破解

止戈军是我
2026-07-12 17:17:11
2026-07-13 07:52:49
固件更新中
固件更新中
有态度网友ytd
266文章数 56关注度
往期回顾 全部

科技要闻

苹果诉OpenAI细节:一句“笑死”刺痛库克

头条要闻

年轻人挤进长鑫 年薪30万员工选择离职:月加班80小时

头条要闻

年轻人挤进长鑫 年薪30万员工选择离职:月加班80小时

体育要闻

被3个队友锁死,哈兰德以最憋屈的方式出局

娱乐要闻

台媒曝S妈许雅钧 诱使具俊晔放弃遗产

财经要闻

一封举报信 引发小红书IPO合规考验

汽车要闻

纯电/增程双动力 一汽悦意08正式上市售9.99万起

态度原创

家居
游戏
亲子
时尚
手机

家居要闻

2026建博会(广州) 公装联探展交流活动

《皇牌空战8》粉毛妹子情报公布 新老婆身姿娇美

亲子要闻

少子化冲击到哪里了?从幼儿园到高中,数据全盘点

在离婚边缘疯狂试探,她真打算不过了?

手机要闻

REDMI K100系列:发布节奏大改!小米18 Pro:双2亿像素九月登场

无障碍浏览 进入关怀版