微信方言活动：靠“最笨办法”长出方言识别能力

转自：中国科学报

语音输入流行之后，因方言识别和口音问题，闹出不少笑话。

一老人有口音，在家庭群里发语音“我的护工死了”，惊出子女一身冷汗。问清楚了才知道，原来是老人养的宠物蜈蚣死了。

微信语音转文字对四川话识别率很低，常误判为英语，如“鞋”识别为Hi、“街识别出Gap、“恩桃儿”识别为Enter……

为提升方言识别算法的技术能力，近期微信在小程序推出方言活动，希望通过用户以方言语音形式参与，一方面推动方言语音识别技术迭代，同时也记录方言语料、服务文化保护。

“AI能听懂英语法语日语， 听不懂自己国家群众的方言，这事说不过去。”近日，微信产品团队向《中国科学报》说，微信方言活动正是在这样的目标下开展的。

用户反馈：“早该优化了”

微信推出方言活动，直接起因是用户反馈。尤其是方言使用者在使用语音输入、语音转文字、智能客服等功能时，长期存在识别不准的问题。

“潮汕话闽南话温州话这些，用语音输入基本等于‘废’的。”有用户反馈说，语音输入这么多年了，服务的一直是普通话说得标准的那批人，“早该优化了”。还有用户提出，微信里不会说普通话的老人那么多，“应该多照顾照顾他们”。

这不是一个小众需求。中国有七大方言区——官话、吴、湘、赣、客家、闽、粤，往下还可细分为几十个次方言片，部分地区一县之内就有十几种口音差异。语音输入普及这么多年，服务的主要是普通话标准度较高的人群；口音一重，识别质量就明显下降。

“受影响最大的是不会说普通话的老年人。”微信产品团队对记者表示，老人们打字困难，语音又转不出准确文字，家人往往需要反复听完整条语音才能理解。在医院挂号、政务办事等场景中，“请清楚说出您的需求”常对他们构成实际障碍。

具体来说，“微信方言活动”是一个小程序。小程序邀请用户用家乡话朗读一些日常句子，并互相判断彼此的发音是否地道。采集到的方言语音，用于训练和优化微信的方言语音识别能力。

记者注意到，该活动覆盖面广、涉及用户群体大，因此也引发广泛关注。

微信举措：“最笨的办法”

微信方言活动推出以来，有人额手称庆，有人则充满困惑：为什么必须采集真人语音？短视频平台上有大量方言内容，不能直接采用吗？

对此，微信产品团队回应称，采集真人语音是语音识别的基本工作方式。模型的识别能力直接来源于它“见过”的语音样本；没有真实口音数据，模型对该口音就没有识别能力。

“这不是工程偷懒，是这类模型的根本约束——它无法对从未见过的发音模式做出可靠推断。”微信产品团队对《中国科学报》说，文本与语音的严格对应关系，是训练语音识别模型的核心要求。而训练方言模型的问题在于，方言语料几乎不存在现成资源——互联网上可获取的中文语料绝大部分是普通话，而诸如短视频平台上的方言内容，也因缺少文本与语音的严格对应关系，模型不能建立音频与文字之间的一一映射，也无法直接使用。

记者了解到，目前英语、法语等语言有成熟的公开语音数据集，中文方言基本是空白。想做，只能自己攒。

与想要借用短视频方言素材“走捷径”相比，微信方言活动的做法恰恰是相反的：先给定文本，再请用户用方言念出来。这样每一条录音都有确定的正确答案。微信产品团队告诉记者，这也是为什么活动中要让用户互相评判发音是否地道：“那一步是在给数据打标签，是训练流程中绕不过去的环节。”

如前所述，方言的地理颗粒度极细。同一个县，不同村镇的口音可能就有明显差别。这也是微信方言活动希望覆盖到大量人群的原因。微信产品团队表示，不到县一级的采集密度，模型在实际使用中仍会失效。此外，样本还需覆盖不同年龄、性别的发音特征，“否则模型只能识别特定人群”。

这无疑是一项巨大的工程。同时，让用户一句句朗读固定文本，也是最慢、最贵、最容易被注意到的路径。

“为什么微信要用这个最笨的办法？因为我们要的不是‘方言长什么样’，而是‘这句话用这个地方的话怎么说、说得标不标准’。”微信产品团队回应说，你得知道正确答案是什么，模型才能学。刷来的短视频没有这个对应关系，再多也用不上。

收集方言是“破解密码”？

用“一文一句”的笨办法去攻克非典型发音识别，并非微信独创。市面上一些拥有方言能力的模型，也都采用过类似做法。记者了解到，谷歌还曾专门收集帕金森病、渐冻症患者的发音样本，目的就是让语音助手能够识别这些特定对象的发音。

“没有哪个模型的方言能力是凭空产生的。”北京邮电大学人机交互与认知工程实验室一位AI专家告诉记者，诸如微信方言活动的语料收集方式，是语音识别行业的通行做法。

在微信方言活动开展过程中，有人担心，方言在“二战”期间曾被当做密码使用，收集方言是否也存在类似“密码破解”的问题？

对此前述AI专家回答说：“‘二战’期间美军曾使用纳瓦霍语通讯员传递战场信息，抗战时期我军也使用过方言传令。但这类做法成立有一个特定前提：当时的加密手段有限，语言本身的稀缺性构成了安全屏障。但现代密码学早已不这样工作了——现代加密通信的安全性来自数学，不来自‘对方听不懂’。”

“历史上的方言通信之所以有效，很大程度上依赖对手不具备相应的语言接触条件；而今这个条件在今天已不存在。”该AI专家继续解释说，依赖“语言稀缺性”的做法，在今天属于典型的隐晦式安全——把安全性寄托在“对方不知道”上。而这在现代信息安全领域已被明确视为不合格的设计范式，是“教科书中的反面案例”。原因很简单：这类保护一旦被识破就完全失效，且无法评估强度。

具体到采集到的方言语料怎么用、怎么管？微信产品团队表示，他们将严格遵循“合法、正当、必要”原则，通过专属授权条款取得用户单独同意；语料仅用于提升方言相关服务质量，例如方言识别模型优化，不用于与此无关的用途。