网易首页 > 网易号 > 正文 申请入驻

日本历史遗毒是怎么污染中国的数据库的?

0
分享至

请用你的家乡话来说一下下面这段内容

"这个项目也得到了日本政府的支持。"

"七纵接到命令后,立刻从集结地区郑家屯出发。"

大家看到这样的问题会不会觉得有问题?

觉得有问题就对了。

最近在网上,有一款叫“方言搜集”的小程序,在网上火了。只不过火的原因,开头和结尾不太一样。



最开始,这款小程序火,主要是因为它做了个付费采集的项目,无论是谁,打开绿色软件小程序,念几句自己家乡的方言,就有钱拿。这种活动,就跟超市门口发的鸡蛋、拼夕夕的砍一刀一样,总是不缺人参加的。别说大家了,就是乌鸦自己,当年也在家庭群里转发过“帮我砍一刀”。

但很快,免费的鸡蛋领着领着,大家就发现不对了。这个程序最初的宣传,是让人用方言念一些句子,搜集语料,用来帮助扩充方言语音识别的训练库,方便以后"文字转译"。但是如果真的上手做任务,就会发现两个特别奇怪的地方。

首先,是这个小程序里要求的方言粒度太细了,细得离谱。

一般大家讲方言,基本精确到省,最多也就是到市一级。但这个小程序里搜集的语料,不是"湖南话""河南话",甚至不是"长沙话""新乡话",而是直接具体到区县一级,指明要搜集记录"新乡延津县方言""长沙芙蓉区方言",这就让人有点毛骨悚然。



如果单纯是服务于方言转译,按常理来说不至于精细到这一步,一个省一个模型,顶多一个市一个模型,完全够用了。你精确到县,精确到区,转译准确率可能至多也就零点几个百分点,但付出的训练成本可是几何倍数地往上翻,从公司训练成本出发性价比极低。一般服务于商业目标的小程序,不会算不明白这笔账。

其次,就是这个小程序随机生成的一批例句,非常邪门。总结一下网友上传的截图,这批号称是随机生成的例句里包括但不限于:"这个项目也得到了日本政府的支持。""七纵接到命令后,立刻从集结地区郑家屯出发。",等等。

"七纵"是什么?纵队,这是典型的军事编制用语。郑家屯,那也是当年东北的一个战略要地,是解放战争时期的军事集结区。大家念着念着,心里就更发毛了,它不像自然口语,倒像是定向测试某种语音识别场景。

说白了,正常人聊天,谁会聊"七纵接到命令"?绝大部分人,这辈子都不会用方言说这句话。

语料内容严重非日常,加上粒度细到县区,大家就觉得不对劲了。网上舆情持续发酵,这个小程序也就随之被锁定,目前再点进去,提醒你的是“活动灰度开放中”。小程序的官方也做了回应,说这里面的语句由其中的AI算法,基于日常寓意和中文文库随机合成。只不过算法合成有的时候“比较蠢”,因此生成了少量怪异字句。



看到这条回应,大家的第一反应都是质疑,因为上面那些敏感的字词组合,怎么看怎么不像是单纯的“蠢”而是“坏”,或者说,别有居心。

诶,其实说到这里,大家也就抓住今天我们要谈的重点了。

没错,这个小程序的语料库,确实是“坏”,但这种“坏”,可能不是这场方言搜集项目的策划方的锅,而是现在国际社会上通行的中文的方言语料库,大概率是被污染过的。

为什么被污染呢?

因为近代的中国学研究,乃至东亚研究,追根溯源,都是日本人搞出来的,从一开始,根子就不正。



1

要说明白这个事情,我们首先可以把时间拨回到一百年前。

1921年,京城府,也就是现在的首尔,出了一本书。

书名叫《自习完壁支那语集成》。

"完壁"就是"完备"的意思,顾名思义这是一本给初学者自学用的汉语教材。作者是个朝鲜人,叫宋宪奭,这人同时还是个语言通,日语、德语、汉语教材他都编过。

紧接着,1929年,也是在朝鲜,又出了一本《无先生速修中国语自通》。"无先生",就是没有老师,全靠自学。"速修",就是速成。



看到这里,可能就有观众要问了:两本朝鲜人编的汉语老教材,跟日本人有什么关系?

这就要从当时半岛特殊的历史背景说起了。

1921年到1929年,正是日本殖民朝鲜的"文化政治时期"。当时的朝鲜半岛,在日本总督府的统治之下,所以,官方编什么教材,背后都是殖民当局说了算。而这两本教材的用途,就是给那些即将进入中国的日本人,以及为日本办事的朝鲜人,做语言突击培训用的。

所以,这两本教材,编得非常"专业"。

这种专业体现在两方面。

一方面,就是它非常系统地搜集了当时中国的方言语料,尤其是北京、河北地区流行的“官话”的语料,

我给大家念几个词儿,你们品品:"砍肩儿"——就是背心。"肚带儿"——腰带。"靴子""马褂儿""洋衣铺"——洋衣铺就是西装店。这老北京话,那叫一个地道。一本在朝鲜半岛编出来的教材,能把儿化音教到这个份儿上,这编教材的人,是真下过功夫的。



至于教材里的例句,那更是地道得不得了。

比如,里面有一句是教人客套的,原文这么写:"请起请起,升官哪,得子啊,过富贵的日子啊。"

升官、得子、富贵,这些词,是把人情世故里最讨喜的话,一句不落地全教了。我们拿着这句话,走进一百年前北京城任何一户办喜事的人家,没人会觉得你是外人。

再比如,"咱们进去畧歇一歇儿。"

"畧歇"就是"略歇",歇一歇的意思。"歇一歇儿",又是儿化音。

还有什么,"你今儿好福气,脸上有些春色,把眼圈儿都红了,你背着我,躱在哪儿喝酒来呢?"

翻译过来就是:你小子今天运气不错啊,满脸红光,眼圈都红了,是不是背着我躲哪儿喝酒去了?这是两个熟人在街上碰面的纯日常对话,就是纯粹的市井口语。

这书里,甚至连骂人的、求情的话都教,比如"我昨儿个喝了酒,不知胡说了什么,连自己也想不起来,怨不得你生气了,求您恕我酒后无德罢。"



这些日常口语,《茶馆》话剧里的掌柜讲,今天在北京胡同里的“老北京”也在讲。一百年前的中文教材,详尽到到了这个地步,让人叹为观止。

这两本老北京话教学地道到什么地步呢?就这么说吧,它们的很多语料,至今都被收录进了北大出版的"早期北京话珍稀文献集成"的"朝鲜日据时期汉语会话书汇编"系列丛书里,是研究早期北京话语法演变的语料。

科学吗?很科学。

但问题就在于,当时的日本人,搜集编纂中国话教材,并不是为了什么“科学”。



2

日本人的阴湿小心思,和地道的语料一样,其实也都写在了书里。

有韩国的研究者整理了《自习完壁支那语集成》的词汇表,然后惊讶地发现,里面除了日常对话之外,占比最大的内容,是军事词汇。

我给大家找几个例子:

近卫兵、步兵队、马队兵、宪兵队、炮兵队、工程队、辎重队、深哨队、电信队、铁路队、军乐队。

这还没完。接下来是:现役兵、预备兵、后备兵、补充兵、国民兵、守备兵、志愿兵、喇叭手、看护兵、战地病院。

再往下:联队、大队、中队、小队、分队。大炮、地雷、军旗。救兵、担架、治疗。镇守府、司令官、舰长。战场、停战、宣战、交战。

要不怎么是日本人编的教材呢,这无所不包的精细化语料库,太有工匠精神了,太专业了。从兵种到建制,从装备到指挥,从战地医疗到宣战停战,全都编在了最初教外国人中文的方言教材里。



日本这么努力地学"地道"的方言,连儿化音、市井俚语都一个不落,为什么?

三个字,搞渗透。

那时候,情报搜集技术还没有升级到如今的“黑客帝国”时代,而古法间谍工作,主要还是靠人来搜集情报。因此,想要搜集到情报,就必须先学会对方的语言,学到让人听不出口音,学到可以听明白自己边上用方言“加密通话”的中国人,究竟在说什么。

日本近代针对中国建立的情报体系,从一开始,就把语言能力放在了最核心的位置。1890年,荒尾精在上海创办的"日清贸易研究所",表面上是个贸易人才培养机构,实际上就是日本对华谍报的培训班。这个研究所,极为重视中国语言与地方方言的教学和实地应用,把它当成对华情报搜集和商业渗透的核心基础课。

从明治时代到侵华战争,日本的情报人员在语言学上投入的精力和资源,是一代一代人积累下来的。



这就是日本人专业性的另一重体现了——他们编的中国方言学教材,也是专业的间谍教材。

这批教材,带来的连锁反应是什么呢?就是当很多大数据公司去购买中文的语料库,来训练模型的时候,就非常有可能“踩雷”。

日本确实是近代以来,最系统地搜集中国方言的域外国家,但他们的这种语料搜集工作,又有着清晰的殖民和军事目的。战后至今,日本国立国会图书馆、东洋文库、各大学中文系,,依然保存着大量战前中文教材和方言调查记录。日本的中文研究传统,很大程度上就建立在这批语料之上。美西方不少“中国学”“东亚学”的研究者,在接触中国方言研究的时候,也大概率会首先接触到这批材料。

这时候,大家再回头看开头提到的那个方言小程序,就会有不一样的感觉了。

简单来说,一个合理的推测是,这类“专业”的语料库,在大模型训练的时候,被“出口转内销”了。



在大模型领域,有个说法叫语料污染,或者训练数据偏差。简单来说,就是你喂给模型什么,它就可能吐出什么。如果你喂的东西错了,吐出来的结果自然也就错了。

现在看,承包了方言项目的研究团队或商业公司,很有可能就是遇见了这个问题。训练团队本身在给自然语言处理模型喂训练材料的时候,没有严格甄别语料来源,也一股脑地都灌进了系统,用它作为语料库的一部分来"随机生成例句"。

就像上面提到的,《自习完壁支那语集成》和《无先生速修中国语自通》的很多语料,都被后来中国的语言研究机构收录到了自己的语料库中,训练者把这类语料库喂进去,AI随机生成句子的时候,冒出来一些什么日本政府、七纵、宪兵队这样的字词,也就不奇怪了。



3

不过,问题讨论到这里,也不能两手一摊,说都是日本人的错,然后就把事情扔到一边不管了。

这次这个小程序引发的讨论,其实关联着一个更宏大的命题,就是“怎么讲好中国故事”。这个问题,不单单影视圈要研究,其实学术界身上承担的“拨乱反正”,甚至“用魔法打败魔法”的任务,更加任重而道远。

中国的语言采集小程序生成大量敏感的、非日常词汇句子,是日本人在上世纪初给我国的语言学研究植入的“基因污染”。欧洲的“中国学”乃至“东亚学”虽然发端更早,但日本作为“汉字文化圈”的一员,在明治维新以后,开创了"现代中国研究"的实地范式,在田野调查领域完成了对西方“中国学”的吊打。

严格来说,日本是最早把"现代中国"作为一个整体研究对象、以大规模实地调查为方法的海外国家。他们的很多研究,后来也被广泛转译到各国,乃至在中国内部,因为历史原因,也不乏大量的“出口转内销”者。



但就像上面提过的,这群研究中国的日本人并非纯粹的学者,而是带着鲜明的政治立场和目的。比如海外中国史研究的重量级嘉宾,新清史四书,就系统性地贯彻了冈田英弘之流的清朝观以及日本殖民时代捏造的满蒙学"的糟粕。

这玩意被誉为美国学界的创新研究,现在去海外任何一所大学学中国明清史,必定会被列入阅读材料里。但它的学术谱系当中,流淌的是日本殖民时代扭曲叙事——满文史料是日本学者整理出来的,'征服王朝'理论是日本东洋史学发明的,而连接两者的桥梁人物冈田英弘,本身就是日本'满蒙学'传统的继承人。

新清史的代表人物,欧立德本人明确盖过章,说他搞出这种“学术创新”,一个重要契机,就是在日本接触到满文史料和日本的所谓“满学传统”。



要不怎么说美西方研究中国研究不明白呢,这群人继承的那一套叙事和研究方法,就跟方言小程序大概率照搬的那套语料训练库一样,都来自戴了一层日本人滤镜的“中国”。

尾声

所以最后,乌鸦想说的是什么?

一百年前,日本人为了搞渗透,编教材、开研究所,把中国方言研究到了儿化音的程度,给中国套上了一层独属于日本人的阴湿滤镜,这是一个非常系统性的问题。今天我们要做的,除了在发现敏感的、奇奇怪怪的语料或者所谓“研究者”的时候,积极上报国安争取奖励,更要做的,是拨乱反正,正本清源。

我们要建自己的安全语料库。咱们国家的语言资源保护工程,已经抢救性地保护了大量方言和少数民族语言资源。这些语料掌握在自己手里,既是文化遗产,也是安全资产。别人有的,我们要有;别人没有的,我们更要有。语言资源,是学术资源,是国家安全的一部分,更是一个国家历史叙事的关键构成部分。

那么,更重要的事情又是什么呢?说白了,掌握了自主安全的语言资料库,不给别有用心者可乘之机,这些只能算作“守住底线”,我们更应该做的是在守住底线的基础上“走出去”和“讲出来”,不断完善我们本国历史学、民俗学、方言学、社会学等等方面的社科学术体系,改变过去的颓势,不再让外国人替我们研究我们自己的文化,让最全、最准、最有分量的研究成果出自中国人自己,直到成为本领域研究绕不开的大山,领跑国际学术;

同时,让我们的故事和作品走出去,立起一个又一个深入人心的文化符号,让人一看便知那是中国,中国的那股味道很正,对此文科生们大有可为,社科教育体系之中的学者和学校大有可为,配套的行业、市场和政策规划同样大有可为——“文科无用论”这种短视且浮躁的观点从来不应该成为我们社会的主流,我们所要思考和努力的,一方面是社会科学怎样才能更“有用”,它还能在别的什么地方发挥新作用,另一方面则是,文科和传媒从业者要让自己变得更“有用”,去做有价值,有格调,有开创性,让人们喜闻乐见的事业,真正做到老祖宗所说的“经世致用”,而不是只会摇唇鼓舌舞文弄墨,乃至在自卑自恨中扭曲爬行,为敌人张目。

有句话说得好,叫中国人,一代人有一代人的责任。而我们这一代人,身上肩负的任务,不仅仅在于打破帝国主义滤镜的“破旧”,更在于如何立足中国人自己的视角,做到“立新”。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
15场常规赛打完,突然发现,火箭输球有个规律

15场常规赛打完,突然发现,火箭输球有个规律

球毛鬼胎
2026-11-17 18:49:30
特斯拉即将推出 2026 年度大更新,重磅新功能来了!

特斯拉即将推出 2026 年度大更新,重磅新功能来了!

XCiOS俱乐部
2026-11-17 20:45:14
若非卢璐发长文,没人知道,刘欢有6位生死之交,个个可托付后事

若非卢璐发长文,没人知道,刘欢有6位生死之交,个个可托付后事

东方不败然多多
2026-11-17 17:05:52
别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

听风看局
2026-11-17 17:09:05
监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

扬子晚报
2026-11-16 12:06:10
连续两天遭重击,227米公路桥拱砸进航道!刻赤大桥这次的损失有多惨重?

连续两天遭重击,227米公路桥拱砸进航道!刻赤大桥这次的损失有多惨重?

战刃
2026-11-17 19:42:11
耻辱10连败,从总冠军跌落神坛!9换2交易不值得,你们很难崛起了

耻辱10连败,从总冠军跌落神坛!9换2交易不值得,你们很难崛起了

篮球扫地僧
2026-11-17 18:41:12
全盘推翻!蔡天凤案前公公首次自辩,父子多套说辞,声音洪亮自信

全盘推翻!蔡天凤案前公公首次自辩,父子多套说辞,声音洪亮自信

爱下厨的阿酾
2026-11-18 06:27:46
渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

球事百科吖
2026-11-18 06:35:06
终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

另子维爱读史
2026-11-16 21:52:15
中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

浯江孤舟
2026-08-31 10:07:56
无比怀念邓小平!

无比怀念邓小平!

梳子姐
2026-11-17 16:32:33
《持械入宋》十一季之后,我有一些心慌,十二季还能播出吗?

《持械入宋》十一季之后,我有一些心慌,十二季还能播出吗?

姜糖先生
2026-11-17 20:18:42
印专家:全球平衡已被我们彻底颠覆,中国和西方都对印度感到恐慌

印专家:全球平衡已被我们彻底颠覆,中国和西方都对印度感到恐慌

黄大姐
2026-11-16 23:03:33
台北101点灯,力挺黄仁勋

台北101点灯,力挺黄仁勋

芯智讯
2026-11-17 12:23:23
疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
3年1亿合同!开拓者3换1送出罗威、亨德森、首轮追戈登!杨瀚森意外成了最大变数

3年1亿合同!开拓者3换1送出罗威、亨德森、首轮追戈登!杨瀚森意外成了最大变数

锐评利物浦
2026-11-17 09:35:36
罗伯特·帕丁森出演007,为什么亨利·卡维尔首轮就被淘汰?

罗伯特·帕丁森出演007,为什么亨利·卡维尔首轮就被淘汰?

光影新天地
2026-11-17 15:55:41
曝勇士或交易追梦巴特勒!负资产需搭首轮?勇媒盼5换4卡特+比塔泽

曝勇士或交易追梦巴特勒!负资产需搭首轮?勇媒盼5换4卡特+比塔泽

颜小白的篮球梦
2026-11-18 05:41:01
特朗普启程参加深圳APEC峰会 |现场画面

特朗普启程参加深圳APEC峰会 |现场画面

凤凰卫视
2026-11-17 08:38:05
2026-11-18 08:36:49
乌鸦校尉 incentive-icons
乌鸦校尉
北航研究生,人称北航奥观海
1419文章数 142174关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

牛弹琴:黄仁勋事件三个新进展 美国政府突然回过味来

头条要闻

牛弹琴:黄仁勋事件三个新进展 美国政府突然回过味来

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

英伟达电话会:“不打算请回黄仁勋”

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

时尚
本地
游戏
手机
公开课

西北最贵专列?从西宁到敦煌的“丝路梦享列车”到底值不值?

本地新闻

乌兰察布:以前种土豆,现在种Token

GameSpot整理《GTA6》之外的小众试玩与同期新作

手机要闻

iPhone Duo开售三周后,苹果Apple Store完成适配

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版