网易首页 > 网易号 > 正文 申请入驻

前沿|龙泉寺贤超法师:用 AI 为古籍经书识别、断句、翻译

0
分享至

  坐落在京郊凤凰岭脚下的龙泉寺,称得上全国甚至全球科研实力最强的佛教寺庙。

  凭借当年学诚法师的一句「佛教是古老的,但佛教徒是现代的」,推动了龙泉寺里的高僧们搞科研、写代码,将佛学与新技术结合,将项目大众化、国际化。成果不断,屡上热搜,被外界持续关注。

  近期龙泉寺的贤超法师,参加了国内某技术大会,分享了使用人工智能对《大藏经》进行整理和校勘的技术实践。

  ▍ 佛系 AI 的诞生:让佛经更易读

  贤超法师原是北京大学物理学院凝聚态物理硕士,2007 年他从北大毕业,2008 年在龙泉寺皈依,此后一直致力于龙泉大藏经的编修与佛学义理研究。

  2016 年,AlphaGo 在战胜李世石的历史性事件,引起了贤超法师对 AI 的关注。从那时候起,他便开始尝试将 AI 和自己正在研究的 OCR 技术以及自动标点相结合。

  贤超法师在 Techo Park 开发者大会上介绍其研究成果

  ▍ 佛原生 AI 解决古籍经文痛点

  龙泉寺在整理和校勘的《大藏经》为佛教经典的总集,也称为一切经。在汉传佛教的两千多年里,历朝历代都对《大藏经》进行了翻译、增补、修订。

  流传至今有数十个版本,少的有五千多字,多的有一亿两千万字。

  《乾隆版大藏经》的修订参与官员、学者、高僧等 60 余人,

  刻字、刷印和装帧等工匠 860 余人,历时六年完成

  (图为《乾隆版大藏经》雕版)

  2012 年,龙泉寺就着手整理《大藏经》,计划用整整十年的时间完成。因为传统方法对古籍的整理主要有版本校对、校勘、标点,这些步骤能够保证当代读者,也可以尽可能理解晦涩、生僻的经文。

  三年后,龙泉寺整理出版了《南山八大部》;再次年,龙泉寺的藏经办公室成立,旨在探索利用人工智能技术,研发出基于深度学习的单字识别引擎;

  2017年,龙泉寺成立人工智能与信息技术中心,研发出能识别各种不同大藏经版本的整列识别引擎,并成功的将《六十华严》的大藏经版本进行电子化。

  贤超法师目前担任藏经办公室主任,负责《大藏经》的整理工作。

  ▍ 自动标点:OCR +深度学习

  为了降低人们阅读古文典籍的门槛,提高学者的工作效率,在近年来贤超法师团队,运用了包括深度学习、OCR 在内的技术改变传统《大藏经》的解读方式,目前已经取得了颇为惊艳的效果。

  现代汉语中,句号、引号、书名号等常用标点近十种,

  古汉语中仅有的句号、顿号,经文中也很少出现,难以阅读

  贤超法师介绍道,所谓自动标点,是指在没有人工干预的前提下,根据算法给古籍文本自动标注现代中文标点的技术,这主要是为了方便现代读者阅读。

  此前,已有人工智能为古文加标点的相关研究,不过贤超法师表示,之前基本只是为古文加句号,他认为这个做法「比较保守,比较学术性」。

  而他的团队将深度学习运用到了自动标点上,可以以更高的准确性,给古文添加句号、逗号、问号、感叹号、冒号、分号和顿号其中标点符号。经过验证,他们所研发的 Transformer 标注结果,和人类的标注结果「几乎已经无法区分」。

  ▍ RNN+LSTM+ResNet 效果全面提升

  自动标点,在 NLP 领域来说,就是一个简单的序列标注问题。解决这类问题的标准方法,就是使用循环神经网络(RNN)。

  为了增强 RNN 的性能,在此基础上又发展出来了双向 RNN,也就是每一时刻的输出不仅仅取决于之前时刻的所有输入,而是同时取决于之前和之后的输入。之后,贤超法师团队又将 LSTM 方法引入。

  但是此前基于这些技术所实现的自动标点,效果仍不是很令人满意。贤超法师团队之所以达到出乎意料的效果,是因为他们在此前的基础上,引入了 ResNet 残差网络(Residual network)。

  团队 2019 年发表论文

  《大藏经的汇编:当 AI 遇见佛教》,介绍了其自动标点技术

  贤超法师解释道,以往的神经网络最多就是十几层、二十多层的结构,如果层数再多,训练结果就不太容易收敛了。而残差网络动辄几百层,甚至上千层。更深的网络有助于捕捉到更深层的语义信息,这是其大获成功的关键。

  团队也曾尝试使用卷积神经网络(CNN),最终效果是,残差网络比卷积神经网络的标点准确率平均高出 20-30% 左右。

  AI 自动标点工具效率如何呢?贤超法师用一天时间完成了 2 万字左右规模的古文标点,按照古籍标点每千字 15 元的一般稿酬水平,相当于一天创造了 300 元的经济价值。即使自动标点的准确率只按照 60% 来算,其每天也创造了 180 元的价值。

  团队对该自动标点工具也在不断升级

  目前最新一代的准确率达到 93.3%

  目前,由于贤超法师团队的训练数据多取自佛经,因此其自动标点更适合标点佛教典籍。不过,他表示,未来该技术也将应用在,经史子集等更多领域的古文献整理工作之中,从而让学者们摆脱机械、重复性的劳动。

  今后的古籍点校工作模式有希望改为:AI 先断句、加标点;专业学者进行后期校对、修改。

  贤超法师团队在 18 年就开源了这一自动标点的在线服务,访问古籍·酷(http://gj.cool)可以试用,还可以申请免费调用 API。

  ▍ 识别、翻译:AI 成为佛经汉化百宝箱

  除了自动标点,贤超法师还将 AI 应用古籍研究的多个方面。

  文白对句:对齐 & 翻译

  文白对句,也就是古文到现代文的对齐和翻译。为了实现 AI 文白对句,贤超法师首先构建了一个文白对齐的语料库,然后设计了一个对齐算法,取得了很好的效果。根据相似度和差异度这两个独立指标,可以非常容易地定位出对齐错误的句子。

  将《大藏经》翻译并单句分离开对齐

  有助于人工后期检索与校对

  由于《大藏经》专业名词众多,且历代翻译著作语料繁杂,因此并非古文相关专业就能搞定。《大藏经》的总字数以亿计,如果仅依靠有限的几位专家,工作量将十分巨大,所以,AI 的介入,为专家们分担了不少工作量。

  基于深度学习的 OCR,识别古籍文字

  目前市面上的 OCR 软件都是针对印刷体的,因此不能很好地识别古籍文献中的字体。

  贤超法师及其合作团队,基于 CNN+LSTM+CTC 框架,开发了新的 OCR 引擎。然后基于《大藏经(高丽版)》的七万多张整图,168 万条文本行图像的数据集进行训练。

  基于弱监督学习的精确文字分割

  最终,其开发的 OCR 方法能够进行古籍的单字识别、单列识别和半自动的多列识别,能够有效地完成各类古籍的电子化工作。

  OCR 软件识别古文将其数字化

  贤超法师还在其公众号「贤超小和尚」(微信号:xianchaofashi)中,分享了更多项目实践和学佛感悟,感兴趣的朋友可以关注。

  ▍ 科技与佛法:以悲悯为内核的不同外化

  佛法与科技,距离并不遥远。

  我们也曾在一文中,对佛教与科技融合的趋势做出过报道,近年来涌现的贤二机器人、机器观音、智能佛珠等等,早已讲科技深刻和谐地融入进佛法。

  科技与佛学的融合中佳作频出,吸引关注

  龙泉寺的另一位知名高僧、IT 禅修营的创办者贤信法师,在一次访谈里被提问佛法和科技的关系。

  他回答:「科技,是追求物质世界的真。佛法,是内心世界的真。很多在科学上做出探索、在技术上做出探索的人,最开始是抱着想为人类做贡献的心,跟佛教提出最慈悲的追求也是相共的,这就是科技与佛法的共同点。」

  该文章内容转载自 HyperAI超神经

  END

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杭州车主把燃油车停在充电车位,回来发现车被上锁,最后交了一百块钱……

杭州车主把燃油车停在充电车位,回来发现车被上锁,最后交了一百块钱……

都市快报橙柿互动
2026-07-07 12:13:20
世界杯8强已定6队:欧洲占5席!3个东道主全出局,美洲仍0队晋级

世界杯8强已定6队:欧洲占5席!3个东道主全出局,美洲仍0队晋级

我爱英超
2026-07-07 10:05:36
震撼!网红司晓迪披露鹿晗等大量私照+更揭露私密相处内幕!

震撼!网红司晓迪披露鹿晗等大量私照+更揭露私密相处内幕!

魔都囡
2026-07-07 03:16:52
美国队1:4惨败出局,特朗普白忙活一场 | 京酿馆

美国队1:4惨败出局,特朗普白忙活一场 | 京酿馆

新京报
2026-07-07 11:26:38
六蓝水库这次险情,不叫坍塌不叫决堤,只能叫局部溃坝

六蓝水库这次险情,不叫坍塌不叫决堤,只能叫局部溃坝

历史总在押韵
2026-07-06 15:01:00
哈兰德没边界感,对挪威公主不尊重?球迷:在古代,皇帝都赐婚了

哈兰德没边界感,对挪威公主不尊重?球迷:在古代,皇帝都赐婚了

开成运动会
2026-07-06 19:46:22
打响高端品牌价值战第一枪星途ET5官宣调价5000元

打响高端品牌价值战第一枪星途ET5官宣调价5000元

AutoBusiness
2026-03-06 17:24:45
8死1失联!湖北遭遇特大龙卷风,墙被吹倒屋顶被掀,车子在天上飞

8死1失联!湖北遭遇特大龙卷风,墙被吹倒屋顶被掀,车子在天上飞

Mr王的饭后茶
2026-07-07 09:47:44
韩红的麻烦越来越大了

韩红的麻烦越来越大了

大张的自留地
2026-07-06 12:55:59
男篮世预赛大反转?日本放水韩国或被反噬:中国队有望成最大赢家

男篮世预赛大反转?日本放水韩国或被反噬:中国队有望成最大赢家

篮球快餐车
2026-07-07 09:15:18
盘点信任俄国却惨遭抛弃背叛的国家

盘点信任俄国却惨遭抛弃背叛的国家

名人苟或
2026-07-07 07:03:36
外卖女骑手越来越多,这是一个危险信号

外卖女骑手越来越多,这是一个危险信号

霹雳炮
2026-07-06 22:35:00
张雪在公司须自己排队打餐!网友:企业家,我只佩服马斯克和张雪

张雪在公司须自己排队打餐!网友:企业家,我只佩服马斯克和张雪

火山詩话
2026-07-07 07:33:03
姆巴佩回应巴拉圭议员:一位无能的女士给她的国家留下了最糟糕的形象

姆巴佩回应巴拉圭议员:一位无能的女士给她的国家留下了最糟糕的形象

懂球帝
2026-07-07 02:17:24
横州一养蛇场被冲有蛇出逃 村民组建捕蛇队 村委:发现蛇报备,由专业人员处置

横州一养蛇场被冲有蛇出逃 村民组建捕蛇队 村委:发现蛇报备,由专业人员处置

红星新闻
2026-07-07 13:56:55
全国各大寺院陷入倒闭潮,并非缺顾客,而是自己把自己搞垮了!

全国各大寺院陷入倒闭潮,并非缺顾客,而是自己把自己搞垮了!

糖逗在娱乐
2026-07-05 21:30:04
总推进距离-5.7米!C罗被狂批:你还好意思哭 一拿球就回传 罪人

总推进距离-5.7米!C罗被狂批:你还好意思哭 一拿球就回传 罪人

风过乡
2026-07-07 05:58:37
世界杯观感:史上最强的葡萄牙,最终还是毁在了江湖骗子手上

世界杯观感:史上最强的葡萄牙,最终还是毁在了江湖骗子手上

涛哥侃球
2026-07-07 09:24:55
初中学历企业家靠代孕生300个娃!全体孩子合影和对代孕女友要求震撼全网

初中学历企业家靠代孕生300个娃!全体孩子合影和对代孕女友要求震撼全网

浪花妈妈
2026-07-07 01:21:13
“我生的随便处理”,逼走儿媳杀死儿子,明知父母要杀他为何不逃

“我生的随便处理”,逼走儿媳杀死儿子,明知父母要杀他为何不逃

易玄
2026-07-06 20:05:48
2026-07-07 14:28:49
机器人大讲堂 incentive-icons
机器人大讲堂
立德机器人平台,是一个集媒体品牌、智库咨询、投资孵化、引智招商为一体的机器人垂直领域服务平台
6791文章数 4592关注度
往期回顾 全部

艺术要闻

188米!何镜堂院士出手,前海新地标不走寻常路!

头条要闻

媒体:比利时赛前内讧频发 若无"红牌"事件未必能赢

头条要闻

媒体:比利时赛前内讧频发 若无"红牌"事件未必能赢

体育要闻

世界杯最强17岁,贝林厄姆主动和他交换球衣

娱乐要闻

司晓迪再爆鹿晗,称两人已睡过

财经要闻

百万粉丝主播的减肥“生意”

科技要闻

Claude说话前 脑子里可能先亮起了这些概念

汽车要闻

试驾全新坦克300 Hi4-Z/激光雷达/全场景NOA

态度原创

艺术
游戏
教育
本地
健康

艺术要闻

188米!何镜堂院士出手,前海新地标不走寻常路!

Xbox迎大规模裁员!IGN担忧《星空》续作

教育要闻

别再乱用”awful“了!4个表示”糟糕“的顶级词汇,你用对了吗?

本地新闻

国内足球之旅?这座小城给你高分答案

突发中风 脑梗和脑出血怎么判断?

无障碍浏览 进入关怀版