网易首页 > 网易号 > 正文 申请入驻

龙泉寺法师研发AI自动标点:给古文加标点,效果接近人类

0
分享至

不知道你有没有印象,此前一位长着大圆脸、招风耳,身着黄色僧袍的“贤二”机器僧,曾因呆萌的外表和 “我去问问我师父”等口头禅“霸占”了不少社交平台。在12月20日由腾讯发起的2020 Techo Park开发者大会分论坛上,也迎来了一位特殊的演讲嘉宾。和“贤二”一样,这位嘉宾——贤超法师也来自北京龙泉寺。

贤超是北京大学物理学院凝聚态物理研究所硕士,现在是北京市海淀区龙泉寺藏经办公室主任。他透露,自己之所以会关注到人工智能,和阿尔法狗战胜李世石不无关系。从那时候起,贤超开始尝试将人工智能和自己研究的OCR(识别、获取图像等文件上的文本资料)以及自动标点相结合。

贤超法师在演讲中。

“在围棋领域,人类已经一败涂地。我们中华文明非常重视文字记录,文献古籍承载了我们民族的记忆,那么我想,文献古籍会不会再次成为人类的滑铁卢?AI如此‘不讲武德’,我们人类如何应战?” 贤超说。

贤超首先介绍了自动标点技术。所谓自动标点,是指在没有人工干预的前提下,根据算法给古籍文本自动标注现代中文标点的技术,这主要是为了方便现代读者阅读。

他说,和现代标点不同,古代的标点又称句读,大体相当于只有逗号(或顿号)和句号。现代标点则分为两类,一类是标号,比如双引号、单引号、书名号等;第二类则是点号,比如句号、问号、感叹号等等……根据统计,大约每五到六个汉字就需要加一个点号,其中逗号、句号、冒号等出现频率较高。

古文标点的出现频率。

贤超指出,标点符号还具有可替代性,因为不同的人可能会有不同的标注方法,其中分号和顿号的可替代性最强,也就意味着使用的必要性最弱,反之亦然。

标点符号可替代的统计。

据他介绍,人工智能首次被应用到这个领域,只是用于自动断句,也就是给古文加句号,但贤超认为这个做法“是比较保守,比较学术性的”。后来,贤超说,自己的团队将深度学习运用到了自动标点上。

那么效果如何?贤超提到,如果是人工独立完成的标点,作品之间的相似度应该是在80%左右,相似度过高则会有抄袭的嫌疑。根据这个标准,贤超团队研发的Transformer所标注的结果和人类的标注结果“几乎已经无法区分”。

对于Transformer自动标注结果的评价。

贤超还认为,自动标点还有一定的灵活性和规范性。以“谛听谛听善思念之”这八个字为例,贤超说,人类至少有16种不同的添加标点符号方式,但自动标点只给出了六种方案,也不会“过于单一”。

自动标点的标注结果。

在讲述自动标点技术之后,贤超开始讲解超分辨率与古籍图像增强技术。他认为,如果能实现“所见即所出”,就是将屏幕上人眼所能看到的图像,“重建”到符合出版的要求,会大大促进古籍的传播和普及。

此外,这也有利于存储古籍图像。贤超介绍道,古籍图像的存储成本非常巨大,而超分辨率实际上是一个非常高效的解压技术,即使保存的是很低分辨率的图像,也可以随时重建成一个高清晰度的图像,那么“它存储起来会非常非常经济。”

针对这项技术,贤超在现场播放了几个视频来展示团队所开发的工具。从视频中可以看出,这个工具可以比较快速地获取、识别、定位图片上的古籍文本,并为其添加标点符号,甚至能将文言文和白话文进行“对齐”,从而辅助文白翻译。此外,它还具有搜索功能,并能将搜索结果按时间等分类展示。

对于未来的研究方向,贤超希望能打通“移动和桌面”。他坦言,现在这类应用主要是电脑端的,能在手机上使用的并不多。此外,他还希望打造本地化的应用,现在大多数的功能需要联网才能运行,但是很多学者对于知识产权非常敏感,并不愿意将文本放到服务器上处理。

采写:南都记者潘颖欣

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泰国高铁惨案22死,中国为何第一时间背锅?幕后谁在搅局?

泰国高铁惨案22死,中国为何第一时间背锅?幕后谁在搅局?

吃货的分享
2026-01-16 09:45:13
央视八套:20260116播出闫学晶林傲霏母子俩主演的《故乡的泥土》

央视八套:20260116播出闫学晶林傲霏母子俩主演的《故乡的泥土》

晓今娱
2026-01-16 11:03:57
6000米深海开采稀土,可用数百年,日本:终于打破中国垄断

6000米深海开采稀土,可用数百年,日本:终于打破中国垄断

寒叔说国际
2026-01-16 09:57:03
乌克兰继续在改变世界格局

乌克兰继续在改变世界格局

难得君
2026-01-13 19:15:30
广州幼儿园 “关停潮” 蔓延!又有40多所扛不下去了

广州幼儿园 “关停潮” 蔓延!又有40多所扛不下去了

风向观察
2026-01-15 21:39:09
升西部第二!文班22+10受伤惊魂 马刺最多领先39分大胜雄鹿

升西部第二!文班22+10受伤惊魂 马刺最多领先39分大胜雄鹿

醉卧浮生
2026-01-16 11:23:40
最后通牒已下, 特朗普点名中俄后, 丹麦通知全球:不许中国去投资

最后通牒已下, 特朗普点名中俄后, 丹麦通知全球:不许中国去投资

时时有聊
2026-01-16 07:28:42
聂卫平一生的三个妻子:一个得到爱,一个得到钱,还有一个最特别

聂卫平一生的三个妻子:一个得到爱,一个得到钱,还有一个最特别

好贤观史记
2026-01-16 11:32:24
网传追觅员工在公司群怒怼CEO俞浩:凭啥一年超过英伟达?

网传追觅员工在公司群怒怼CEO俞浩:凭啥一年超过英伟达?

识礁Farsight
2026-01-15 14:39:41
日本集体悼念聂卫平!棋圣小林光一:中国国民英雄 输给他后我剃发出家

日本集体悼念聂卫平!棋圣小林光一:中国国民英雄 输给他后我剃发出家

野渡舟山人
2026-01-16 09:52:00
“吃到一万四再让我服务!”上海一网红餐厅服务员被曝辱骂顾客,老板:非常震惊,已开除;网友吵翻

“吃到一万四再让我服务!”上海一网红餐厅服务员被曝辱骂顾客,老板:非常震惊,已开除;网友吵翻

环球网资讯
2026-01-16 12:37:07
申京:以前我都能打爆切特这种大个内线,但邪门的是今天我球都拿不住

申京:以前我都能打爆切特这种大个内线,但邪门的是今天我球都拿不住

懂球帝
2026-01-16 12:32:46
荷兰最大的妓院,产道的微观视图,39张照片看世界

荷兰最大的妓院,产道的微观视图,39张照片看世界

深度报
2026-01-15 22:45:40
棋圣聂卫平抗癌前放纵生活:贪食螃蟹、烟酒成瘾、豪饮百万茅台

棋圣聂卫平抗癌前放纵生活:贪食螃蟹、烟酒成瘾、豪饮百万茅台

章媸解说体育
2026-01-15 11:01:37
库里27+7勇士击败尼克斯2连胜,巴特勒32+8唐斯17+20

库里27+7勇士击败尼克斯2连胜,巴特勒32+8唐斯17+20

湖人崛起
2026-01-16 13:39:37
男书记出轨女同事5年,要求原配连续道歉15天,原配天天曝新料!

男书记出轨女同事5年,要求原配连续道歉15天,原配天天曝新料!

天天热点见闻
2026-01-16 06:56:05
四川10.91%的HIV携带者感染耐药毒株 成都、德阳与周边城市传播关联紧密

四川10.91%的HIV携带者感染耐药毒株 成都、德阳与周边城市传播关联紧密

小星球探索
2026-01-15 15:04:31
马克龙也宣布了:法国将参演

马克龙也宣布了:法国将参演

环球时报国际
2026-01-15 18:09:18
与辉同行3只“皖西麻黄鸡”84元?协会会长:这个价连半只都买不到!实探生产厂商注册地:村民称附近没有养殖场或屠宰场

与辉同行3只“皖西麻黄鸡”84元?协会会长:这个价连半只都买不到!实探生产厂商注册地:村民称附近没有养殖场或屠宰场

每日经济新闻
2026-01-16 00:38:17
贺娇龙告别仪式:新疆下雪,无数人带鲜花送别,交代的事已完成!

贺娇龙告别仪式:新疆下雪,无数人带鲜花送别,交代的事已完成!

古希腊掌管松饼的神
2026-01-16 10:11:28
2026-01-16 15:07:00
南方都市报 incentive-icons
南方都市报
换一种方式,南都在现场。
593271文章数 3586749关注度
往期回顾 全部

艺术要闻

300亿!341米!迪拜将建全球首个奔驰品牌城市

头条要闻

上海网红餐厅服务员辱骂顾客:吃到一万四再让我服务

头条要闻

上海网红餐厅服务员辱骂顾客:吃到一万四再让我服务

体育要闻

聂卫平:黑白棋盘上的凡人棋圣

娱乐要闻

黄慧颐手撕保剑锋 曾黎意外卷入风波

财经要闻

深圳有白银商家爆雷 维权群超350人

科技要闻

被网友"催"着走,小米紧急"抄"了特斯拉

汽车要闻

经典之上再造经典 BJ40探险家上市 13.49万元起

态度原创

亲子
手机
艺术
数码
旅游

亲子要闻

任家萱停工2年备孕还没怀,45岁执着生二胎,近照已是路人模样

手机要闻

小米18系列继续搭载背屏!已经有友商在研究了

艺术要闻

300亿!341米!迪拜将建全球首个奔驰品牌城市

数码要闻

博主爆料小米新品:长续航eSIM手表、双材质手环将来袭

旅游要闻

四川冬季徒步天花板!来剑门蜀道,一天体验冰火两重天|我心目中的“锦绣天府·安逸四川”

无障碍浏览 进入关怀版