网易首页 > 网易号 > 正文 申请入驻

6909个样本,Sarvam把印度22种语言的OCR做成了标尺

0
分享至

做文档智能的人都有个共同体会:英文OCR早就卷到头了,但一碰到印度语言,模型就开始"自由发挥"。不是漏字,就是凭空补字,一张1950年代的老报纸扫进去,出来的是半真半假的幻觉文本。

Sarvam Vision 2.1 这次更新的核心,就是冲着这类问题去的。它没有把力气花在刷英文榜单上,而是补了三块此前明显缺位的拼图:复杂表格解析、表单里的键值提取,以及印度手写体识别。


从用户反馈倒推的三个方向

上一版 Sarvam Vision 在2026年2月随主权模型系列一起发布,定位是通用视觉语言模型,但重心压在印度语言的OCR、表格解析和多语言视觉推理上。发布之后,团队收到的反馈集中在两条线上:一是某些能力压根没有,二是实际用起来不够顺手。

顺手这件事,他们从推理栈下手做了优化。结果是模型的服务价格比发布时宣布的更便宜,API也针对生产负载做了调整。能力这条线上,补的正是文档智能里最费劲的活:多页表格的结构化抽取、表单的键值提取、印度手写体识别。同时,此前被诟病的幻觉和不一致问题也做了处理。

架构没换,数据换了

架构延续了上一版的"harness加VLM"范式,语义布局解析器和指针阅读顺序网络是两个主要组件。模型本身能在页面级或文档级直接工作,但精度上的取舍决定了还是得靠harness兜底。

真正的变化在数据。团队为键值提取和印度手写体专门造了大规模高质量数据集,合成数据和真实数据都有。比如他们批量生成了多种语言的手写和印刷合成表单,又从网上抓来真实表单再合成填写,把方差拉高。印度手写体这块,他们用了视频等来源,因为里面天然包含大量手写内容。这些新数据源加上对原有训练语料的打磨,支撑了新能力的训练,也压住了老毛病。

数据到位之后,做的是大规模后训练:先监督微调,再上RLVR。

两个老榜单,一个新标尺

上一版报告的是olmOCR-Bench和OmniDocBench两个基准。这次继续报,但团队自己也承认,这两个榜单某种程度上已经饱和了。继续用的理由,是它们代表了社区认可的标准,能说明模型能力处在什么位置。

olmOCR-Bench测的是文档级表现,用通过/不通过的检查方式,覆盖arXiv数学、老扫描件数学、表格、退化的旧扫描、多栏页面、长串小字等类型。它查的是事实在不在,而不是细微偏差。这个基准官方只支持英文,但里面混了中文等污染样本。上一版因为模型只训了印度语言和英文,报的是过滤后的纯英文集;这次为了和竞品对齐,报的是官方全集。

OmniDocBench v1.6是个复合指标,由文本编辑距离、表格结构的TEDS、公式识别的CDM三项连续相似度构成。样本包括报纸、教科书、杂志、财报等,重点衡量结构保真度。

真正的新东西是Sarvam Indic OCR Bench。全球性的英文基准已经把结构和技术层面测得很充分了——布局保真、表格、数学、扫描质量,这些都不缺。缺的是一个严格评估22种印度官方语言准确率的基准。这次他们把这个基准放出来了,共6909个样本,其中6609个覆盖22种印度语言,300个是英文。它只盯一件事:语言准确率,每个样本都是为了稳健衡量字符和词准确率而挑选的。

样本来源很杂,报纸、宣传册、教科书、历史文稿都有,时间跨度从1800年一直到今天。这么做是因为多数印度语言在语言和文字上都经历过巨大变迁,只取当代样本测不出真实水平。基准托管在他们的huggingface上。

文档智能本来就不是单目标问题

一个系统好不好,要看好几个轴,而这些轴之间未必相关:转录1950年代的扫描件不出幻觉是一个轴,正确还原表格结构是一个轴,准确转录泰米尔语又是一个轴。Sarvam Vision 2.1 想站上的,就是这条多目标构成的帕累托前沿。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2-3!世界杯四强球队巅峰对决:神锋破门+失点 FIFA第4惨遭逆转

2-3!世界杯四强球队巅峰对决:神锋破门+失点 FIFA第4惨遭逆转

狍子歪解体坛
2026-09-27 04:50:02
越南“吃饭砸锅”上瘾了?四条对策直击对方命门,我们绝不当提款机!

越南“吃饭砸锅”上瘾了?四条对策直击对方命门,我们绝不当提款机!

眼界纵横
2026-09-26 21:37:33
外航排队到中国修飞机!外媒:每修一次就给中国C919飞机补齐短板

外航排队到中国修飞机!外媒:每修一次就给中国C919飞机补齐短板

步论天下事
2026-09-27 09:52:53
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
景甜“事业线凸出”太上头,网友:难怪男人上赶着!

景甜“事业线凸出”太上头,网友:难怪男人上赶着!

默默有话说
2026-09-25 15:04:01
记者丨范戴克迟早会来AC米兰

记者丨范戴克迟早会来AC米兰

米兰圈
2026-09-27 09:10:06
刘欢从国际关系学院毕业后曾前往宁夏支教一年,后在大学教授音乐课程30多年,56岁时捐赠2000万元设立音乐公益金

刘欢从国际关系学院毕业后曾前往宁夏支教一年,后在大学教授音乐课程30多年,56岁时捐赠2000万元设立音乐公益金

极目新闻
2026-09-26 13:27:13
锌是聪明之根,多给孩子吃这几种高锌菜,有助大脑发育增强注意力

锌是聪明之根,多给孩子吃这几种高锌菜,有助大脑发育增强注意力

美食店主
2026-09-24 07:07:54
宫鲁鸣承认没完成夺冠任务,避谈揽责,杨舒予赛后这番话太敢说了

宫鲁鸣承认没完成夺冠任务,避谈揽责,杨舒予赛后这番话太敢说了

萌兰聊个球
2026-09-26 19:51:26
中美元首会晤结束后,你必须知道的10件事

中美元首会晤结束后,你必须知道的10件事

刘润
2026-09-27 08:45:05
刘欢离世两天后,五十五岁韩红生日当天发文送别,口碑回暖

刘欢离世两天后,五十五岁韩红生日当天发文送别,口碑回暖

橙星文娱
2026-09-27 12:30:08
余承东没说完的半句话:赛力斯手里握着华为拒绝不了的牌

余承东没说完的半句话:赛力斯手里握着华为拒绝不了的牌

牛锅巴小钒
2026-09-27 10:46:12
哈萨克斯坦总统解除国防部长职务

哈萨克斯坦总统解除国防部长职务

新华社
2026-09-27 12:45:05
星链被炸,乌克兰溃不成军!瘫痪军队向俄求停火,普京无情嘲笑

星链被炸,乌克兰溃不成军!瘫痪军队向俄求停火,普京无情嘲笑

伦伦妈讲财经
2026-09-27 09:59:39
福建省委书记赵龙看望慰问正省级老同志

福建省委书记赵龙看望慰问正省级老同志

中国乡村振兴
2026-09-27 09:22:26
油价已经快压不住了

油价已经快压不住了

凤眼论
2026-09-24 17:00:22
亚运会:日本男单全军覆没!林诗栋4-2逆转松岛辉空晋级4强

亚运会:日本男单全军覆没!林诗栋4-2逆转松岛辉空晋级4强

全言作品
2026-09-26 17:25:45
短短33小时豪取9连胜!林诗栋累到瘫软依旧夺冠 王皓排三单后悔否?

短短33小时豪取9连胜!林诗栋累到瘫软依旧夺冠 王皓排三单后悔否?

颜小白的篮球梦
2026-09-26 19:36:00
11点13分!山东高速男篮正式官宣,山东球迷的福音来了

11点13分!山东高速男篮正式官宣,山东球迷的福音来了

王大发不懂球
2026-09-26 21:39:56
亚运女篮铜牌收官留遗憾!这三人大概率无缘下届亚运

亚运女篮铜牌收官留遗憾!这三人大概率无缘下届亚运

观察者海风
2026-09-27 12:38:25
2026-09-27 13:16:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
175文章数 82关注度
往期回顾 全部

科技要闻

星舰第14飞,为什么准备绕地球六圈?

头条要闻

"莎头组合"0比4惨遭队友横扫 孙颖莎赛后说得很直接

头条要闻

"莎头组合"0比4惨遭队友横扫 孙颖莎赛后说得很直接

体育要闻

2-1!41岁魔笛世界波 克罗地亚欧国联开门红

娱乐要闻

刘欢被病痛裹挟,一生献给音乐与讲台

财经要闻

“为了看短剧,我妈两年花了22万 ”

汽车要闻

MAZDA EZ-60激光版上市 焕新全系11.39万元起

态度原创

教育
本地
旅游
游戏
手机

教育要闻

西北师范大学附属中学党委书记周爱祖:AI深刻改变着教育教学方式

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

仙气拉满!雨后的连云港云台山解锁中秋限定浪漫

《三国杀名将传》× 无锡三国城联动正式开启 沉浸式直播首秀来袭

手机要闻

土法液冷!网友用冰苏打水解决A20 Pro过热降频:性能暴增25%

无障碍浏览 进入关怀版