网易首页 > 网易号 > 正文 申请入驻

5B参数一个模型,十项解析任务全包了

0
分享至

文档、图表、化学结构、乐谱、音频、视频——这些看起来毫不相干的输入,被塞进同一个模型里解析。Youtu-Parsing-Omni 的做法是:用一个共享的 Youtu-Omni-Encoder 搭配 OmniSchema,把多模态输入统一转成结构化记录。


它的输出不是一段笼统的文字描述,而是带定位信息的记录:图像内容挂到边界框上,音频和视频内容挂到时间戳上。这样一来,下游的语言模型要核对某个说法时,可以直接定位到证据所在的位置,不必反复处理原始媒体。

这套系统覆盖十项任务,包括文档解析、图表解析、化学结构解析、乐谱解析、音频解析和视频解析。一个 5B 参数的单一检查点在 OmniDocBench v1.6 上拿到 96.96 的 Overall 成绩,在 OmniParsingBench 上的平均分为 75.08。

在开放权重模型里,这个成绩处于领先位置。报告同时指出,它的优势主要集中在音频和视频两类任务上。

共享感知加统一输出格式,是这篇论文的核心主张:同一套编码器可以服务多种解析任务,输出结构也保持一致。对下游应用来说,这意味着接入一种格式,就能消费来自不同模态的解析结果。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
“你要不要命了!”深夜高速上一辆疾驰小车,副驾人员躺在司机怀里,两人合眼大睡,直到交警来电才惊醒

“你要不要命了!”深夜高速上一辆疾驰小车,副驾人员躺在司机怀里,两人合眼大睡,直到交警来电才惊醒

南方都市报
2026-11-20 09:24:32
31.98万元起!享界首款MPV上市 余承东:我们用料很狠,导致纯电车型成本很高

31.98万元起!享界首款MPV上市 余承东:我们用料很狠,导致纯电车型成本很高

每日经济新闻
2026-11-20 18:40:01
大连英博将做出重要决定,事关斯坦丘离队后谁来挑大梁,值得期待

大连英博将做出重要决定,事关斯坦丘离队后谁来挑大梁,值得期待

振刚说足球
2026-11-21 11:15:48
一张“专科男生穿始祖鸟学习”照,被嘲笑惨了:穿上龙袍也不像太子

一张“专科男生穿始祖鸟学习”照,被嘲笑惨了:穿上龙袍也不像太子

泽泽先生
2026-11-15 13:59:44
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

浩渺青史
2026-10-17 01:48:48
长大后才明白,原来反派告诉你的全是现实!网友:原来我们才是刁民

长大后才明白,原来反派告诉你的全是现实!网友:原来我们才是刁民

夜深爱杂谈
2026-10-06 19:48:30
福建省代省长郭宁宁与12家民营企业代表座谈

福建省代省长郭宁宁与12家民营企业代表座谈

闽商报
2026-11-21 10:01:07
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
30年的酒不是白喝的,黄仁勋刚离任7天,台积电就对英伟达翻脸了

30年的酒不是白喝的,黄仁勋刚离任7天,台积电就对英伟达翻脸了

互联网大观
2026-11-20 13:52:35
美股“黑色星期五”:标普、道指双双进入回调,纳指暴跌5.3%抹平全年涨幅

美股“黑色星期五”:标普、道指双双进入回调,纳指暴跌5.3%抹平全年涨幅

北美商业电讯
2026-11-21 05:35:24
全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

医脉圈
2026-11-02 12:37:32
“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

熙熙说教
2026-11-20 14:16:44
采石矶之战,南宋1.8万残军利用黑科技,降维碾压金国17万铁骑

采石矶之战,南宋1.8万残军利用黑科技,降维碾压金国17万铁骑

小豫讲故事
2026-11-15 06:00:08
墨西哥总统辛鲍姆令人动容!

墨西哥总统辛鲍姆令人动容!

廖保平
2026-11-21 11:48:50
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
中国球迷眼中的杨瀚森和诺里眼里的杨瀚森,根本不在一个维度

中国球迷眼中的杨瀚森和诺里眼里的杨瀚森,根本不在一个维度

姜大叔侃球
2026-11-21 10:37:57
不出意外,明年开始,考公考编、国企招聘将迎来“大变化”

不出意外,明年开始,考公考编、国企招聘将迎来“大变化”

户外阿毽
2026-11-20 04:21:25
日本要另起炉灶?AZEC峰会结束,告别前,高市向11国发出特殊邀请

日本要另起炉灶?AZEC峰会结束,告别前,高市向11国发出特殊邀请

安珈使者啊
2026-11-20 11:38:49
2026-11-21 13:12:49
像素与芯片
像素与芯片
有态度网友ytd
240文章数 85关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
亲子
房产
本地
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

《细胞·代谢》:产后抑郁竟通过母乳“伤害”后代大脑?!中国科学家首次揭示母乳外泌体介导的跨代神经损伤机制

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版