网易首页 > 网易号 > 正文 申请入驻

华为开源7B多模态模型,视觉定位和OCR能力出色,昇腾端侧新甜点

0
分享至

允中 发自 凹非寺
量子位 | 公众号 QbitAI

7B量级模型,向来是端侧部署与个人开发者的心头好。

轻量化特性让它能灵活适配各类终端场景,而强劲性能又能覆盖图像信息抽取、文档理解、视频解析、物体定位等高频需求。

刚刚,华为重磅推出开源新玩家openPangu-VL-7B,直接瞄准这一核心场景精准发力。

昇腾原生的模型结构,让openPangu-VL-7B的推理性能极具性价比:

720P图像在单张Ascend Atlas 800T A2卡上首字模型推理时延(ViT与LLM模型时延和)仅160毫秒,能够进行5FPS的实时推理;训练阶段的MFU更是达到42.5%。

更值得关注的是,模型在预训练阶段完成了3T+tokens的无突刺集群长稳训练,为开发者使用昇腾集群提供了极具价值的实践参考。

openPangu-VL-7B在通用视觉问答、文档图表理解&OCR、视觉定位、短视频理解等核心任务上表现突出,在开源榜单中力压同量级模型,展现出强悍的综合实力。

官方提供的cookbook也展现了模型在这些领域的优异能力。

比如我们给模型一张菜品图,让模型找到一共有多少个樱桃番茄,模型能够点出所有的位置并正确计数。

给模型一张年报截图,模型也能将其转变为markdown格式,省去了人工摘录的痛苦。

除了亮眼的榜单成绩和针对昇腾的训推优化,技术报告中还披露了若干核心技术细节,揭秘模型高性能背后的设计巧思:

1)适配昇腾的高性能视觉编码器

业界传统视觉编码器多针对GPU架构设计,没有充分发挥昇腾硬件优势。

团队通过大量先导实验与性能分析,找到模型结构的最优平衡点——相同参数量下,该视觉编码器在昇腾芯片上的吞吐较使用窗注意力的ViT-H系列编码器提升15%。

同时,采用多标签对比学习框架,让模型具备更优的细粒度理解能力,为后续VLM训练中的视觉定位数据学习筑牢基础。

2)样本均衡的损失设计

为解决不同长度训练样本的学习均衡问题,openPangu-VL-7B创新采用 “加权逐样本损失+逐令牌损失” 的混合训练方案,加权系数由令牌位置和样本重要性动态决定。

这一设计让模型在训练中既能吃透长回复数据,也不忽视短回复信息,避免 “顾此失彼”,消融实验已充分验证其有效性。

3)带填充的定位数据格式

区别于业界主流的0-999定位方案,openPangu-VL-7B采用000-999千分位带填充相对坐标完成视觉定位。

整齐的三个token进行位置回归,不仅降低了模型学习难度,更显著提升了格式遵从性,让定位任务的精度和效率同步提升。

此外,技术报告还深入探索了预训练数据配比、位置编码、模型融合等关键策略,为开发者提供了全面的技术细节参考。

对于昇腾使用者而言,openPangu-VL-7B 的开源无疑是一大利好。

这款兼具轻量化、高性能与强通用性的多模态模型,既为端侧开发和个人使用提供了新选择,也将进一步丰富昇腾生态的应用场景,为创新注入新动力。

模型链接:
https://ai.gitcode.com/ascend-tribe/openPangu-VL-7B
技术报告:
https://ai.gitcode.com/ascend-tribe/openPangu-VL-7B/blob/main/doc/technical_report.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
10人获评“湖北工匠”,每人奖励50万元

10人获评“湖北工匠”,每人奖励50万元

阿天爱旅行
2026-11-21 05:59:29
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
邝港智再曝猛料!他曾想过报警,被邝球制止,并且否认袭击蔡天凤

邝港智再曝猛料!他曾想过报警,被邝球制止,并且否认袭击蔡天凤

青梅侃史啊
2026-11-21 07:23:18
网传物业费会成为压死失业人群的最后一根稻草…

网传物业费会成为压死失业人群的最后一根稻草…

慧翔百科
2026-11-12 11:33:59
俄媒:北约参与袭击克里米亚大桥

俄媒:北约参与袭击克里米亚大桥

参考消息
2026-11-20 10:56:39
一次采访得罪仨东家!蓝军外租边锋情商低到吓人 不打算踢球了?

一次采访得罪仨东家!蓝军外租边锋情商低到吓人 不打算踢球了?

雪狼侃体育
2026-11-21 09:56:50
拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

篮球大视野
2026-11-20 12:02:24
终于知道为啥中国的火车只能一家垄断,而民航却可以百花齐放!精辟

终于知道为啥中国的火车只能一家垄断,而民航却可以百花齐放!精辟

夜深爱杂谈
2026-11-20 22:10:22
金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

阿胡
2025-04-03 13:59:42
反催婚界出了个天才!父母资金链断了,网友:催到大动脉了

反催婚界出了个天才!父母资金链断了,网友:催到大动脉了

夜深爱杂谈
2026-11-12 22:34:14
终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

另子维爱读史
2026-11-16 21:52:15
《GTA 6》主角能全裸吗?IGN实测给出答案

《GTA 6》主角能全裸吗?IGN实测给出答案

游民星空
2026-11-21 08:29:25
高市早苗结结实实被三次扎心!

高市早苗结结实实被三次扎心!

种花岛
2026-11-21 09:29:27
这“清纯学妹”,穿搭逻辑全在反差里

这“清纯学妹”,穿搭逻辑全在反差里

记录生活的小明
2026-11-21 06:40:08
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-19 16:08:33
特朗普称普京已精疲力竭,“他卷入了一场应该只持续一天的战争”

特朗普称普京已精疲力竭,“他卷入了一场应该只持续一天的战争”

山河路口
2026-11-21 11:53:35
曼联老板内讧了!格雷泽家族就卖不卖球队吵成一团

曼联老板内讧了!格雷泽家族就卖不卖球队吵成一团

夜白侃球
2026-11-21 11:24:44
“世纪大和解”消息后,李小璐发文:接纳每一面的自己!

“世纪大和解”消息后,李小璐发文:接纳每一面的自己!

默默有话说
2026-11-19 11:51:07
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
2026-11-21 13:23:00
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
家居
手机
教育
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版