网易首页 > 网易号 > 正文 申请入驻

格灵深瞳RICE模型狂刷榜单,让AI「看懂」图片的每个细节

0
分享至

最近,格灵深瞳公司灵感团队自研的视觉模型基座RICE(MVT v1.5)再次惊艳全场,刷榜多项视觉任务。

RICE 作为 MVT 系列的新模型,继续延续前作 Unicom(MVT v1.0)和 MLCD(MVT v1.1)的视觉预训练理念,秉持着margin 表征代表语义的核心观点,在顶级学术会议 ICCV25 上获得 Highlight 荣誉。

  • 代码地址:
  • https://github.com/deepglint/MVT
  • 论文地址:
  • https://arxiv.org/abs/2507.20025
  • 模型地址:
  • https://huggingface.co/DeepGlint-AI/rice-vit-large-patch14-560

MVT 系列作为灵感团队自研的视觉基座预训练方法,从 1.0 开始,就聚焦于如何让视觉模型利用海量的数据集进行更加准确的视觉语义表征。MVT 系列灵感来自于格灵深瞳公司的顶尖技术 —— 人脸识别算法,得益于在人脸识别领域积累的大量训练经验和视觉表征认知。

团队深刻认识到,视觉知识就像不同的人脸一样,名字只是赋予的人为语义,只要能充分做到不同语义之间的差异化表征,即可做到让各种下游任务以及 LLM 轻松识别这些差异化表征与人类认知之间的对应关系。

基于此思路,MVT v1.0 成功站在巨人的肩膀上,利用当时最先进的 CLIP 预训练模型为海量图文数据进行特征提取。再利用 kmeans 算法,将所有的特征聚类为一百万个不同类别,并为图片进行打标。MVT v1.0 在图片分类、检索等不同领域均获得了 SOTA 级别的表现。

MVT v1.0 方法中的每个样本的学习其实是基于超大规模的数据集总结出来的,超越了 CLIP 这类方法的 batch 类差异化学习的限制。

灵感团队继续研究发现对图像赋予单一的标签,可能会将一些其他正确的标签被当成负样本学习 —— 人类对于事物的认知是多样的。基于此思想,团队推出 MVT v1.1 的工作,给每张图像分配 top-k 个软标签,进一步提高视觉基座对图像编码的语义丰富性。

新一代视觉模型基座 ——RICE

本次的 MVT v1.5——RICE 是沿着前作思想,并进一步洞悉图像语义组成方式的又一力作。

团队研究发现一张图片的信息往往是多种无 / 弱关联视觉元素拼接而成,直接对图片内的不同视觉元素进行监督可能更加符合人类对于图片信息的处理,也能进一步成为目标检测、分割等下游任务更好的基座视觉模型。除此之外,图片中存在的字符块也被此框架所兼容,其字符本身即为该区域图片的语义信息。

为此,团队使用 SAM 对潜在的区域级对象进行了搜索,并对整个数据集中的区域级对象进行特征提取和聚类,最终从 400M 的图像中得到 2B 个图像区域级对象,并聚类为一百万个区域级语义类别标签。针对图像字符块,团队使用 PaddleOCR 从 50M 图片中提取出 400M 的字符级别候选区域,使用字符直接作为类别标签。

在训练过程中,每张图片有大约 10 个区域级对象需要进行学习,团队提出一种Region Attention Layer 模块用于加速模型训练。模型主体部分 ——Encoder 使用经典的 ViT 结构,对于最后一层的视觉特征图则使用 mask 机制对属于同一对象的视觉特征进行提取,完整图片的 class embedding 作为 Q 对区域级别的视觉特征进行 QKV 注意力计算,得到该区域的 Region Class Embedding 作为区域类别语义进行分类损失计算。

相比于 MVT v1.1 这类以全图语义信息编码的训练方法,RICE 在训练过程中,图片内部的视觉特征差异性得到了有效的提升。这表明随着训练的进行,视觉编码器对于图片内部元素的语义表征变得更加丰富。

完备实验验证

RICE 作为新的视觉基座,在多种不同的下游任务上进行了充分的实验验证。

检测任务

RICE 不仅在经典的 COCO 和 LVIS 任务上验证了检测任务上的 Linear Prob 能力,还在包含了 100 种不同场景检测任务的 Roboflow100 上进行了与其他先进的视觉基座进行了公平比较。针对区域级别语义学习的预训练方法,让 RICE 在这类任务上有着得天独厚的优势,在几乎所有指标上获得了最好的结果。

多模态分割任务

多模态分割任务作为多模态领域重要的方向之一,RICE 使用经典的 LLaVA 系列多模态框架,使用 LISA 方法进行训练,在 refCOCO 系列的所有子集上均获得了显著的提升。

视频追踪任务

尽管 RICE 是基于图片进行训练的,但其 ROPE 的位置编码方式以及跨图片的区域级对象聚类方法,使得 RICE 可以接收不同尺寸的视频输入,并对于不同视频帧中的相同目标进行持续追踪。RICE 在 4 个不同的视频追踪相关任务上均获得了领先表现,从特征降采样后的可视化效果来看,模型能够很好的对不同帧中的同一类别物体进行持续追踪。

多模态问答任务

多模态模型是现在视觉基座模型的兵家必争之地。在 LLaVA 系列的主流训练架构中,使用 RICE 作为视觉编码器在多个基准测试上获得了更好的效果。尤其是得益于其在预训练方法可以无缝兼容光学字符识别,使得基于 RICE 视觉基座的多模态模型在 OCR 相关任务上获得了显著的优势。下表源自 LLaVA- OneVision-1.5 技术报告:

最近,RICE 被作为 LLaVA-OneVision-1.5 的视觉编码器,助力其成为和 Qwen2.5-VL 系列可比的全开源的卓越工作。

结论


RICE 作为格灵深瞳公司 MVT 系列的又一力作,在多个层面上展现了他们对于视觉预训练的深刻理解与洞察。RICE 的成功证明了:视觉语义信息在学习时应当注重差异化,可以保证不同下游任务轻松区分并快速识别不同的语义信息;图片中的视觉元素很多的时候是无 / 弱关联,因此区域内的视觉元素学习能够更好的完整表征图片信息。

下一步,MVT 系列即将开启 v2.0—— 视频编码工作,图像是对当前场景的一个静态帧,视频则是对真实世界的直接记录。视频中有大量的信息可以挖掘,是通往 AGI 之路的金矿山。MVT 将继续沿着前作的差异化语义表征的路线,开启视频编码时代的下一个新 SOTA!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国资深男演员车祸去世,曾参演《成长的烦恼》《老友记》等!经纪人:原本伤势不致命,住院观察及治疗骨折后突然离世,警方正在详细调查

美国资深男演员车祸去世,曾参演《成长的烦恼》《老友记》等!经纪人:原本伤势不致命,住院观察及治疗骨折后突然离世,警方正在详细调查

都市快报橙柿互动
2026-11-21 16:16:31
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
广东气温暴跌10℃!广东人脚上拖鞋焊死,全国网友笑疯了

广东气温暴跌10℃!广东人脚上拖鞋焊死,全国网友笑疯了

另子维爱读史
2026-11-21 22:06:33
黄仁勋倒下后,对他下手最狠的,居然是之前然把他吹上天的那位

黄仁勋倒下后,对他下手最狠的,居然是之前然把他吹上天的那位

麓谷隐士
2026-11-21 07:16:43
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

大风新闻
2026-11-21 11:57:02
全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

徐德文科学频道
2026-11-20 15:21:42
网易号平台每日辟谣公告(十一月二十一日)

网易号平台每日辟谣公告(十一月二十一日)

网易号官方平台
2026-11-21 18:21:29
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

澎湃新闻
2026-11-21 17:40:05
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
2026-11-22 00:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
数码
本地
家居
公开课

旅游要闻

读城记|清晰与混沌:砣矶岛海石上的宇宙密码

数码要闻

为抵御黑客攻击,英国秘密发起大规模“冰箱保卫战”

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版