网易首页 > 网易号 > 正文 申请入驻

重磅!DeepSeek R1方法成功迁移到视觉领域,多模态AI迎来新突破

0
分享至

机器之心发布

机器之心编辑部

嘿,各位开发小伙伴,今天要给大家安利一个全新的开源项目 ——VLM-R1!它将 DeepSeek 的 R1 方法从纯文本领域成功迁移到了视觉语言领域,这意味着打开了对于多模态领域的想象空间!

这个项目的灵感来自去年 DeepSeek 开源的那个 R1 方法,靠着 GRPO(Generative Reward Processing Optimization)强化学习方法,在纯文本大模型上取得了惊人的效果。

现在,VLM-R1 团队直接把它应用到了视觉语言模型上,打开了一扇新的大门!

VLM-R1 验证结果惊艳

这个项目的团队在 Qwen2.5-VL 的基础上,同时对比了 R1 和传统的 SFT 方法。结果相当惊艳:

1、稳定性拉满:R1 方法在各种复杂场景下都能保持稳定的高性能,这在实际应用至关重要!

2. 泛化能力卓越:更让人震惊的是,在领域外的测试数据上,随着训练步数增加,传统 SFT 模型的性能开始下滑,而 R1 模型却能持续提升!这意味着 R1 方法帮助模型真正 “学会” 了理解视觉内容,而不是简单地记忆!

(训练和测试领域的差异对比)

(泛化性对比,绿线是 VLM-R1,在领域外泛化性显著更优)

3、上手超简单:VLM-R1 项目团队还贴心地提供了完整的训练和评估流程,四步就能开始训练,对开发者十分友好。

小编亲测之后,在此分享一个实际案例,结果让人意外。

图片里展示了一桌子丰盛的美食,包括各种蔬菜、面饼和点心。针对图片,我们向模型提出了一个问题:“在图片中找出蛋白质含量最高的食物”。

模型不仅回答得准确:

“图片中展示了桌上的各种菜品,包括蔬菜、面饼和点心。从蛋白质含量来看,面饼或面点可能含量最高,因为它们通常由全谷物制成,面粉中含有蛋白质。虽然蔬菜也含有蛋白质,但比起这些主食来说含量较少。”

更厉害的是,它还精准地在图片中框选出了那个蛋白质含量最高的鸡蛋饼!

这种精确的视觉理解能力和推理能力,让人印象深刻!

完美展示了 VLM-R1 在实际应用中的优势:

  • 准确的视觉识别能力
  • 专业的知识推理能力
  • 清晰的文本表达能力

全新思路

作为一个 AI 领域的观察者,VLM-R1 的出现也为开发者和行业提供了许多新的思路,比如:

1、证明了 R1 方法的通用性,不止文本领域玩得转;

2、为多模态模型的训练提供了新思路;

3、或许能够引领一种全新的视觉语言模型训练潮流;

完全开源

最棒的是,这个优秀的项目完全开源!

项目地址:[VLM-R1](https://github.com/om-ai-lab/VLM-R1)

对视觉语言模型感兴趣的同学,强烈建议去看看这个项目。说不定你的下一个突破性研究就从这里开始!

最后,期待看到更多开发者加入进来,一起推动多模态 AI 技术的发展。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天天说中国芯片被卡脖子,可全世界一半的芯片,其实都是中国造的

天天说中国芯片被卡脖子,可全世界一半的芯片,其实都是中国造的

次元君情感
2026-11-17 15:12:18
国足噩梦开局!112秒闪电丢球,16年首被巴林破门,李昊挡不住

国足噩梦开局!112秒闪电丢球,16年首被巴林破门,李昊挡不住

奥拜尔
2026-11-17 20:09:17
蒙古一夜变天,总统不到24小时被赶下台,换个总统邻国还是这个样

蒙古一夜变天,总统不到24小时被赶下台,换个总统邻国还是这个样

影孖看世界
2026-11-17 22:57:04
“断子绝孙”还有救?联合国曾预言:2050年,中国人口将出乎意料

“断子绝孙”还有救?联合国曾预言:2050年,中国人口将出乎意料

混沌录
2026-11-14 22:44:04
黄仁勋女儿,没戏了

黄仁勋女儿,没戏了

小鱼爱鱼乐
2026-11-17 18:11:53
国足开场3分钟闪电丢球!巴林头球破门 刘建宏:队长刘洋没有看人

国足开场3分钟闪电丢球!巴林头球破门 刘建宏:队长刘洋没有看人

念洲
2026-11-17 20:09:28
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
风波升级!官媒下场锐评"零元面馆",言辞犀利,字字戳进老板心窝

风波升级!官媒下场锐评"零元面馆",言辞犀利,字字戳进老板心窝

卷史
2026-11-17 17:20:48
北大399元绒羽绒服卖断货,20克充绒量不及山姆在售羽绒服1/10,引发“割韭菜”争议

北大399元绒羽绒服卖断货,20克充绒量不及山姆在售羽绒服1/10,引发“割韭菜”争议

新商业派
2026-11-17 19:04:27
周鹏降薪300万回归才两个月再次离队,广东队3胜5负外教已经下课

周鹏降薪300万回归才两个月再次离队,广东队3胜5负外教已经下课

生活新鲜市
2026-11-17 09:00:00
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
人不会无故患带状疱疹!研究发现:得带状疱疹的人,离不开这5点

人不会无故患带状疱疹!研究发现:得带状疱疹的人,离不开这5点

垚垚分享健康
2026-11-17 22:05:05
丈夫打赏女主播近16万元,互加微信暧昧聊天,女方还发酒店定位及房间号给他,两人私下见面,妻子起诉索回打赏;法院:女主播返还实际所得

丈夫打赏女主播近16万元,互加微信暧昧聊天,女方还发酒店定位及房间号给他,两人私下见面,妻子起诉索回打赏;法院:女主播返还实际所得

南方都市报
2026-11-17 23:29:43
天塌了!理财也亏了:网友8万多本金单日亏65.2元,评论区扎堆晒亏损,不少人哭诉被套不能赎回

天塌了!理财也亏了:网友8万多本金单日亏65.2元,评论区扎堆晒亏损,不少人哭诉被套不能赎回

火山詩话
2026-11-17 16:27:02
腾讯到了生死攸关?

腾讯到了生死攸关?

木禾黑猫
2026-11-17 21:30:06
沙特记者:C罗倾向于在赛季后退役,告别仪式或在利雅得举行

沙特记者:C罗倾向于在赛季后退役,告别仪式或在利雅得举行

懂球帝
2026-11-17 22:07:24
认亲被嘲讽后,郭德纲打响反击战!已交全部铁证,曹云金麻烦大了

认亲被嘲讽后,郭德纲打响反击战!已交全部铁证,曹云金麻烦大了

往史过眼云烟
2026-11-17 14:34:31
萝卜立大功!研究发现:萝卜可能对这4种慢性病有好处!可以常吃

萝卜立大功!研究发现:萝卜可能对这4种慢性病有好处!可以常吃

垚垚分享健康
2026-11-17 23:35:04
段永平最新调仓曝光!大幅减持英伟达,清仓阿里,加仓拼多多、特斯拉

段永平最新调仓曝光!大幅减持英伟达,清仓阿里,加仓拼多多、特斯拉

红星资本局
2026-11-17 19:00:25
1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

唠叨说历史
2026-11-16 17:33:29
2026-11-18 00:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

教育
家居
时尚
本地
军事航空

教育要闻

【预告】11月20日|第152场中小学课堂教学数字化评价与质量提升项目省级教研活动

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版