网易首页 > 网易号 > 正文 申请入驻

吞下17亿图片,Meta最强巨兽DINOv3开源!重新定义CV天花板

0
分享至

新智元报道

编辑:KingHZ

【新智元导读】无需人工标注,吞下17亿张图片,Meta用自监督学习炼出「视觉全能王」!NASA已将它送上火星,医疗、卫星、自动驾驶领域集体沸腾。

17亿张图片,Meta训出70亿参数「视觉巨兽」DINOv3,完全开源了!

通过自监督学习(SSL)训练,DINOv3可生成强大且高分辨率的图像特征。

在多个密集预测任务中,这是单一固定的视觉主干网络第一次超越专用解决方案。

DINOv3重新定义计算机视觉性能天花板,在多个基准测试中刷新或逼近最佳成绩!

美国的NASA甚至已在火星探索上用上了DINOv3。这是真上天了!

就在大家以为Meta在AI竞赛上被淘汰之时,Meta这次总算扬眉吐气。

而且,这次Meta是真开源:DINOv3不仅可商用,还开源了完整的预训练主干网络、适配器、训练与评估代码等「全流程」。

项目地址:https://github.com/facebookresearch/dinov3

全部checkpoint:https://huggingface.co/collections/facebook/dinov3-68924841bd6b561778e31009

DINOv3亮点如下:

  1. SSL支持在无需标签的情况下对含17亿张图像、70亿参数的模型进行训练,适用于标注资源稀缺的场景,包括卫星图像。

  2. 生成出色的高分辨率特征,并在密集预测任务上实现最先进的性能。

  3. 多样化的视觉任务和领域应用,全部采用冻结主干(无需微调)。

  4. 包含蒸馏后更小的模型(ViT-B、ViT-L和ConvNeXt 变体,以实现灵活部署。

自监督学习的新胜利

自监督学习无需人工标注数据即可独立学习,已成为现代机器学习领域的主导范式。

大语言模型崛起全在于此:通过在海量文本语料库上进行预训练来获取通用表征。然而,计算机视觉领域的进展却相对滞后,因为目前最强大的图像编码模型在训练时仍严重依赖人工生成的元数据,例如网络图片标题。

DINOv3改变了这一切:

DINOv3提出了新的无监督学习技术,极大地减少了训练所需的时间和资源。

这种免标注的方法尤其适用于标注稀缺、成本高昂或根本无法获取标注的场景。例如,使用卫星影像预训练的 DINOv3骨干网络,在树冠高度估计等下游任务中表现卓越。

不仅能加速现有应用的发展,DINOv3还有可能解锁全新的应用场景,推动医疗保健、环境监测、自动驾驶、零售、制造等行业的进步,实现更精准、高效的大规模视觉理解。

史无前例:自监督学习超越弱监督

DINOv3再次刷新了里程碑——首次证明自监督学习(SSL)模型能够在广泛任务中超越弱监督模型的表现。

DINOv3延续了DINO算法,不需要任何元数据输入,但这次所需训练算力仅为以往方法的一小部分,却依然能产出极其强大的视觉基础模型。

借助这些全新改进,在竞争激烈的下游任务(如在冻结权重条件下的目标检测)中,DINOv3也能取得当前最优表现。

这意味着研究者和开发者无需为特定任务进行微调,即可将其直接应用于更广泛、更高效的场景。

此外,DINO方法并未针对特定图像模态进行优化,它不仅适用于网络图像,还能推广到那些标注极其困难或成本高昂的领域。

DINOv2已经利用海量无标注数据,支持了组织病理学、内窥镜及医学影像等方向的诊断与科研工作。而在卫星与航空影像领域,数据量庞大且复杂,使人工标注几乎不可行。

DINOv3能够将这些丰富的数据集用于训练一个通用骨干网络(single backbone),并跨不同类型的卫星图像,实现环境监测、城市规划、灾害应对等多种应用。

DINOv3已在现实世界产生了影响。

世界资源研究所(WRI)正在使用新模型监测森林砍伐并支持生态修复,帮助当地团体保护脆弱的生态系统。依托DINOv3,WRI分析卫星影像,检测受影响生态区域的树木损失和土地利用变化。

DINOv3带来的精度提升,使其能够自动化气候金融拨款流程,通过验证修复成果来降低交易成本,加速资金流向本地小型组织。

例如,与DINOv2相比,在对肯尼亚某地区的树冠高度进行测量时,使用卫星与航空影像训练的DINOv3将平均误差从4.1 米降至1.2 米。

无需微调也能实现高效Scaling

相较前一代DINOv2,DINOv3在规模上有了大幅提升:

模型参数扩大了7倍,训练数据量也提升了12倍。

为了验证它的多样性,在15项不同的视觉任务和超过60个基准测试上,Meta团队全面评估了DINOv3。

在各种密集预测(dense prediction)任务中,DINOv3的骨干网络表现出色,展现出对场景结构和物理属性的深刻理解。

左右滑动查看

DINOv3 能提取出丰富的密集特征(dense features),为图像中每个像素生成包含可测量属性的浮点向量。这些特征不仅能帮助识别物体的细节结构,还能在不同实例和类别之间实现泛化。

凭借这种强大的表示能力,即便只使用少量标注数据和一个简单的线性模型,再加上一些轻量适配器,也能在 DINOv3上实现稳健的密集预测效果。如果再结合更复杂的解码器,甚至可以在无需对骨干模型进行微调的前提下,在目标检测、语义分割和相对深度估计等经典计算机视觉任务中达到当前最先进的水平。

由于无需微调,在一次前向计算中,DINOv3 就能同时服务于多个视觉任务,从而多个任务可以共享计算开销。

这对于那些在边缘设备上需要并行执行多项视觉处理的场景尤为关键。

DINOv3出色的通用性和高效率,使它成为此类应用的理想选择。

NASA的喷气推进实验室(JPL)已经在使用 DINOv2 构建火星探测机器人,实现了在极低计算资源下完成多项视觉任务的目标。

适合实际部署

多个模型全开源

DINOv3扩展到了70亿参数规模,充分展示了自监督学习(SSL)的潜力,但这样的大模型对于很多实际应用来说并不现实。

因此,Meta构建了一个模型家族,覆盖从轻量级到高性能的不同计算需求,以满足各类研究和开发场景。

通过将ViT-7B蒸馏成更小但性能优越的版本(如ViT-B和ViT-L),DINOv3在多个评估任务中均超越了同类的CLIP模型。

此外,他们还推出了一系列基于ViT-7B蒸馏的ConvNeXt架构(T、S、B、L),适用于不同计算资源限制下的部署需求。

同时,他们也开放了完整的蒸馏流程,便于社区在此基础上继续拓展。

参考资料:

https://ai.meta.com/blog/dinov3-self-supervised-vision-model/

https://ai.meta.com/dinov3/

https://ai.meta.com/blog/nasa-jpl-dino-robot-explorers/

https://ai.meta.com/research/publications/dinov3/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

轩逸阿II
2026-10-17 07:39:17
朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

纯洁的微笑
2026-11-18 21:51:39
金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

文史达观
2025-07-05 06:45:03
黄仁勋与英伟达的纠缠:谁想让他走,谁又希望他留下?

黄仁勋与英伟达的纠缠:谁想让他走,谁又希望他留下?

财闻
2026-11-18 16:16:57
曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

启迪你的思维
2026-11-18 17:58:04
蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

宅家伍菇凉
2025-11-19 09:30:03
悲惨!因辅导作业,情绪失控,母女相继跳楼,双双坠亡!

悲惨!因辅导作业,情绪失控,母女相继跳楼,双双坠亡!

闲侃闲侃
2026-06-25 07:43:49
已玩100小时《GTA6》!外媒确信PC版才是"完全体"

已玩100小时《GTA6》!外媒确信PC版才是"完全体"

游民星空
2026-11-18 23:28:03
离谱!美国达拉斯一女警回家走错楼层,把四楼当自家三楼,推门看见26岁黑人男子简正吃冰淇淋,竟直接开枪射杀,辩称以为遇入室盗贼

离谱!美国达拉斯一女警回家走错楼层,把四楼当自家三楼,推门看见26岁黑人男子简正吃冰淇淋,竟直接开枪射杀,辩称以为遇入室盗贼

扶苏聊历史
2026-10-05 16:42:03
果然,“世界是个巨大的佛山”!广东一男子去“佛山加油站”加油,结果跑几千公里去了云南!

果然,“世界是个巨大的佛山”!广东一男子去“佛山加油站”加油,结果跑几千公里去了云南!

佛山电视小强热线
2026-11-18 21:16:32
日本10月份出口同比增长20.5%

日本10月份出口同比增长20.5%

每日经济新闻
2026-11-18 07:56:11
广东这座“巨无霸”城市,潜力才刚开始

广东这座“巨无霸”城市,潜力才刚开始

呼呼历史论
2026-11-18 04:37:41
美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

每日经济新闻
2026-11-17 21:10:14
杨瀚森继续被DNP!卡尔森14分钟1板,亨德森上半场6中0,开拓者主帅诺里回应:我会保持公平,总有球员站出来,那小杨呢?

杨瀚森继续被DNP!卡尔森14分钟1板,亨德森上半场6中0,开拓者主帅诺里回应:我会保持公平,总有球员站出来,那小杨呢?

詹妹侃体育
2026-11-18 17:37:22
俱乐部杯打鱼腩仅得4分,北京顶薪中锋遭自家球迷嘲讽:唯一脓包

俱乐部杯打鱼腩仅得4分,北京顶薪中锋遭自家球迷嘲讽:唯一脓包

弄月公子
2026-11-18 22:51:07
元首外交“深圳时间”开启,密集会晤聚焦哪些重要话题?

元首外交“深圳时间”开启,密集会晤聚焦哪些重要话题?

上观新闻
2026-11-18 12:16:34
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
11月17日凌晨,俄罗斯报复不隔夜,4枚高超炸北约弹药库,炸大桥

11月17日凌晨,俄罗斯报复不隔夜,4枚高超炸北约弹药库,炸大桥

共工之锚
2026-11-18 11:05:32
2026-11-19 00:04:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
本地
时尚
旅游
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

乌兰察布:以前种土豆,现在种Token

穿好“长大衣”,这8个细节很重要!

旅游要闻

维港夜空告别“幻彩咏香江” 22年光影记忆落幕

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版