网易首页 > 网易号 > 正文 申请入驻

商汤SenseNova-Vision登顶HF全球第一,老龙归来?

0
分享至



商汤科技发布并全面开源日日新SenseNova-Vision统一视觉大模型,以单模型之力覆盖检测、分割、深度估计、3D重建四大核心视觉任务,综合得分登顶Hugging Face Any-to-Any Leaderboard全球第一。更关键的是,它同步开源了5000万条样本的视觉语料库——视觉AI从"模型拼盘"走向"统一生成"的拐点,可能真的来了。



视觉AI为什么长期摆脱不了"缝合怪"?

检测要输出边界框坐标,分割要输出像素级掩膜,深度估计要输出稠密深度图,3D重建要输出点云和相机位姿。

不同视觉任务的输出形式天差地别,导致过去几十年,视觉领域的研究天然分裂成一个个互不连通的"孤岛"。目标检测、图像分割、深度预测、3D重建,各自需要独立的专家模型来完成。

这种"模型拼盘"的架构在面对复杂、充满干扰的现实场景时,往往力不从心,容易"抓瞎"。

商汤科技最新发布的SenseNova-Vision,试图用一条完全不同的路线打破这个僵局。

统一生成:把视觉任务全部塞进一个解码器

SenseNova-Vision的核心思路是把众多经典视觉任务——检测、分割、深度、3D重建等,统一表述为多模态生成问题。



公开资料能确认的是,该模型不再为每个任务设计专属的模型架构头、损失函数和解码规则。图像输入后,经过统一的视觉编码器和文本编码器,再由统一解码器输出。无论是文本形式的结构化描述,还是视觉形式的掩膜、深度图、法向量、点云,都用同一套生成框架处理。

这意味着模型不再是一个个执行特定指令的机械"工具箱",而是将视觉空间理解能力作为原生本能,内化于大模型体系之中。



这种架构带来两个层面的根本性变革。

数据反哺大模型:视觉领域几十年积累的海量高质量工业级数据——检测数据教定位、分割数据教边界、深度数据教远近——在统一的生成框架下被大模型完全吸收。

推理赋能视觉任务:大语言模型强大的泛化推理能力反向输出,让视觉任务"长出了脑子"。开发者甚至可以用一句自然语言,自主定义一个在训练中从未被明确列出的新视觉任务。

硬刚全球最强:四大任务,一个模型通吃

SenseNova-Vision在Hugging Face Any-to-Any Leaderboard上综合得分登顶全球第一。

评测数据显示,该模型在四大核心视觉任务上,以单模型之力比肩甚至超越了各领域的专用"专家模型"。

与国际领先的同类模型Vision Banana相比,后者的技能点主要集中在两类任务上,而SenseNova-Vision实现了全任务覆盖,在多项可比指标上均取得领先。

具体数据层面,公开资料能确认的是:

- 结构化感知:Common Det F1@mIoU 56.6,Dense Det F1@mIoU 66.8

- 稠密几何:Depth Mean δ₁ 93.2,Normal Indoor 11.25° 66.9

- 分割:ReaSeg mIoU 62.0,GCGSeg mIoU 66.0

- 多视角3D:Recon F1 Score 87.9,Cam Pose AUC@30 78.7

在与Youtu-VL和Vision Banana的横向对比中,SenseNova-Vision在检测mAP、语义分割mIoU、深度估计δ₁等核心指标上均表现突出。

零样本"秒懂"我的世界:四个极端场景撕开代际差

比数据更有说服力的是泛化能力。SenseNova-Vision在多个极端场景下展现出对传统模型的代际优势。



1. 零样本读懂《我的世界》

面对训练集里从未出现过的游戏画面,模型无需任何微调,就能同步完成表面法向预测、实例分割和目标检测。影视、游戏创作者可以直接将其投入工作流,无需为每个新场景重新训练。

2. 超稠密物体"剥离式"分割

在颜色极度相近、边缘深度交织的密集场景中——比如规整堆叠的钢管或姿态各异的钢筋——传统模型往往难以区分个体。SenseNova-Vision能像外科手术般精准剥离每个独立个体,为工业计数、智慧仓储提供高精度"上帝视角"。

3. 免疫"视错觉"

面对借位摄影等视觉错觉图像,传统模型往往给出错误判断。SenseNova-Vision不仅能准确抠出被遮挡物体的完整轮廓,还能输出正确的表面法向估计。它不被图案和借位欺骗,这是语言模型推理能力与稠密几何预测融合的具象体现。

4. 看穿镜面反射

在包含镜子、玻璃的复杂室内环境中,传统视觉模型极易被镜中倒影欺骗。SenseNova-Vision能够自动过滤反射干扰,准确估计镜中物体的真实空间方向与深度关系,展现了对三维空间几何本质的深刻理解。

5000万样本开源:视觉语料库的战略价值

商汤此次同步开放了模型、代码,以及包含5000万条样本的开源视觉语料库。



这个语料库的战略意义可能不亚于模型本身。

视觉领域长期面临一个尴尬局面:任务分裂导致数据分裂。检测数据集、分割数据集、深度数据集各自为政,互不兼容。SenseNova-Vision的统一生成框架,让异构视觉数据可以在同一套训练 pipeline 里被"翻译"成统一的中间表示。

合理推演是:如果这套语料库和训练方法被社区广泛采纳,视觉AI的研究范式可能会从"为每个任务攒数据"转向"为统一模型攒多模态数据"。

这类似于大语言模型时代的预训练语料革命——当数据规模和多样性足够大时,统一模型的涌现能力会超越专用模型的手工设计。

视觉AI并轨AGI主线:一个被重新定位的学科

SenseNova-Vision的哲学意义可能大于技术指标。

计算机视觉曾经处于深度学习研究的中心。但在大模型浪潮中,视觉任务一度被边缘化为"多模态大模型的一个输入分支"——模型能看图说话,但看不懂空间几何。

SenseNova-Vision展示的是将计算机视觉融入AGI主线的可行性。视觉AI不再是一个个孤岛,而是正式并轨,成为通往通用人工智能的主线任务之一。

当模型能用自然语言定义视觉任务、用统一生成框架处理异构输出、用推理能力免疫视觉错觉时,"看"与"理解"之间的鸿沟正在被填平。

可信度收束:开源到什么程度?

公开资料能确认的是,商汤已发布模型权重、代码和5000万样本语料库,模型登顶Hugging Face Any-to-Any Leaderboard。

但关于训练细节——比如统一解码器的具体架构、视觉token的表示方式、多任务联合训练的损失平衡策略——技术报告中有所涉及,但社区尚未大规模复现验证。

社区传闻称,部分开发者已经在尝试用该模型处理工业检测和自动驾驶场景,但还没有形成系统性的第三方评测报告。

视觉AI的"缝合怪"时代是否真的会终结,取决于统一生成框架在更大规模、更复杂场景下的可扩展性。但至少,SenseNova-Vision提供了一个有力的起点。

结语

商汤用SenseNova-Vision做了一件视觉AI领域期待已久的事:把检测、分割、深度、3D重建塞进同一个生成框架,让模型原生学会"看物理世界"。

它登顶Hugging Face全球第一,不只是榜单上的数字游戏。它意味着视觉任务从"专用模型拼盘"向"统一空间理解"迈出了实质性的一步。

5000万样本开源语料库的释放,更像是在向社区喊话:统一视觉模型的基础设施已经搭好,接下来看你们怎么往上盖房子。

视觉AI的GPT时刻会不会来?现在还不好说。但"缝合怪"的缝合线,确实已经开始松动了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
记者:季军赛是对所有世界杯半决赛失利者的侮辱,应被取消

记者:季军赛是对所有世界杯半决赛失利者的侮辱,应被取消

懂球帝
2026-07-16 21:09:07
阿根廷排名第一仍不被看好,超级计算机2.5万次模拟显示,西班牙夺冠概率达56.31%

阿根廷排名第一仍不被看好,超级计算机2.5万次模拟显示,西班牙夺冠概率达56.31%

极目新闻
2026-07-16 19:28:36
全面反俄?37国共谋出兵,俄生死存亡关头,普京政府搬出中俄条约

全面反俄?37国共谋出兵,俄生死存亡关头,普京政府搬出中俄条约

浮黎礼
2026-07-16 17:19:39
扎波罗热核电站总工遭无人机袭击身亡,分析:或改变俄乌冲突的性质

扎波罗热核电站总工遭无人机袭击身亡,分析:或改变俄乌冲突的性质

红星新闻
2026-07-16 19:05:27
项立刚:LV在中国将不再有未来,因为今天中国的年轻人不贱

项立刚:LV在中国将不再有未来,因为今天中国的年轻人不贱

火山詩话
2026-07-16 17:28:01
世界杯最大败笔!英格兰弃用皇马王牌!图赫尔脸都被打肿了

世界杯最大败笔!英格兰弃用皇马王牌!图赫尔脸都被打肿了

奶盖熊本熊
2026-07-17 02:14:58
见证英格兰队被宿敌淘汰,贝克汉姆抱头痛哭,赛后发声:这是场令人心碎的比赛

见证英格兰队被宿敌淘汰,贝克汉姆抱头痛哭,赛后发声:这是场令人心碎的比赛

红星新闻
2026-07-16 10:49:06
贾浅浅学位职位全撤!蒋方舟人设崩塌,文二代和天才作家双双翻车

贾浅浅学位职位全撤!蒋方舟人设崩塌,文二代和天才作家双双翻车

网易新闻出品
2026-07-14 20:22:51
多家公司宣布:下周一,放假

多家公司宣布:下周一,放假

南方都市报
2026-07-16 21:41:47
悲哀!邹市明被逼成什么样了,他完全不想直播带货,双目无神,昔日拳王的风光不复存在了,网友鸣不平引热议

悲哀!邹市明被逼成什么样了,他完全不想直播带货,双目无神,昔日拳王的风光不复存在了,网友鸣不平引热议

火山詩话
2026-07-16 16:59:46
特斯拉突然官宣:7月16日,正式降价

特斯拉突然官宣:7月16日,正式降价

3C毒物
2026-07-17 02:10:18
亚马尔在率领西班牙队闯入世界杯决赛后仅数小时,其豪宅遭2名蒙面人入侵,被安保发现后逃离,警方已获取窃贼照片,正展开调查

亚马尔在率领西班牙队闯入世界杯决赛后仅数小时,其豪宅遭2名蒙面人入侵,被安保发现后逃离,警方已获取窃贼照片,正展开调查

三湘都市报
2026-07-16 12:30:31
麻烦大了!撤销学位仅1天,贾浅浅再迎2大噩耗,父亲贾平凹受牵连

麻烦大了!撤销学位仅1天,贾浅浅再迎2大噩耗,父亲贾平凹受牵连

凡知
2026-07-16 11:28:08
全国5800万人断缴社保:是“任性”还是无数人希望的破灭?

全国5800万人断缴社保:是“任性”还是无数人希望的破灭?

微评社
2026-07-16 14:55:07
“阴花不进阳宅”,家里若有这5种花,请赶紧“搬出去”!

“阴花不进阳宅”,家里若有这5种花,请赶紧“搬出去”!

三农老历
2026-07-14 19:54:23
邹市明败象2017年已露?冉莹颖整容前照与高考状元之谜

邹市明败象2017年已露?冉莹颖整容前照与高考状元之谜

TVB的四小花
2026-07-17 00:39:14
西班牙VS阿根廷,谁能夺冠?瓜迪奥拉给出了自己的答案

西班牙VS阿根廷,谁能夺冠?瓜迪奥拉给出了自己的答案

体育哲人
2026-07-16 21:58:33
哈工大调查450名感染艾滋病人士,发现:患艾滋病的人,有4大共性

哈工大调查450名感染艾滋病人士,发现:患艾滋病的人,有4大共性

芹姐说生活
2026-07-16 19:59:49
普陀山5元水永远售罄,3元机常年断电,只不过这回游客更硬气!

普陀山5元水永远售罄,3元机常年断电,只不过这回游客更硬气!

星娱叨叨社
2026-07-16 15:00:19
彭女士霸车位还诬告,体育局987万账本跟着曝光,网友更不淡定了

彭女士霸车位还诬告,体育局987万账本跟着曝光,网友更不淡定了

社会日日鲜
2026-07-16 19:23:58
2026-07-17 05:59:00
AI唱反调 incentive-icons
AI唱反调
在这里,听见不一样的 AI 声音。
53文章数 0关注度
往期回顾 全部

科技要闻

苹果AI终于要来了:还能追上华为豆包们吗

头条要闻

扎波罗热核电站总工遭袭身亡 被指或改变俄乌冲突性质

头条要闻

扎波罗热核电站总工遭袭身亡 被指或改变俄乌冲突性质

体育要闻

逆天6后卫神阵,图赫尔活活坑死英格兰

娱乐要闻

天下无不散宴席!白鹿官宣告别欢娱

财经要闻

韩国股市暴涨暴跌 借钱炒股的散户快疯了

汽车要闻

小鹏MONA L03上市为什么选在慕尼黑?

态度原创

数码
健康
教育
家居
房产

数码要闻

复古全键盘智能机!Unihertz Titan 2 Elite国行版入网 支持5G

中风为何总在激动、用力时到来?

教育要闻

海的味道都知道,海的知识明白了吗?

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

洞察新局 | 2026年海珠置业红盘图鉴

无障碍浏览 进入关怀版