网易首页 > 网易号 > 正文 申请入驻

商汤SenseNova-Vision登顶HF全球第一,老龙归来?

0
分享至



商汤科技发布并全面开源日日新SenseNova-Vision统一视觉大模型,以单模型之力覆盖检测、分割、深度估计、3D重建四大核心视觉任务,综合得分登顶Hugging Face Any-to-Any Leaderboard全球第一。更关键的是,它同步开源了5000万条样本的视觉语料库——视觉AI从"模型拼盘"走向"统一生成"的拐点,可能真的来了。



视觉AI为什么长期摆脱不了"缝合怪"?

检测要输出边界框坐标,分割要输出像素级掩膜,深度估计要输出稠密深度图,3D重建要输出点云和相机位姿。

不同视觉任务的输出形式天差地别,导致过去几十年,视觉领域的研究天然分裂成一个个互不连通的"孤岛"。目标检测、图像分割、深度预测、3D重建,各自需要独立的专家模型来完成。

这种"模型拼盘"的架构在面对复杂、充满干扰的现实场景时,往往力不从心,容易"抓瞎"。

商汤科技最新发布的SenseNova-Vision,试图用一条完全不同的路线打破这个僵局。

统一生成:把视觉任务全部塞进一个解码器

SenseNova-Vision的核心思路是把众多经典视觉任务——检测、分割、深度、3D重建等,统一表述为多模态生成问题。



公开资料能确认的是,该模型不再为每个任务设计专属的模型架构头、损失函数和解码规则。图像输入后,经过统一的视觉编码器和文本编码器,再由统一解码器输出。无论是文本形式的结构化描述,还是视觉形式的掩膜、深度图、法向量、点云,都用同一套生成框架处理。

这意味着模型不再是一个个执行特定指令的机械"工具箱",而是将视觉空间理解能力作为原生本能,内化于大模型体系之中。



这种架构带来两个层面的根本性变革。

数据反哺大模型:视觉领域几十年积累的海量高质量工业级数据——检测数据教定位、分割数据教边界、深度数据教远近——在统一的生成框架下被大模型完全吸收。

推理赋能视觉任务:大语言模型强大的泛化推理能力反向输出,让视觉任务"长出了脑子"。开发者甚至可以用一句自然语言,自主定义一个在训练中从未被明确列出的新视觉任务。

硬刚全球最强:四大任务,一个模型通吃

SenseNova-Vision在Hugging Face Any-to-Any Leaderboard上综合得分登顶全球第一。

评测数据显示,该模型在四大核心视觉任务上,以单模型之力比肩甚至超越了各领域的专用"专家模型"。

与国际领先的同类模型Vision Banana相比,后者的技能点主要集中在两类任务上,而SenseNova-Vision实现了全任务覆盖,在多项可比指标上均取得领先。

具体数据层面,公开资料能确认的是:

- 结构化感知:Common Det F1@mIoU 56.6,Dense Det F1@mIoU 66.8

- 稠密几何:Depth Mean δ₁ 93.2,Normal Indoor 11.25° 66.9

- 分割:ReaSeg mIoU 62.0,GCGSeg mIoU 66.0

- 多视角3D:Recon F1 Score 87.9,Cam Pose AUC@30 78.7

在与Youtu-VL和Vision Banana的横向对比中,SenseNova-Vision在检测mAP、语义分割mIoU、深度估计δ₁等核心指标上均表现突出。

零样本"秒懂"我的世界:四个极端场景撕开代际差

比数据更有说服力的是泛化能力。SenseNova-Vision在多个极端场景下展现出对传统模型的代际优势。



1. 零样本读懂《我的世界》

面对训练集里从未出现过的游戏画面,模型无需任何微调,就能同步完成表面法向预测、实例分割和目标检测。影视、游戏创作者可以直接将其投入工作流,无需为每个新场景重新训练。

2. 超稠密物体"剥离式"分割

在颜色极度相近、边缘深度交织的密集场景中——比如规整堆叠的钢管或姿态各异的钢筋——传统模型往往难以区分个体。SenseNova-Vision能像外科手术般精准剥离每个独立个体,为工业计数、智慧仓储提供高精度"上帝视角"。

3. 免疫"视错觉"

面对借位摄影等视觉错觉图像,传统模型往往给出错误判断。SenseNova-Vision不仅能准确抠出被遮挡物体的完整轮廓,还能输出正确的表面法向估计。它不被图案和借位欺骗,这是语言模型推理能力与稠密几何预测融合的具象体现。

4. 看穿镜面反射

在包含镜子、玻璃的复杂室内环境中,传统视觉模型极易被镜中倒影欺骗。SenseNova-Vision能够自动过滤反射干扰,准确估计镜中物体的真实空间方向与深度关系,展现了对三维空间几何本质的深刻理解。

5000万样本开源:视觉语料库的战略价值

商汤此次同步开放了模型、代码,以及包含5000万条样本的开源视觉语料库。



这个语料库的战略意义可能不亚于模型本身。

视觉领域长期面临一个尴尬局面:任务分裂导致数据分裂。检测数据集、分割数据集、深度数据集各自为政,互不兼容。SenseNova-Vision的统一生成框架,让异构视觉数据可以在同一套训练 pipeline 里被"翻译"成统一的中间表示。

合理推演是:如果这套语料库和训练方法被社区广泛采纳,视觉AI的研究范式可能会从"为每个任务攒数据"转向"为统一模型攒多模态数据"。

这类似于大语言模型时代的预训练语料革命——当数据规模和多样性足够大时,统一模型的涌现能力会超越专用模型的手工设计。

视觉AI并轨AGI主线:一个被重新定位的学科

SenseNova-Vision的哲学意义可能大于技术指标。

计算机视觉曾经处于深度学习研究的中心。但在大模型浪潮中,视觉任务一度被边缘化为"多模态大模型的一个输入分支"——模型能看图说话,但看不懂空间几何。

SenseNova-Vision展示的是将计算机视觉融入AGI主线的可行性。视觉AI不再是一个个孤岛,而是正式并轨,成为通往通用人工智能的主线任务之一。

当模型能用自然语言定义视觉任务、用统一生成框架处理异构输出、用推理能力免疫视觉错觉时,"看"与"理解"之间的鸿沟正在被填平。

可信度收束:开源到什么程度?

公开资料能确认的是,商汤已发布模型权重、代码和5000万样本语料库,模型登顶Hugging Face Any-to-Any Leaderboard。

但关于训练细节——比如统一解码器的具体架构、视觉token的表示方式、多任务联合训练的损失平衡策略——技术报告中有所涉及,但社区尚未大规模复现验证。

社区传闻称,部分开发者已经在尝试用该模型处理工业检测和自动驾驶场景,但还没有形成系统性的第三方评测报告。

视觉AI的"缝合怪"时代是否真的会终结,取决于统一生成框架在更大规模、更复杂场景下的可扩展性。但至少,SenseNova-Vision提供了一个有力的起点。

结语

商汤用SenseNova-Vision做了一件视觉AI领域期待已久的事:把检测、分割、深度、3D重建塞进同一个生成框架,让模型原生学会"看物理世界"。

它登顶Hugging Face全球第一,不只是榜单上的数字游戏。它意味着视觉任务从"专用模型拼盘"向"统一空间理解"迈出了实质性的一步。

5000万样本开源语料库的释放,更像是在向社区喊话:统一视觉模型的基础设施已经搭好,接下来看你们怎么往上盖房子。

视觉AI的GPT时刻会不会来?现在还不好说。但"缝合怪"的缝合线,确实已经开始松动了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

扬子晚报
2026-10-22 12:47:11
詹姆斯导29分逆转创生涯纪录:连赢东部双雄 成送女儿最佳生日礼物

詹姆斯导29分逆转创生涯纪录:连赢东部双雄 成送女儿最佳生日礼物

醉卧浮生
2026-10-23 10:02:07
全美热搜第一!骑士被逆转29分吞耻辱纪录 美记炮轰克城全队缺乏斗志

全美热搜第一!骑士被逆转29分吞耻辱纪录 美记炮轰克城全队缺乏斗志

颜小白的篮球梦
2026-10-23 10:35:37
特朗普支持率地图一片红,41州为负,连自家票仓都跌了三成

特朗普支持率地图一片红,41州为负,连自家票仓都跌了三成

娱乐小可爱蛙
2026-10-22 12:39:01
长大后才明白,原来反派告诉你的全是现实!网友:原来我们才是刁民

长大后才明白,原来反派告诉你的全是现实!网友:原来我们才是刁民

夜深爱杂谈
2026-10-06 19:48:30
全网笑她自费买高定撑场面!结果品牌创始人亲自下场认领,太打脸

全网笑她自费买高定撑场面!结果品牌创始人亲自下场认领,太打脸

风月得自难寻
2026-10-22 16:13:42
仅拿17分,带队劣势翻盘骑士!詹姆斯不靠持球得分,照样主宰比赛

仅拿17分,带队劣势翻盘骑士!詹姆斯不靠持球得分,照样主宰比赛

军情观察家
2026-10-23 18:18:19
经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

每日经济新闻
2026-10-22 19:02:27
网传王诗龄油画进卢浮宫卖了145万,一查:展位能租,起步价不到4000,那笔145万的记录却是她爷爷的

网传王诗龄油画进卢浮宫卖了145万,一查:展位能租,起步价不到4000,那笔145万的记录却是她爷爷的

可读
2026-10-20 22:43:31
都错怪高市早苗了?石破茂直言,这个女人不仅坏,还特别的蠢

都错怪高市早苗了?石破茂直言,这个女人不仅坏,还特别的蠢

云上乌托邦
2026-10-22 17:05:35
毛泽东为何派毛岸英去抗美援朝,时隔70年,刘思齐才终于说出真相

毛泽东为何派毛岸英去抗美援朝,时隔70年,刘思齐才终于说出真相

阿器谈史
2026-10-22 20:02:38
1982年:多次生育对母体有害;2024年:生育能帮女性防病

1982年:多次生育对母体有害;2024年:生育能帮女性防病

就一点
2026-09-15 22:58:38
悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

小莜读史
2026-10-12 09:38:33
为什么在中国用香水会被嫌弃?网友:同事吐一上午,下午直接请假

为什么在中国用香水会被嫌弃?网友:同事吐一上午,下午直接请假

夜深爱杂谈
2026-10-12 20:28:35
怪不得农民养老金几个月没涨,管理养老金的原副理事长被查

怪不得农民养老金几个月没涨,管理养老金的原副理事长被查

李昕言温度空间
2026-10-23 07:19:01
陈宇昕事件再升温!解放军发声,遣返只是开始,背景调查才要命!

陈宇昕事件再升温!解放军发声,遣返只是开始,背景调查才要命!

大眼妹妹
2026-10-20 22:48:29
黄子韬公司被强制执行2040万元,是注册资本4.5倍,他视频账号近30天粉丝流失超53万

黄子韬公司被强制执行2040万元,是注册资本4.5倍,他视频账号近30天粉丝流失超53万

大风新闻
2026-10-23 15:37:02
如果不出意外的话,下半年开始,房价、金价、物价或都迎来大洗牌

如果不出意外的话,下半年开始,房价、金价、物价或都迎来大洗牌

专业聊房君
2026-10-20 19:03:59
为某界说句公道话!

为某界说句公道话!

胜研集
2026-10-23 11:03:48
2026-10-23 18:44:49
AI唱反调 incentive-icons
AI唱反调
在这里,听见不一样的 AI 声音。
112文章数 4关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

李昌钰告别会举办 夫人泪别:你等我18年 我也跟你合葬

头条要闻

李昌钰告别会举办 夫人泪别:你等我18年 我也跟你合葬

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

全球首款增程越野皮卡 长安猎手K70上市19.29万元起

态度原创

教育
房产
时尚
亲子
数码

教育要闻

2027年高考日语八大提分策略!人教版新教材改革后必看!

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

衬衫专场|| 入秋以来最爱穿这件,怎么搭都好美

亲子要闻

12岁小糯米近况曝光,身高快到1米7

数码要闻

旗舰级AI智能体全能笔记本,雷神AI Master M7000移动工作站测评

无障碍浏览 进入关怀版