![]()
商汤科技发布并全面开源日日新SenseNova-Vision统一视觉大模型,以单模型之力覆盖检测、分割、深度估计、3D重建四大核心视觉任务,综合得分登顶Hugging Face Any-to-Any Leaderboard全球第一。更关键的是,它同步开源了5000万条样本的视觉语料库——视觉AI从"模型拼盘"走向"统一生成"的拐点,可能真的来了。
![]()
视觉AI为什么长期摆脱不了"缝合怪"?
检测要输出边界框坐标,分割要输出像素级掩膜,深度估计要输出稠密深度图,3D重建要输出点云和相机位姿。
不同视觉任务的输出形式天差地别,导致过去几十年,视觉领域的研究天然分裂成一个个互不连通的"孤岛"。目标检测、图像分割、深度预测、3D重建,各自需要独立的专家模型来完成。
这种"模型拼盘"的架构在面对复杂、充满干扰的现实场景时,往往力不从心,容易"抓瞎"。
商汤科技最新发布的SenseNova-Vision,试图用一条完全不同的路线打破这个僵局。
统一生成:把视觉任务全部塞进一个解码器
SenseNova-Vision的核心思路是把众多经典视觉任务——检测、分割、深度、3D重建等,统一表述为多模态生成问题。
![]()
公开资料能确认的是,该模型不再为每个任务设计专属的模型架构头、损失函数和解码规则。图像输入后,经过统一的视觉编码器和文本编码器,再由统一解码器输出。无论是文本形式的结构化描述,还是视觉形式的掩膜、深度图、法向量、点云,都用同一套生成框架处理。
这意味着模型不再是一个个执行特定指令的机械"工具箱",而是将视觉空间理解能力作为原生本能,内化于大模型体系之中。
![]()
这种架构带来两个层面的根本性变革。
数据反哺大模型:视觉领域几十年积累的海量高质量工业级数据——检测数据教定位、分割数据教边界、深度数据教远近——在统一的生成框架下被大模型完全吸收。
推理赋能视觉任务:大语言模型强大的泛化推理能力反向输出,让视觉任务"长出了脑子"。开发者甚至可以用一句自然语言,自主定义一个在训练中从未被明确列出的新视觉任务。
硬刚全球最强:四大任务,一个模型通吃
SenseNova-Vision在Hugging Face Any-to-Any Leaderboard上综合得分登顶全球第一。
评测数据显示,该模型在四大核心视觉任务上,以单模型之力比肩甚至超越了各领域的专用"专家模型"。
与国际领先的同类模型Vision Banana相比,后者的技能点主要集中在两类任务上,而SenseNova-Vision实现了全任务覆盖,在多项可比指标上均取得领先。
具体数据层面,公开资料能确认的是:
- 结构化感知:Common Det F1@mIoU 56.6,Dense Det F1@mIoU 66.8
- 稠密几何:Depth Mean δ₁ 93.2,Normal Indoor 11.25° 66.9
- 分割:ReaSeg mIoU 62.0,GCGSeg mIoU 66.0
- 多视角3D:Recon F1 Score 87.9,Cam Pose AUC@30 78.7
在与Youtu-VL和Vision Banana的横向对比中,SenseNova-Vision在检测mAP、语义分割mIoU、深度估计δ₁等核心指标上均表现突出。
零样本"秒懂"我的世界:四个极端场景撕开代际差
比数据更有说服力的是泛化能力。SenseNova-Vision在多个极端场景下展现出对传统模型的代际优势。
![]()
1. 零样本读懂《我的世界》
面对训练集里从未出现过的游戏画面,模型无需任何微调,就能同步完成表面法向预测、实例分割和目标检测。影视、游戏创作者可以直接将其投入工作流,无需为每个新场景重新训练。
2. 超稠密物体"剥离式"分割
在颜色极度相近、边缘深度交织的密集场景中——比如规整堆叠的钢管或姿态各异的钢筋——传统模型往往难以区分个体。SenseNova-Vision能像外科手术般精准剥离每个独立个体,为工业计数、智慧仓储提供高精度"上帝视角"。
3. 免疫"视错觉"
面对借位摄影等视觉错觉图像,传统模型往往给出错误判断。SenseNova-Vision不仅能准确抠出被遮挡物体的完整轮廓,还能输出正确的表面法向估计。它不被图案和借位欺骗,这是语言模型推理能力与稠密几何预测融合的具象体现。
4. 看穿镜面反射
在包含镜子、玻璃的复杂室内环境中,传统视觉模型极易被镜中倒影欺骗。SenseNova-Vision能够自动过滤反射干扰,准确估计镜中物体的真实空间方向与深度关系,展现了对三维空间几何本质的深刻理解。
5000万样本开源:视觉语料库的战略价值
商汤此次同步开放了模型、代码,以及包含5000万条样本的开源视觉语料库。
![]()
这个语料库的战略意义可能不亚于模型本身。
视觉领域长期面临一个尴尬局面:任务分裂导致数据分裂。检测数据集、分割数据集、深度数据集各自为政,互不兼容。SenseNova-Vision的统一生成框架,让异构视觉数据可以在同一套训练 pipeline 里被"翻译"成统一的中间表示。
合理推演是:如果这套语料库和训练方法被社区广泛采纳,视觉AI的研究范式可能会从"为每个任务攒数据"转向"为统一模型攒多模态数据"。
这类似于大语言模型时代的预训练语料革命——当数据规模和多样性足够大时,统一模型的涌现能力会超越专用模型的手工设计。
视觉AI并轨AGI主线:一个被重新定位的学科
SenseNova-Vision的哲学意义可能大于技术指标。
计算机视觉曾经处于深度学习研究的中心。但在大模型浪潮中,视觉任务一度被边缘化为"多模态大模型的一个输入分支"——模型能看图说话,但看不懂空间几何。
SenseNova-Vision展示的是将计算机视觉融入AGI主线的可行性。视觉AI不再是一个个孤岛,而是正式并轨,成为通往通用人工智能的主线任务之一。
当模型能用自然语言定义视觉任务、用统一生成框架处理异构输出、用推理能力免疫视觉错觉时,"看"与"理解"之间的鸿沟正在被填平。
可信度收束:开源到什么程度?
公开资料能确认的是,商汤已发布模型权重、代码和5000万样本语料库,模型登顶Hugging Face Any-to-Any Leaderboard。
但关于训练细节——比如统一解码器的具体架构、视觉token的表示方式、多任务联合训练的损失平衡策略——技术报告中有所涉及,但社区尚未大规模复现验证。
社区传闻称,部分开发者已经在尝试用该模型处理工业检测和自动驾驶场景,但还没有形成系统性的第三方评测报告。
视觉AI的"缝合怪"时代是否真的会终结,取决于统一生成框架在更大规模、更复杂场景下的可扩展性。但至少,SenseNova-Vision提供了一个有力的起点。
结语
商汤用SenseNova-Vision做了一件视觉AI领域期待已久的事:把检测、分割、深度、3D重建塞进同一个生成框架,让模型原生学会"看物理世界"。
它登顶Hugging Face全球第一,不只是榜单上的数字游戏。它意味着视觉任务从"专用模型拼盘"向"统一空间理解"迈出了实质性的一步。
5000万样本开源语料库的释放,更像是在向社区喊话:统一视觉模型的基础设施已经搭好,接下来看你们怎么往上盖房子。
视觉AI的GPT时刻会不会来?现在还不好说。但"缝合怪"的缝合线,确实已经开始松动了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.