![]()
公司情报专家《财经涂鸦》获悉,7月13日,商汤宣布正式发布并全面开源日日新SenseNova-Vision理解生成统一视觉大模型。
该模型让视觉成为通用基础模型的原生能力彻底融入大模型体系,所有经典视觉任务如目标检测、图像分割、深度预测、3D重建等,由此实现了原生统一,成为商汤日日新大模型体系的重要视觉能力升级。
这种“原生融入”带来了双向增益。一方面是数据反哺,令视觉领域几十年的高质量数据直接提升大模型底座的视觉理解能力;另一方面是思维赋能,令大语言模型的推理能力反过来让视觉任务融会贯通,甚至能用语言直接定义新视觉任务。
得益于原生通用底座带来的智能涌现,SenseNova-Vision在面对人类视觉都容易犯错的极端场景时,展现出了超强的泛化能力,包括零样本泛化,未知游戏“一秒读懂”;超稠密物体分割,重叠鱼群各显其形;看穿镜面反射,正确还原空间几何;突破视觉错觉,不看表象,洞察空间本质。
在多项权威评测中,SenseNova-Vision以“单模型”在结构化视觉理解、稠密几何预测、分割能力、多视角3D几何四大核心视觉领域大范围领跑,比肩甚至超越了各领域的专用“专家模型”。
长期以来,视觉AI沿着“一个任务对应一个模型”的路径演进,各个任务是彼此割裂的孤岛。
SenseNova-Vision彻底打破了这种结构性瓶颈,首次将全部视觉任务,统一表述为通用基础模型可理解的多模态生成问题。
这种“大一统”的设计也带来了颠覆性的变化——一方面,跨任务知识互补,实现1+1>2,模型联合训练,激活了不同任务间的内在互补;另一方面,从“工具执行者”升级为“通用理解者”, 模型不再是只能执行特定指令的工具,而是作为大模型的原生能力,成长为对视觉世界拥有通用、深刻认知的基础多模态底座。
SenseNova-Vision的发布和开源,成功验证了“统一多模态生成”这一全新技术路线的巨大潜能。同时,商汤也同步开源了包含5000万条高质量样本的视觉指令语料库SenseNova-Vision Corpus-50M,为全球AI生态注入强劲动力。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.