网易首页 > 网易号 > 正文 申请入驻

全面开源!商汤日日新SenseNova U1发布,迈向模型理解生成统一时代

0
分享至


今天,商汤科技正式发布并开源日日新SenseNova U1 系列原生理解生成统一模型。它基于商汤于今年三月自主研发的 NEO-unify架构,在单一模型架构上统一了多模态理解、推理与生成。

NEO-unify架构彻底摒弃了主流的拼接式,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并且深入融入每一层计算中,从而实现从模态集成向原生统一的范式跨越。

SenseNova U1系列模型能够将语言与视觉信息作为统一的复合体直接建模,实现语言和视觉信息的高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时,维持像素级的视觉保真度。

在逻辑推理与空间智能等方向上,它能够深度理解物理世界的复杂布局与精细关系;在未来,它还能为机器人提供具身大脑,实现在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程,为推动技术与产业发展提供重要基础与关键引擎。

本次开源发布的是 SenseNova U1 的轻量版系列 SenseNova U1 Lite。它包含两个不同规格的模型:

SenseNova-U1-8B-MoT:基于稠密骨干网络SenseNova-U1-A3B-MoT:基于混合专家(MoE) 骨干网络

访问GitHub https://github.com/OpenSenseNova/SenseNova-U1 、Hugging Face https://huggingface.co/collections/sensenova/sensenova-u1了解更多信息。我们也将在近期公布详实的技术报告。

极致高效,以小搏大:开源 SOTA,比肩商用

效率,是统一模型架构的核心技术优势。

传统多模态模型是把视觉编码器和语言骨干通过适配器拼接在一起的。它像一个“说不同语言的人组成的工作组”:有人专门看图,把图像翻译为语言,有人专门理解文字,进行推理,有人把结果再翻译为设计指令,把图画出来。每完成一次任务,信息都要在不同成员之间来回传递。这个过程虽然可行,但难免会有等待、误解和信息损耗。为了弥补这些损耗,模型往往需要做得更大才能达到好的效果。

SenseNova U1 是基于统一表征空间构建的,更像是一个从一开始就同时掌握多项技能的人。它不是先看懂图像、再翻译成文字、再交给另一个系统理解,而是在同一套“思考方式”里直接处理图像、文字等不同信息。图像和语言不再是两套系统之间的接力,而是在同一个大脑中自然融合。这样带来的好处是:信息流转更快捷,理解更直接,生成更高效。模型不需要依赖单纯堆大参数来弥补中间转换的损耗,而是通过统一的内部表征,把不同模态的信息以更紧凑、更高密度的方式组织起来。

简单来说,传统架构像是“多人协作、层层转述”;SenseNova U1 更像是“一个全能大脑,直接理解,直接表达”。少了中间转译,信息损耗更低,也能在相对更精简的模型规模下,实现更强的多模态理解与生成能力。

实验结果验证了我们的想法。在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型SOTA水平,为统一多模态理解与生成树立了新的标杆。甚至仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型,展现出全维度多领域的统治力。


以下两组对比图更直观地展现了 SenseNova U1 Lite 在效率上的突出优势。在通用的图像生成测试中,SenseNova U1 Lite不但在图像生成质量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型闭源模型,达到商业级水准,还在推理响应速度上有显著优势。即使在极具挑战性、开源模型一直做不好的复杂信息图生成任务中,SenseNova U1 Lite 也表现出商业级的水准,对复杂信息图的排版和文字有很强的控制力。


以下实际例子,展现了 SenseNova U1 Lite的商业级复杂信息图生成能力。




我们正在沿着当前的技术路径继续 Scale,计划在未来推出体量更大的模型。我们相信,基于高效的原生架构,可以以低得多的计算成本达到国际顶尖模型的水平。

业内首创:连续性图文创作输出

凭借NEO-Unify架构的优势,SenseNova U1在业内首个实现连续性的图文创作输出。并且只需要单次单模型调用,就能输出更高质量的作品,相比传统范式,实现了效率的大幅提升。

SenseNova U1 所具备的原生图文理解生成能力,能天然将图像和文本底层融合信号完整的保留上下文中,区别于过去只能利用多模型串联勉强实现,它的图像间风格具备明显的高一致性,能在统一表征空间进行高效连贯思考。

下面两个案例中,SenseNova U1 通过连贯高保真度的图文交错思考输出。

任务一:五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性。


任务二:绘制一个钢铁侠图案:它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持 —— 一个统一表征的共享上下文在其中发挥了关键作用。


全网开源,即刻可用开源部署

GitHub:https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face:https://huggingface.co/collections/sensenova/sensenova-u1

欢迎调用 SenseNova U1 Skill https://github.com/OpenSenseNova/SenseNova-Skills ,浏览海量样例库,获取Prompt编写指南,化繁为简(繁杂文->有趣图),让您的Agent成为信息图生成高手

在线体验

即将上线办公小浣熊

我们相信,原生统一的多模态智能是通往 AGI 的必经之路。未来,我们还将持续推动开源生态建设,并发布更大参数规模的 U1 系列模型。迎社区广大用户和开发者提出宝贵建议,共同定义智能交互的未来。

*NEO-unify技术博客:https://www.sensetime.com/cn/news-detail/51170548?categoryId=73

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央视曝光蔡磊即将去世!感冒呛咳都会危及生命,自爆不为博同情

央视曝光蔡磊即将去世!感冒呛咳都会危及生命,自爆不为博同情

历史小胡
2026-08-12 23:05:53
22岁程梦圆搜救细节曝光:仅90斤,多名壮汉竟无法抬下山!

22岁程梦圆搜救细节曝光:仅90斤,多名壮汉竟无法抬下山!

小许论事
2026-08-12 14:53:16
足坛疯狂一夜:大巴黎夺冠,皇马1-0险胜,曼联阿森纳纷纷点球大战

足坛疯狂一夜:大巴黎夺冠,皇马1-0险胜,曼联阿森纳纷纷点球大战

足球狗说
2026-08-13 05:16:18
17岁一战封神!第五级别联赛走出的天才,生涯首秀打破欧超杯纪录

17岁一战封神!第五级别联赛走出的天才,生涯首秀打破欧超杯纪录

体坛老球迷
2026-08-13 11:17:56
瑞典大满贯:日本“白打了”!早田3‑0“绝杀”,直面蒯曼太崩溃

瑞典大满贯:日本“白打了”!早田3‑0“绝杀”,直面蒯曼太崩溃

林子说事
2026-08-13 00:26:14
乌克兰袭击俄最大炼油厂, 已致近百死伤! 媒体: 或为最致命袭击之一

乌克兰袭击俄最大炼油厂, 已致近百死伤! 媒体: 或为最致命袭击之一

黑鹰观军事
2026-08-12 15:22:02
伟大的2-0!张帅直通1000赛决赛,刷新3大纪录,冲今年双打第4冠!

伟大的2-0!张帅直通1000赛决赛,刷新3大纪录,冲今年双打第4冠!

刘姚尧的文字城堡
2026-08-13 09:52:17
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
三场全胜!蒯曼打疯了!一日三赛轰出9-2,早田希娜很无奈

三场全胜!蒯曼打疯了!一日三赛轰出9-2,早田希娜很无奈

十点街球体育
2026-08-13 10:55:13
高级感碎一地!百花奖颁奖典礼上,引导人员挂着大号姓名牌,引发争议

高级感碎一地!百花奖颁奖典礼上,引导人员挂着大号姓名牌,引发争议

火山詩话
2026-08-12 15:43:13
上海松江银湖别墅小区排涝已基本完成,善后恢复工作预计今日收尾

上海松江银湖别墅小区排涝已基本完成,善后恢复工作预计今日收尾

澎湃新闻
2026-08-13 12:08:29
联合国代表当众打脸柬埔寨:电诈抓了两万人,背后大佬一个没动!

联合国代表当众打脸柬埔寨:电诈抓了两万人,背后大佬一个没动!

嫹笔牂牂
2026-08-12 19:34:17
随着肖国栋2-6出局,斯诺克中国公开赛八强已经诞生4席:暂时仅1名中国选手晋级

随着肖国栋2-6出局,斯诺克中国公开赛八强已经诞生4席:暂时仅1名中国选手晋级

侧身凌空斩
2026-08-12 22:41:42
官宣!41岁C罗与32岁乔治娜低调结婚 婚礼私密温馨 婚前协议曝光

官宣!41岁C罗与32岁乔治娜低调结婚 婚礼私密温馨 婚前协议曝光

念洲
2026-08-12 06:48:16
这个社会怎么了?国家连年给退休人员涨养老金,还有人吐槽没必要

这个社会怎么了?国家连年给退休人员涨养老金,还有人吐槽没必要

兵卒史
2026-08-13 13:02:09
傅崐萁做出重磅决定,韩国瑜尴尬了,邱毅罕见向韩国瑜开火

傅崐萁做出重磅决定,韩国瑜尴尬了,邱毅罕见向韩国瑜开火

DS北风
2026-08-13 12:06:03
特朗普:“伊朗革命卫队四散溃逃,领导层即便往好了说也是前途未卜,伊朗如今光说不练”,伊朗强硬表态:美国不接受条件,海峡就不会开放

特朗普:“伊朗革命卫队四散溃逃,领导层即便往好了说也是前途未卜,伊朗如今光说不练”,伊朗强硬表态:美国不接受条件,海峡就不会开放

政知新媒体
2026-08-13 08:41:25
69岁赵本山现状:三亚养老、每天2包烟、8两酒,与杨少华如出一辙

69岁赵本山现状:三亚养老、每天2包烟、8两酒,与杨少华如出一辙

李橑在北漂
2026-07-27 19:08:39
吃着不甜,却能让血糖飙升的8种食物!还是公认健康粗粮!

吃着不甜,却能让血糖飙升的8种食物!还是公认健康粗粮!

果壳
2026-08-12 12:40:58
失速35.6%,比亚迪国内大跌,吉利重启销冠之争

失速35.6%,比亚迪国内大跌,吉利重启销冠之争

汽车商业评论
2026-08-12 10:44:49
2026-08-13 14:24:49
猎云网
猎云网
聚焦科技创业创新,钻研产业趋势,用心服务创业者。
59574文章数 327171关注度
往期回顾 全部

科技要闻

DeepSeek V4 Pro更新:性价比炸裂 仍需打磨

头条要闻

30多吨价值超百万黑胡椒存冷库一年多"失踪" 警方介入

头条要闻

30多吨价值超百万黑胡椒存冷库一年多"失踪" 警方介入

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

郭德纲魔改红歌被立案!

财经要闻

韩国可能迎来失去的三十年

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

本地
家居
手机
教育
公开课

本地新闻

黄州一夜,苏轼写给普通人的月光

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

澎湃OS 4 Beta版第一批机型开启招募,小米17、REDMI K90系列

教育要闻

真是太厉害了,现在的小朋友也会做这么难的题目

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版