网易首页 > 网易号 > 正文 申请入驻

全面开源!商汤日日新SenseNova U1发布,迈向模型理解生成统一时代

0
分享至


今天,商汤科技正式发布并开源日日新SenseNova U1 系列原生理解生成统一模型。它基于商汤于今年三月自主研发的 NEO-unify架构,在单一模型架构上统一了多模态理解、推理与生成。

NEO-unify架构彻底摒弃了主流的拼接式,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并且深入融入每一层计算中,从而实现从模态集成向原生统一的范式跨越。

SenseNova U1系列模型能够将语言与视觉信息作为统一的复合体直接建模,实现语言和视觉信息的高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时,维持像素级的视觉保真度。

在逻辑推理与空间智能等方向上,它能够深度理解物理世界的复杂布局与精细关系;在未来,它还能为机器人提供具身大脑,实现在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程,为推动技术与产业发展提供重要基础与关键引擎。

本次开源发布的是 SenseNova U1 的轻量版系列 SenseNova U1 Lite。它包含两个不同规格的模型:

SenseNova-U1-8B-MoT:基于稠密骨干网络SenseNova-U1-A3B-MoT:基于混合专家(MoE) 骨干网络

访问GitHub https://github.com/OpenSenseNova/SenseNova-U1 、Hugging Face https://huggingface.co/collections/sensenova/sensenova-u1了解更多信息。我们也将在近期公布详实的技术报告。

极致高效,以小搏大:开源 SOTA,比肩商用

效率,是统一模型架构的核心技术优势。

传统多模态模型是把视觉编码器和语言骨干通过适配器拼接在一起的。它像一个“说不同语言的人组成的工作组”:有人专门看图,把图像翻译为语言,有人专门理解文字,进行推理,有人把结果再翻译为设计指令,把图画出来。每完成一次任务,信息都要在不同成员之间来回传递。这个过程虽然可行,但难免会有等待、误解和信息损耗。为了弥补这些损耗,模型往往需要做得更大才能达到好的效果。

SenseNova U1 是基于统一表征空间构建的,更像是一个从一开始就同时掌握多项技能的人。它不是先看懂图像、再翻译成文字、再交给另一个系统理解,而是在同一套“思考方式”里直接处理图像、文字等不同信息。图像和语言不再是两套系统之间的接力,而是在同一个大脑中自然融合。这样带来的好处是:信息流转更快捷,理解更直接,生成更高效。模型不需要依赖单纯堆大参数来弥补中间转换的损耗,而是通过统一的内部表征,把不同模态的信息以更紧凑、更高密度的方式组织起来。

简单来说,传统架构像是“多人协作、层层转述”;SenseNova U1 更像是“一个全能大脑,直接理解,直接表达”。少了中间转译,信息损耗更低,也能在相对更精简的模型规模下,实现更强的多模态理解与生成能力。

实验结果验证了我们的想法。在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型SOTA水平,为统一多模态理解与生成树立了新的标杆。甚至仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型,展现出全维度多领域的统治力。


以下两组对比图更直观地展现了 SenseNova U1 Lite 在效率上的突出优势。在通用的图像生成测试中,SenseNova U1 Lite不但在图像生成质量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型闭源模型,达到商业级水准,还在推理响应速度上有显著优势。即使在极具挑战性、开源模型一直做不好的复杂信息图生成任务中,SenseNova U1 Lite 也表现出商业级的水准,对复杂信息图的排版和文字有很强的控制力。


以下实际例子,展现了 SenseNova U1 Lite的商业级复杂信息图生成能力。




我们正在沿着当前的技术路径继续 Scale,计划在未来推出体量更大的模型。我们相信,基于高效的原生架构,可以以低得多的计算成本达到国际顶尖模型的水平。

业内首创:连续性图文创作输出

凭借NEO-Unify架构的优势,SenseNova U1在业内首个实现连续性的图文创作输出。并且只需要单次单模型调用,就能输出更高质量的作品,相比传统范式,实现了效率的大幅提升。

SenseNova U1 所具备的原生图文理解生成能力,能天然将图像和文本底层融合信号完整的保留上下文中,区别于过去只能利用多模型串联勉强实现,它的图像间风格具备明显的高一致性,能在统一表征空间进行高效连贯思考。

下面两个案例中,SenseNova U1 通过连贯高保真度的图文交错思考输出。

任务一:五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性。


任务二:绘制一个钢铁侠图案:它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持 —— 一个统一表征的共享上下文在其中发挥了关键作用。


全网开源,即刻可用开源部署

GitHub:https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face:https://huggingface.co/collections/sensenova/sensenova-u1

欢迎调用 SenseNova U1 Skill https://github.com/OpenSenseNova/SenseNova-Skills ,浏览海量样例库,获取Prompt编写指南,化繁为简(繁杂文->有趣图),让您的Agent成为信息图生成高手

在线体验

即将上线办公小浣熊

我们相信,原生统一的多模态智能是通往 AGI 的必经之路。未来,我们还将持续推动开源生态建设,并发布更大参数规模的 U1 系列模型。迎社区广大用户和开发者提出宝贵建议,共同定义智能交互的未来。

*NEO-unify技术博客:https://www.sensetime.com/cn/news-detail/51170548?categoryId=73

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
29日晨世锦赛战报:赵心童逆转墨菲,霍金斯艾伦战平

29日晨世锦赛战报:赵心童逆转墨菲,霍金斯艾伦战平

小犙拍客在北漂
2026-04-29 10:12:51
难怪华晨宇会那么伤心,原来是这样啊。

难怪华晨宇会那么伤心,原来是这样啊。

小鲸叫我照顾海
2026-04-29 11:59:19
人社部:为未就业高校毕业生提供3次岗位推荐等实名服务

人社部:为未就业高校毕业生提供3次岗位推荐等实名服务

中国青年报
2026-04-28 21:20:06
河北秦皇岛一大爷大妈公共泳池内搓澡引网友不适,涉事酒店:已全面消杀,正紧急开会讨论,后续将就此事发布公告

河北秦皇岛一大爷大妈公共泳池内搓澡引网友不适,涉事酒店:已全面消杀,正紧急开会讨论,后续将就此事发布公告

三湘都市报
2026-04-29 11:48:36
“骨盆前倾成这样,还不去医院?”家长晒一年级女儿体态,被群嘲

“骨盆前倾成这样,还不去医院?”家长晒一年级女儿体态,被群嘲

妍妍教育日记
2026-04-24 11:15:25
特朗普:美国准备长期封锁伊朗

特朗普:美国准备长期封锁伊朗

新华社
2026-04-29 09:13:29
斯诺克赛程:中国双星冲4强,赵心童生死战,吴宜泽或再创纪录?

斯诺克赛程:中国双星冲4强,赵心童生死战,吴宜泽或再创纪录?

刘姚尧的文字城堡
2026-04-29 09:26:27
看了两集央八《爱情没有神话》,我想说:唐嫣把都市剧大门踹烂了

看了两集央八《爱情没有神话》,我想说:唐嫣把都市剧大门踹烂了

冷紫葉
2026-04-28 22:56:12
京东某员工:房贷月供2万+,媳妇全职在家带娃,绩效B-,怕被裁员

京东某员工:房贷月供2万+,媳妇全职在家带娃,绩效B-,怕被裁员

蚂蚁大喇叭
2026-04-29 12:54:07
80后家长发明“防早恋”发型,女儿面如死灰,网友都看不下去了

80后家长发明“防早恋”发型,女儿面如死灰,网友都看不下去了

妍妍教育日记
2026-04-27 09:20:13
体制内“女儿国”现象越来越严重,领导吐槽:工作都不好开展!

体制内“女儿国”现象越来越严重,领导吐槽:工作都不好开展!

灯锦年
2026-04-27 14:10:17
日本知名火锅店因“透明肉片”冲上热搜,网友纷纷跑去打卡:它都不嫌我穷,我为什么要嫌它肉薄?!

日本知名火锅店因“透明肉片”冲上热搜,网友纷纷跑去打卡:它都不嫌我穷,我为什么要嫌它肉薄?!

东京新青年
2026-04-28 18:36:42
体制内工作满30年的人,掀起了提前退休风

体制内工作满30年的人,掀起了提前退休风

小陆搞笑日常
2026-04-28 18:26:39
67年许世友家遭贼,唯独被偷了一柜子的茅台,总理得知后不怒反笑

67年许世友家遭贼,唯独被偷了一柜子的茅台,总理得知后不怒反笑

大运河时空
2026-04-28 19:20:03
斯诺克世锦赛今日赛程:赵心童墨菲决战21时开打,吴宜泽要认真

斯诺克世锦赛今日赛程:赵心童墨菲决战21时开打,吴宜泽要认真

林子说事
2026-04-29 16:44:46
开拓者1比4出局杨瀚森尚未出汗,最快下赛季重返CBA

开拓者1比4出局杨瀚森尚未出汗,最快下赛季重返CBA

姜大叔侃球
2026-04-29 12:46:01
人民日报:多带孩子去这4个能量强的地方,养出一生向阳的小孩

人民日报:多带孩子去这4个能量强的地方,养出一生向阳的小孩

新东方家庭教育
2026-04-29 15:50:55
梅拉尼娅三次表情失控:愤怒、恐惧与第一夫人的真实

梅拉尼娅三次表情失控:愤怒、恐惧与第一夫人的真实

追星雷达站
2026-04-28 18:05:35
4月28日俄乌最新:俄罗斯军神与乌克兰小将军的共识

4月28日俄乌最新:俄罗斯军神与乌克兰小将军的共识

西楼饮月
2026-04-28 20:05:26
尼克斯大胜老鹰3-2夺赛点:布伦森39+8创新高 唐斯16+14+6

尼克斯大胜老鹰3-2夺赛点:布伦森39+8创新高 唐斯16+14+6

醉卧浮生
2026-04-29 10:46:43
2026-04-29 20:11:00
猎云网
猎云网
聚焦科技创业创新,钻研产业趋势,用心服务创业者。
58984文章数 327140关注度
往期回顾 全部

科技要闻

今晨庭审纪实|马斯克当庭讲述OpenAI被偷走

头条要闻

中国被指要暂停硫酸出口 海外慌了:没有可替代来源

头条要闻

中国被指要暂停硫酸出口 海外慌了:没有可替代来源

体育要闻

一场九球狂欢,各路神仙批量下凡

娱乐要闻

马頔一句话,孙杨妈妈怒骂节目组2小时

财经要闻

苏州,率先进入牛市

汽车要闻

技术天花板再摸高 全能型的奕境X9首秀

态度原创

时尚
手机
教育
家居
公开课

除了“薄底鞋”,今年最流行这5双鞋,怎么搭都好看!

手机要闻

13999元首款大阔折!华为Pura X Max典藏版图赏

教育要闻

付出一点就指望孩子感恩,别把亲子关系处成一场交易!

家居要闻

寂然无界 简洁风格

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版