网易首页 > 网易号 > 正文 申请入驻

全面开源 商汤日日新SenseNova U1发布 迈向模型理解生成统一时代

0
分享至

日前,商汤科技正式发布并开源日日新SenseNova U1 系列原生理解生成统一模型。它基于商汤于今年三月自主研发的 NEO-unify架构,在单一模型架构上统一了多模态理解、推理与生成。

NEO-unify架构彻底摒弃了主流的拼接式,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并且深入融入每一层计算中,从而实现从模态集成向原生统一的范式跨越。

SenseNova U1系列模型能够将语言与视觉信息作为统一的复合体直接建模,实现语言和视觉信息的高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时,维持像素级的视觉保真度。

在逻辑推理与空间智能等方向上,它能够深度理解物理世界的复杂布局与精细关系;在未来,它还能为机器人提供具身大脑,实现在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程,为推动技术与产业发展提供重要基础与关键引擎。

本次开源发布的是 SenseNova U1 的轻量版系列 SenseNova U1 Lite。它包含两个不同规格的模型:

  • SenseNova-U1-8B-MoT:基于稠密骨干网络
  • SenseNova-U1-A3B-MoT:基于混合专家(MoE) 骨干网络

访问GitHub https://github.com/OpenSenseNova/SenseNova-U1 、Hugging Face https://huggingface.co/collections/sensenova/sensenova-u1了解更多信息。我们也将在近期公布详实的技术报告。

极致高效,以小搏大:开源 SOTA,比肩商用

效率,是统一模型架构的核心技术优势。

传统多模态模型是把视觉编码器和语言骨干通过适配器拼接在一起的。它像一个“说不同语言的人组成的工作组”:有人专门看图,把图像翻译为语言,有人专门理解文字,进行推理,有人把结果再翻译为设计指令,把图画出来。每完成一次任务,信息都要在不同成员之间来回传递。这个过程虽然可行,但难免会有等待、误解和信息损耗。为了弥补这些损耗,模型往往需要做得更大才能达到好的效果。

SenseNova U1 是基于统一表征空间构建的,更像是一个从一开始就同时掌握多项技能的人。它不是先看懂图像、再翻译成文字、再交给另一个系统理解,而是在同一套“思考方式”里直接处理图像、文字等不同信息。图像和语言不再是两套系统之间的接力,而是在同一个大脑中自然融合。这样带来的好处是:信息流转更快捷,理解更直接,生成更高效。模型不需要依赖单纯堆大参数来弥补中间转换的损耗,而是通过统一的内部表征,把不同模态的信息以更紧凑、更高密度的方式组织起来。

简单来说,传统架构像是“多人协作、层层转述”;SenseNova U1 更像是“一个全能大脑,直接理解,直接表达”。少了中间转译,信息损耗更低,也能在相对更精简的模型规模下,实现更强的多模态理解与生成能力。

实验结果验证了我们的想法。在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型SOTA水平,为统一多模态理解与生成树立了新的标杆。甚至仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型,展现出全维度多领域的统治力。



以下两组对比图更直观地展现了 SenseNova U1 Lite 在效率上的突出优势。在通用的图像生成测试中,SenseNova U1 Lite不但在图像生成质量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型闭源模型,达到商业级水准,还在推理响应速度上有显著优势。即使在极具挑战性、开源模型一直做不好的复杂信息图生成任务中,SenseNova U1 Lite 也表现出商业级的水准,对复杂信息图的排版和文字有很强的控制力。



以下实际例子,展现了 SenseNova U1 Lite的商业级复杂信息图生成能力。











我们正在沿着当前的技术路径继续 Scale,计划在未来推出体量更大的模型。我们相信,基于高效的原生架构,可以以低得多的计算成本达到国际顶尖模型的水平。

业内首创:连续性图文创作输出

凭借NEO-Unify架构的优势,SenseNova U1在业内首个实现连续性的图文创作输出。并且只需要单次单模型调用,就能输出更高质量的作品,相比传统范式,实现了效率的大幅提升。

SenseNova U1 所具备的原生图文理解生成能力,能天然将图像和文本底层融合信号完整的保留上下文中,区别于过去只能利用多模型串联勉强实现,它的图像间风格具备明显的高一致性,能在统一表征空间进行高效连贯思考。

下面两个案例中,SenseNova U1 通过连贯高保真度的图文交错思考输出。

任务一:五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性。



任务二:绘制一个钢铁侠图案:它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持 —— 一个统一表征的共享上下文在其中发挥了关键作用。



全网开源,即刻可用

开源部署

  • GitHub:https://github.com/OpenSenseNova/SenseNova-U1
  • Hugging Face:https://huggingface.co/collections/sensenova/sensenova-u1
  • 欢迎调用 SenseNova U1 Skill https://github.com/OpenSenseNova/SenseNova-Skills ,浏览海量样例库,获取Prompt编写指南,化繁为简(繁杂文->有趣图),让您的Agent成为信息图生成高手

在线体验

  • 即将上线办公小浣熊

我们相信,原生统一的多模态智能是通往 AGI 的必经之路。未来,我们还将持续推动开源生态建设,并发布更大参数规模的 U1 系列模型。迎社区广大用户和开发者提出宝贵建议,共同定义智能交互的未来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
还得是谷歌,Gemini 4 发布,猛的离谱。。。

还得是谷歌,Gemini 4 发布,猛的离谱。。。

苍何
2026-10-01 07:14:23
活塞再次让步!再不签真成傻子了!

活塞再次让步!再不签真成傻子了!

柚子说球
2026-10-01 13:47:06
成本仅3000万,票房破5亿?陈思诚都压不住,这才是国庆档大黑马

成本仅3000万,票房破5亿?陈思诚都压不住,这才是国庆档大黑马

靠谱电影君
2026-09-29 17:18:16
张继科回怼“银牌比金牌有含金量”发言:笑话、胡说八道,就是胜者为王!

张继科回怼“银牌比金牌有含金量”发言:笑话、胡说八道,就是胜者为王!

烟浔渺渺
2026-10-01 14:08:32
U23国足遭吐槽!徐亮:不用太指望,只看上王钰栋,徐彬太一般

U23国足遭吐槽!徐亮:不用太指望,只看上王钰栋,徐彬太一般

奥拜尔
2026-10-01 16:52:12
一动不动,高速“沦陷”  ,聪明人都堵在了路上

一动不动,高速“沦陷” ,聪明人都堵在了路上

楼主说楼市
2026-10-01 14:12:20
农业农村部:在充分尊重农民意愿基础上盘活利用闲置农房,让农民多一份财产性收入!

农业农村部:在充分尊重农民意愿基础上盘活利用闲置农房,让农民多一份财产性收入!

极目新闻
2026-09-29 13:50:07
触目惊心!沪昆高速怀化段车祸残骸曝光,6死4伤,57岁老司机涉嫌疲劳驾驶

触目惊心!沪昆高速怀化段车祸残骸曝光,6死4伤,57岁老司机涉嫌疲劳驾驶

火山詩话
2026-10-01 12:14:04
此案例完美解释了国企亏损的原因,令人震惊…

此案例完美解释了国企亏损的原因,令人震惊…

慧翔百科
2026-09-30 08:28:46
湖南一孕妇马路中间骑车压速并别车,后车司机怒而下车一脚将车踹翻,司机:赔了800元,交警队已获取完整视频,将处理

湖南一孕妇马路中间骑车压速并别车,后车司机怒而下车一脚将车踹翻,司机:赔了800元,交警队已获取完整视频,将处理

台州交通广播
2026-10-01 12:47:18
江西小伙内蒙旅游误入蒙族婚宴,随礼2888,走前被新娘妹妹拦住

江西小伙内蒙旅游误入蒙族婚宴,随礼2888,走前被新娘妹妹拦住

故事秘栈
2025-06-21 18:56:16
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
热苏斯:我和C罗约好首战后休两场,热身太久没上他生我气了

热苏斯:我和C罗约好首战后休两场,热身太久没上他生我气了

懂球帝
2026-10-01 03:04:06
“吕布跳大”候车厅火了!武汉汉口站被国庆人流填满,网友实拍:两公里堵到步行进站

“吕布跳大”候车厅火了!武汉汉口站被国庆人流填满,网友实拍:两公里堵到步行进站

火山詩话
2026-10-01 08:38:44
139票赞成,0票反对,匈牙利传来新消息!

139票赞成,0票反对,匈牙利传来新消息!

故事终将光明磊落
2026-09-30 16:26:44
金牌甩日本3倍!10月1日奖牌榜早报:排名再洗牌,三队奖牌数破百

金牌甩日本3倍!10月1日奖牌榜早报:排名再洗牌,三队奖牌数破百

大秦壁虎白话体育
2026-10-01 07:22:52
大批历史博主集体阵亡?百万账号封禁?不是限流,是断流清退!

大批历史博主集体阵亡?百万账号封禁?不是限流,是断流清退!

升子山的她视界
2026-10-01 16:19:35
几乎全假货!利润高达2400%,为何消费者还一头扎进去争相购买?

几乎全假货!利润高达2400%,为何消费者还一头扎进去争相购买?

兵卒史
2026-10-01 14:07:08
亚运最快一金!储守宏4.714秒破亚运纪录 夺攀岩男子速度赛金牌

亚运最快一金!储守宏4.714秒破亚运纪录 夺攀岩男子速度赛金牌

醉卧浮生
2026-10-01 19:52:33
热苏斯发布会语出惊人!巨星好合作,难管的是自视高手

热苏斯发布会语出惊人!巨星好合作,难管的是自视高手

圣西罗的太阳
2026-10-01 12:35:12
2026-10-01 20:55:00
单行科技
单行科技
科技财经领域的温度与深度解读
4954文章数 604关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

足够先进可以展示 191式自动步枪硬核开箱视频首次披露

头条要闻

足够先进可以展示 191式自动步枪硬核开箱视频首次披露

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

家居
本地
健康
房产
艺术

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

刷酸祛痘,为什么有人翻车?

房产要闻

4000+/平!华侨城,直接把海口楼市的地板给掀了!

艺术要闻

云南最美烂尾楼!砸几十亿的“山顶神仙住处”,让人心疼!

无障碍浏览 进入关怀版