网易首页 > 网易号 > 正文 申请入驻

全面开源 商汤日日新SenseNova U1发布 迈向模型理解生成统一时代

0
分享至

日前,商汤科技正式发布并开源日日新SenseNova U1 系列原生理解生成统一模型。它基于商汤于今年三月自主研发的 NEO-unify架构,在单一模型架构上统一了多模态理解、推理与生成。

NEO-unify架构彻底摒弃了主流的拼接式,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并且深入融入每一层计算中,从而实现从模态集成向原生统一的范式跨越。

SenseNova U1系列模型能够将语言与视觉信息作为统一的复合体直接建模,实现语言和视觉信息的高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时,维持像素级的视觉保真度。

在逻辑推理与空间智能等方向上,它能够深度理解物理世界的复杂布局与精细关系;在未来,它还能为机器人提供具身大脑,实现在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程,为推动技术与产业发展提供重要基础与关键引擎。

本次开源发布的是 SenseNova U1 的轻量版系列 SenseNova U1 Lite。它包含两个不同规格的模型:

  • SenseNova-U1-8B-MoT:基于稠密骨干网络
  • SenseNova-U1-A3B-MoT:基于混合专家(MoE) 骨干网络

访问GitHub https://github.com/OpenSenseNova/SenseNova-U1 、Hugging Face https://huggingface.co/collections/sensenova/sensenova-u1了解更多信息。我们也将在近期公布详实的技术报告。

极致高效,以小搏大:开源 SOTA,比肩商用

效率,是统一模型架构的核心技术优势。

传统多模态模型是把视觉编码器和语言骨干通过适配器拼接在一起的。它像一个“说不同语言的人组成的工作组”:有人专门看图,把图像翻译为语言,有人专门理解文字,进行推理,有人把结果再翻译为设计指令,把图画出来。每完成一次任务,信息都要在不同成员之间来回传递。这个过程虽然可行,但难免会有等待、误解和信息损耗。为了弥补这些损耗,模型往往需要做得更大才能达到好的效果。

SenseNova U1 是基于统一表征空间构建的,更像是一个从一开始就同时掌握多项技能的人。它不是先看懂图像、再翻译成文字、再交给另一个系统理解,而是在同一套“思考方式”里直接处理图像、文字等不同信息。图像和语言不再是两套系统之间的接力,而是在同一个大脑中自然融合。这样带来的好处是:信息流转更快捷,理解更直接,生成更高效。模型不需要依赖单纯堆大参数来弥补中间转换的损耗,而是通过统一的内部表征,把不同模态的信息以更紧凑、更高密度的方式组织起来。

简单来说,传统架构像是“多人协作、层层转述”;SenseNova U1 更像是“一个全能大脑,直接理解,直接表达”。少了中间转译,信息损耗更低,也能在相对更精简的模型规模下,实现更强的多模态理解与生成能力。

实验结果验证了我们的想法。在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型SOTA水平,为统一多模态理解与生成树立了新的标杆。甚至仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型,展现出全维度多领域的统治力。



以下两组对比图更直观地展现了 SenseNova U1 Lite 在效率上的突出优势。在通用的图像生成测试中,SenseNova U1 Lite不但在图像生成质量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型闭源模型,达到商业级水准,还在推理响应速度上有显著优势。即使在极具挑战性、开源模型一直做不好的复杂信息图生成任务中,SenseNova U1 Lite 也表现出商业级的水准,对复杂信息图的排版和文字有很强的控制力。



以下实际例子,展现了 SenseNova U1 Lite的商业级复杂信息图生成能力。











我们正在沿着当前的技术路径继续 Scale,计划在未来推出体量更大的模型。我们相信,基于高效的原生架构,可以以低得多的计算成本达到国际顶尖模型的水平。

业内首创:连续性图文创作输出

凭借NEO-Unify架构的优势,SenseNova U1在业内首个实现连续性的图文创作输出。并且只需要单次单模型调用,就能输出更高质量的作品,相比传统范式,实现了效率的大幅提升。

SenseNova U1 所具备的原生图文理解生成能力,能天然将图像和文本底层融合信号完整的保留上下文中,区别于过去只能利用多模型串联勉强实现,它的图像间风格具备明显的高一致性,能在统一表征空间进行高效连贯思考。

下面两个案例中,SenseNova U1 通过连贯高保真度的图文交错思考输出。

任务一:五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性。



任务二:绘制一个钢铁侠图案:它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持 —— 一个统一表征的共享上下文在其中发挥了关键作用。



全网开源,即刻可用

开源部署

  • GitHub:https://github.com/OpenSenseNova/SenseNova-U1
  • Hugging Face:https://huggingface.co/collections/sensenova/sensenova-u1
  • 欢迎调用 SenseNova U1 Skill https://github.com/OpenSenseNova/SenseNova-Skills ,浏览海量样例库,获取Prompt编写指南,化繁为简(繁杂文->有趣图),让您的Agent成为信息图生成高手

在线体验

  • 即将上线办公小浣熊

我们相信,原生统一的多模态智能是通往 AGI 的必经之路。未来,我们还将持续推动开源生态建设,并发布更大参数规模的 U1 系列模型。迎社区广大用户和开发者提出宝贵建议,共同定义智能交互的未来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一夜之间,本科、硕士、博士全部撤销,户口注销:第一步就错了

一夜之间,本科、硕士、博士全部撤销,户口注销:第一步就错了

大鱼简科
2026-08-13 09:45:48
华盛顿凶杀案骤降43.9% 遇害国会实习生母亲:特朗普打击犯罪奏效了

华盛顿凶杀案骤降43.9% 遇害国会实习生母亲:特朗普打击犯罪奏效了

固件更新中
2026-08-12 19:28:50
三上悠亚登上小S新综艺!自曝择偶标准,录完节目继续工作

三上悠亚登上小S新综艺!自曝择偶标准,录完节目继续工作

吃瓜党二号头目
2026-08-12 06:16:56
福建省南平市委副书记、市长林建被查

福建省南平市委副书记、市长林建被查

新京报
2026-08-12 20:33:31
13日凌晨大满贯:3-1,3-0!松岛丢局,张本剃光头,或再战林诗栋

13日凌晨大满贯:3-1,3-0!松岛丢局,张本剃光头,或再战林诗栋

领悟看世界
2026-08-13 08:44:06
她是郭兰英的亲侄女,长期定居广州陪伴老人,不是亲女胜似亲女

她是郭兰英的亲侄女,长期定居广州陪伴老人,不是亲女胜似亲女

娱说瑜悦
2026-08-12 22:15:03
赖岳谦预测,美国最晚2027年、甚至今年内就会对华动手

赖岳谦预测,美国最晚2027年、甚至今年内就会对华动手

人生录
2026-08-13 04:00:04
初二结束就“上岸”!北京1.4万名学生躲过中考,有人欢喜有人愁

初二结束就“上岸”!北京1.4万名学生躲过中考,有人欢喜有人愁

解说阿洎
2026-08-13 05:46:07
南宁某县监管局招文员1名,外聘无编制,要求大专以上学历,每月到手1400元,网友:这点工资不违法吗?

南宁某县监管局招文员1名,外聘无编制,要求大专以上学历,每月到手1400元,网友:这点工资不违法吗?

谭谈社会
2026-08-12 09:03:31
这还怎么玩?新股上市两天从45元跌到30,除中签户,其他全部被套

这还怎么玩?新股上市两天从45元跌到30,除中签户,其他全部被套

财经市界
2026-08-13 08:12:08
全面禁止,法国明确宣布了!

全面禁止,法国明确宣布了!

故事终将光明磊落
2026-08-12 09:40:38
胚胎案后续!知情人爆料,男方和三姐手握三大王牌,难怪这么嚣张

胚胎案后续!知情人爆料,男方和三姐手握三大王牌,难怪这么嚣张

赵昉是个热血青年
2026-08-13 05:59:47
无人敢细讲的90年代下岗潮:一代人打碎尊严谋生,才换中国逆天改命

无人敢细讲的90年代下岗潮:一代人打碎尊严谋生,才换中国逆天改命

浪子说
2026-08-12 08:27:38
国产笔记本造假再被抓现行!宣传100% sRGB实测仅59%

国产笔记本造假再被抓现行!宣传100% sRGB实测仅59%

快科技
2026-08-12 11:17:05
斯诺克中国公开赛太残酷:随着奥沙利文爆冷4-6出局,8大名将已遭淘汰

斯诺克中国公开赛太残酷:随着奥沙利文爆冷4-6出局,8大名将已遭淘汰

侧身凌空斩
2026-08-12 22:33:18
一觉睡醒,NBA又刷新历史了……

一觉睡醒,NBA又刷新历史了……

五星体育
2026-08-13 07:09:33
特朗普之后,美国将出现一个更强硬的总统?三位人选浮出水面

特朗普之后,美国将出现一个更强硬的总统?三位人选浮出水面

透视到底
2026-08-13 05:34:13
两千万人倒下,换的不是某套制度,而是"站着活"的权利?

两千万人倒下,换的不是某套制度,而是"站着活"的权利?

你在偷看谁
2026-08-12 20:01:53
步步为营,层层递进,刀刀致命:特朗普瓦解伊朗革命卫队的致命杀招

步步为营,层层递进,刀刀致命:特朗普瓦解伊朗革命卫队的致命杀招

高博新视野
2026-08-12 17:53:43
卢鑫直播间里一句话,让整个相声圈后背发凉:“很多老艺人,吃谁的饭,砸谁的锅”

卢鑫直播间里一句话,让整个相声圈后背发凉:“很多老艺人,吃谁的饭,砸谁的锅”

乡野小珥
2026-08-13 09:06:57
2026-08-13 12:23:00
单行科技
单行科技
科技财经领域的温度与深度解读
4733文章数 604关注度
往期回顾 全部

科技要闻

DeepSeek V4 Pro更新:性价比炸裂 仍需打磨

头条要闻

男子称冲着1.5万国补买新车 提车后才知没有申领资格

头条要闻

男子称冲着1.5万国补买新车 提车后才知没有申领资格

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

郭德纲魔改红歌被立案!

财经要闻

韩国可能迎来失去的三十年

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

数码
手机
时尚
本地
房产

数码要闻

高通披露骁龙C芯片规格:面向300美元价位笔记本

手机要闻

人类第一台机器人手机!天马宣布独供荣耀Robot Phone屏幕

婚纱照销毁潮,体面得有点好笑

本地新闻

黄州一夜,苏轼写给普通人的月光

房产要闻

华润海棠湾·澐麗 | 高光封顶,南法新境启幕新篇

无障碍浏览 进入关怀版