网易首页 > 网易号 > 正文 申请入驻

全面开源!商汤日日新SenseNova U1发布,迈向模型理解生成统一时代

0
分享至

今天,我们正式发布并开源商汤日日新SenseNova U1 系列原生理解生成统一模型。

它基于商汤于今年三月份自主研发的 ,在单一模型架构上统一了多模态理解、推理与生成。

NEO-unify架构彻底摒弃了主流的拼接式,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并且深入融入每一层计算中,从而实现从模态集成向原生统一的范式跨越

SenseNova U1系列模型能够将语言与视觉信息作为统一的复合体直接建模,实现语言和视觉信息的高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时,维持像素级的视觉保真度。

逻辑推理与空间智能等方向上,它能够深度理解物理世界的复杂布局与精细关系;在未来,它还能为机器人提供具身大脑,实现在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程,为推动技术与产业发展提供重要基础与关键引擎。

本次开源发布的是 SenseNova U1 的轻量版系列 SenseNova U1 Lite。它包含两个不同规格的模型:

  • SenseNova-U1-8B-MoT:基于稠密骨干网络

  • SenseNova-U1-A3B-MoT:基于混合专家(MoE) 骨干网络

了解更多信息,访问GitHub

https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face

https://huggingface.co/collections/sensenova/sensenova-u1

我们也将在近期公布详实的技术报告

极致高效,以小搏大:

开源SOTA,比肩商用

效率,是统一模型架构的核心技术优势。

传统多模态模型是把视觉编码器和语言骨干通过适配器拼接在一起的。它像一个“说不同语言的人组成的工作组”:有人专门看图,把图像翻译为语言,有人专门理解文字,进行推理,有人把结果再翻译为设计指令,把图画出来。每完成一次任务,信息都要在不同成员之间来回传递。这个过程虽然可行,但难免会有等待、误解和信息损耗。为了弥补这些损耗,模型往往需要做得更大才能达到好的效果。

SenseNova U1 是基于统一表征空间构建的,更像是一个从一开始就同时掌握多项技能的人。它不是先看懂图像、再翻译成文字、再交给另一个系统理解,而是在同一套“思考方式”里直接处理图像、文字等不同信息。图像和语言不再是两套系统之间的接力,而是在同一个大脑中自然融合。

这样带来的好处是:信息流转更快捷,理解更直接,生成更高效。模型不需要依赖单纯堆大参数来弥补中间转换的损耗,而是通过统一的内部表征,把不同模态的信息以更紧凑、更高密度的方式组织起来

简单来说,传统架构像是“多人协作、层层转述”;SenseNova U1 更像是“一个全能大脑,直接理解,直接表达”。少了中间转译,信息损耗更低,也能在相对更精简的模型规模下,实现更强的多模态理解与生成能力。

实验结果验证了我们的想法。在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型SOTA水平,为统一多模态理解与生成树立了新的标杆。甚至仅凭8B-MoT的较小规格就能达到甚至超越部分大型商业闭源模型,展现出全维度多领域的统治力。点击可查看单图↓


图像理解基准

测试结果


图像生成基准

测试结果


视觉推理基准

测试结果


以下两组对比图更直观地展现了 SenseNova U1 Lite 在效率上的突出优势。在通用的图像生成测试中(上图),SenseNova U1 Lite不但在图像生成质量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型闭源模型,达到商业级水准,还在推理响应速度上有显著优势。即使在极具挑战性、开源模型一直做不好的复杂信息图生成任务中(下图),SenseNova U1 Lite 也表现出商业级的水准,对复杂信息图的排版和文字有很强的控制力。


Generation Latency vs. Averaging Performance on OneIG (EN, ZH), LongText (EN, ZH), BizGenEval (Easy, Hard), CVTG and IGenBenc


Generation Latency vs. Averaging Performance on Infographic Benchmarks, i.e., BizGenEval (Easy, Hard), and IGenBench











我们正在沿着当前的技术路径继续 Scale,计划在未来推出体量更大的模型。我们相信,基于高效的原生架构,可以以低得多的计算成本达到国际顶尖模型的水平。

业内首创:

连续性图文创作输出

凭借NEO-unify架构的优势,SenseNova U1在业内首个实现连续性的图文创作输出。并且只需要单次单模型调用,就能输出更高质量的作品,相比传统范式,实现了效率的大幅提升。

SenseNova U1 所具备的原生图文理解生成能力,能天然将图像和文本底层融合信号完整的保留上下文中,区别于过去只能利用多模型串联勉强实现,它的图像间风格具备明显的高一致性,能在统一表征空间进行高效连贯思考。

下面两个案例中,SenseNova U1 通过连贯高保真度的图文交错思考输出。

任务一:五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性。


上下滑动查看更多,点击可查看原图

任务二:绘制一个钢铁侠图案。它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持 —— 一个统一表征的共享上下文在其中发挥了关键作用。


上下滑动查看更多,点击可查看原图

全网开源,即刻可用

开源部署

  • GitHub

    https://github.com/OpenSenseNova/SenseNova-U1

  • Hugging Face

    https://huggingface.co/collections/sensenova/sensenova-u1

  • 欢迎调用 SenseNova U1 Skill

    https://github.com/OpenSenseNova/SenseNova-Skills

    浏览海量样例库,获取Prompt编写指南,化繁为简(繁杂文->有趣图),让您的Agent成为信息图生成高手

在线体验与接入

  • 即将上线办公小浣熊

我们相信,原生统一的多模态智能是通往 AGI 的必经之路。未来,我们还将持续推动开源生态建设,并发布更大参数规模的 U1 系列模型。迎社区广大用户和开发者提出宝贵建议,共同定义智能交互的未来。


SenseNova U1专属群,欢迎入群扫码交流↓↓↓

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“农村已经没有好孩子了!”乡下老师吐槽:班里近一半都是不正常的孩子!

“农村已经没有好孩子了!”乡下老师吐槽:班里近一半都是不正常的孩子!

林林先生
2026-08-07 11:50:03
电影《器子》网络首播!本以为是烂片,没想到好看到爆

电影《器子》网络首播!本以为是烂片,没想到好看到爆

晴晴的娱乐日记
2026-08-12 22:11:55
最后的疯狂:许家印被抓捕的失控三秒钟

最后的疯狂:许家印被抓捕的失控三秒钟

财经保探长
2026-04-09 22:30:38
北京一家名为“龙餐馆”的实体餐馆回应撞名电影《欢迎来龙餐馆》:并非联名,开业起就使用该名,很认可这部影片,专门复刻了电影同款菜品

北京一家名为“龙餐馆”的实体餐馆回应撞名电影《欢迎来龙餐馆》:并非联名,开业起就使用该名,很认可这部影片,专门复刻了电影同款菜品

潇湘晨报
2026-08-12 17:59:34
没有告别巡演,没有最后一舞!场均还能15+6的威少为何突然退役?

没有告别巡演,没有最后一舞!场均还能15+6的威少为何突然退役?

锅子篮球
2026-08-13 10:46:14
朱同志如何面对人生低谷?

朱同志如何面对人生低谷?

传达室
2026-08-12 22:12:16
花开锦绣全员结局:傅赵归隐共白首,俞敬修败落,范雅客错付成憾

花开锦绣全员结局:傅赵归隐共白首,俞敬修败落,范雅客错付成憾

乡野小珥
2026-08-13 08:24:08
她是郭兰英的亲侄女,长期定居广州陪伴老人,不是亲女胜似亲女

她是郭兰英的亲侄女,长期定居广州陪伴老人,不是亲女胜似亲女

娱说瑜悦
2026-08-12 22:15:03
国内存款超过200万的家庭,究竟有多少?答案或吓你一跳?

国内存款超过200万的家庭,究竟有多少?答案或吓你一跳?

落梅如雪乱飞
2026-07-26 06:02:20
中英谈好补偿款的那一刻,全世界都看清楚了!12亿英镑要打水漂?

中英谈好补偿款的那一刻,全世界都看清楚了!12亿英镑要打水漂?

离离言几许
2026-08-02 20:47:37
杀鸟盘:专盯已婚妇女,用几块钱买走个人全部尊严,有多可怕?

杀鸟盘:专盯已婚妇女,用几块钱买走个人全部尊严,有多可怕?

社会日日鲜
2026-08-02 09:11:02
得不到奖就黑脸、摸王骁手强行肢体接触,没分寸感的她别去百花了

得不到奖就黑脸、摸王骁手强行肢体接触,没分寸感的她别去百花了

古事寻踪记
2026-08-13 10:12:21
暑假回老家发现:手机最先摧毁的,是底层家庭的孩子

暑假回老家发现:手机最先摧毁的,是底层家庭的孩子

经济观察报
2026-08-12 09:59:51
中央五套直播乒乓球时间表:8月13日CCTV5直播,附上国乒最新赛程

中央五套直播乒乓球时间表:8月13日CCTV5直播,附上国乒最新赛程

林子说事
2026-08-13 10:14:28
网红导游怒怼西安黄牛,一场争吵背后,藏着免费景区最难解的困局

网红导游怒怼西安黄牛,一场争吵背后,藏着免费景区最难解的困局

浪西安
2026-08-13 10:37:30
“王水牛”丑闻后续,不仅白嫖还约过几百人,致多人怀孕 复旦回应

“王水牛”丑闻后续,不仅白嫖还约过几百人,致多人怀孕 复旦回应

文刀贰
2026-08-12 11:55:27
断供日本稀土5个月,它为什么还没趴下?

断供日本稀土5个月,它为什么还没趴下?

刻面
2026-06-11 13:55:24
为何中国宁愿把电力输向越南,让越南夜晚灯火辉煌,却对朝鲜几乎绝不供电?这事看着奇怪,其实道理很简单!

为何中国宁愿把电力输向越南,让越南夜晚灯火辉煌,却对朝鲜几乎绝不供电?这事看着奇怪,其实道理很简单!

磊子讲史
2026-08-10 15:13:10
百姓躺平摆烂,食税群体怎么办?

百姓躺平摆烂,食税群体怎么办?

律法刑道
2026-06-03 09:30:48
砸下十亿就能换回一条命吗?47岁的蔡磊在与渐冻症苦苦周旋了六年之后,这个男人最终在这场生死豪赌中笑到了最后

砸下十亿就能换回一条命吗?47岁的蔡磊在与渐冻症苦苦周旋了六年之后,这个男人最终在这场生死豪赌中笑到了最后

人生录
2026-08-07 00:05:14
2026-08-13 13:03:01
开源中国 incentive-icons
开源中国
每天为开发者推送最新技术资讯
7840文章数 34558关注度
往期回顾 全部

科技要闻

DeepSeek V4 Pro更新:性价比炸裂 仍需打磨

头条要闻

男子遭"炸街"折磨刺死19岁小伙获死刑 被害人父亲发声

头条要闻

男子遭"炸街"折磨刺死19岁小伙获死刑 被害人父亲发声

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

郭德纲魔改红歌被立案!

财经要闻

韩国可能迎来失去的三十年

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

艺术
游戏
健康
本地
公开课

艺术要闻

红色系 | 中国当代油画优秀作品 24幅

KSG4比3AG.AL,拿下2026王者荣耀电竞世俱杯冠军,AG.AL棋差一招相当可惜!

身子歪≠脊柱侧弯,侧弯发病率没变

本地新闻

黄州一夜,苏轼写给普通人的月光

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版