网易首页 > 网易号 > 正文 申请入驻

全面开源!商汤日日新SenseNova U1发布,迈向模型理解生成统一时代

0
分享至

今天,我们正式发布并开源商汤日日新SenseNova U1 系列原生理解生成统一模型。

它基于商汤于今年三月份自主研发的 ,在单一模型架构上统一了多模态理解、推理与生成。

NEO-unify架构彻底摒弃了主流的拼接式,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并且深入融入每一层计算中,从而实现从模态集成向原生统一的范式跨越。

SenseNova U1系列模型能够将语言与视觉信息作为统一的复合体直接建模,实现语言和视觉信息的高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时,维持像素级的视觉保真度。

在逻辑推理与空间智能等方向上,它能够深度理解物理世界的复杂布局与精细关系;在未来,它还能为机器人提供具身大脑,实现在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程,为推动技术与产业发展提供重要基础与关键引擎。

本次开源发布的是 SenseNova U1 的轻量版系列 SenseNova U1 Lite。它包含两个不同规格的模型:

  • SenseNova-U1-8B-MoT:基于稠密骨干网络

  • SenseNova-U1-A3B-MoT:基于混合专家(MoE) 骨干网络

了解更多信息,访问GitHub

https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face

https://huggingface.co/collections/sensenova/sensenova-u1

我们也将在近期公布详实的技术报告。

极致高效,以小搏大:

开源SOTA,比肩商用

效率,是统一模型架构的核心技术优势。

传统多模态模型是把视觉编码器和语言骨干通过适配器拼接在一起的。它像一个“说不同语言的人组成的工作组”:有人专门看图,把图像翻译为语言,有人专门理解文字,进行推理,有人把结果再翻译为设计指令,把图画出来。每完成一次任务,信息都要在不同成员之间来回传递。这个过程虽然可行,但难免会有等待、误解和信息损耗。为了弥补这些损耗,模型往往需要做得更大才能达到好的效果。

SenseNova U1 是基于统一表征空间构建的,更像是一个从一开始就同时掌握多项技能的人。它不是先看懂图像、再翻译成文字、再交给另一个系统理解,而是在同一套“思考方式”里直接处理图像、文字等不同信息。图像和语言不再是两套系统之间的接力,而是在同一个大脑中自然融合。

这样带来的好处是:信息流转更快捷,理解更直接,生成更高效。模型不需要依赖单纯堆大参数来弥补中间转换的损耗,而是通过统一的内部表征,把不同模态的信息以更紧凑、更高密度的方式组织起来。

简单来说,传统架构像是“多人协作、层层转述”;SenseNova U1 更像是“一个全能大脑,直接理解,直接表达”。少了中间转译,信息损耗更低,也能在相对更精简的模型规模下,实现更强的多模态理解与生成能力。

实验结果验证了我们的想法。在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型SOTA水平,为统一多模态理解与生成树立了新的标杆。甚至仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型,展现出全维度多领域的统治力。点击可查看单图↓


图像理解基准

测试结果


图像生成基准

测试结果


视觉推理基准

测试结果


以下两组对比图更直观地展现了 SenseNova U1 Lite 在效率上的突出优势。在通用的图像生成测试中(上图),SenseNova U1 Lite不但在图像生成质量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型闭源模型,达到商业级水准,还在推理响应速度上有显著优势。即使在极具挑战性、开源模型一直做不好的复杂信息图生成任务中(下图),SenseNova U1 Lite 也表现出商业级的水准,对复杂信息图的排版和文字有很强的控制力。


Generation Latency vs. Averaging Performance on OneIG (EN, ZH), LongText (EN, ZH), BizGenEval (Easy, Hard), CVTG and IGenBenc


Generation Latency vs. Averaging Performance on Infographic Benchmarks, i.e., BizGenEval (Easy, Hard), and IGenBench











我们正在沿着当前的技术路径继续 Scale,计划在未来推出体量更大的模型。我们相信,基于高效的原生架构,可以以低得多的计算成本达到国际顶尖模型的水平。

业内首创:

连续性图文创作输出

凭借NEO-unify架构的优势,SenseNova U1在业内首个实现连续性的图文创作输出。并且只需要单次单模型调用,就能输出更高质量的作品,相比传统范式,实现了效率的大幅提升。

SenseNova U1 所具备的原生图文理解生成能力,能天然将图像和文本底层融合信号完整的保留上下文中,区别于过去只能利用多模型串联勉强实现,它的图像间风格具备明显的高一致性,能在统一表征空间进行高效连贯思考。

下面两个案例中,SenseNova U1 通过连贯高保真度的图文交错思考输出。

任务一:五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性。


上下滑动查看更多,点击可查看原图

任务二:绘制一个钢铁侠图案。它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持 —— 一个统一表征的共享上下文在其中发挥了关键作用。


上下滑动查看更多,点击可查看原图

全网开源,即刻可用

开源部署

  • GitHub:

    https://github.com/OpenSenseNova/SenseNova-U1

  • Hugging Face:

    https://huggingface.co/collections/sensenova/sensenova-u1

  • 欢迎调用 SenseNova U1 Skill

    https://github.com/OpenSenseNova/SenseNova-Skills

    浏览海量样例库,获取Prompt编写指南,化繁为简(繁杂文->有趣图),让您的Agent成为信息图生成高手

在线体验与接入

  • 即将上线办公小浣熊

我们相信,原生统一的多模态智能是通往 AGI 的必经之路。未来,我们还将持续推动开源生态建设,并发布更大参数规模的 U1 系列模型。迎社区广大用户和开发者提出宝贵建议,共同定义智能交互的未来。


SenseNova U1专属群,欢迎入群扫码交流↓↓↓

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
卖淫新套路,你明白吗,务必留意

卖淫新套路,你明白吗,务必留意

原广工业
2026-10-02 09:40:36
“我女儿是榴莲和海鲜养大的”,贫民窟公主火了,网友:自己留着吧

“我女儿是榴莲和海鲜养大的”,贫民窟公主火了,网友:自己留着吧

番外行
2026-10-02 20:53:44
戴笠心腹奉命抓捕李克农,见面居然先敬军礼,全程亲自护送到重庆

戴笠心腹奉命抓捕李克农,见面居然先敬军礼,全程亲自护送到重庆

纪史行者
2026-10-01 06:40:10
弗格森爵士:解析C罗与热苏斯矛盾,真正的权威无需让巨星难堪来证明

弗格森爵士:解析C罗与热苏斯矛盾,真正的权威无需让巨星难堪来证明

体育闲话说
2026-10-02 20:39:02
亚运夺金后大方认爱!羽毛球名将载誉回国公开女友,事业爱情双丰收

亚运夺金后大方认爱!羽毛球名将载誉回国公开女友,事业爱情双丰收

体坛小二哥
2026-10-02 22:47:05
国足0-5惨败巴勒斯坦,产生5个事实:该换安东尼奥,赵松源拔苗助长

国足0-5惨败巴勒斯坦,产生5个事实:该换安东尼奥,赵松源拔苗助长

球场没跑道
2026-10-02 21:55:52
TVB港姐离婚7年罕谈大40岁前夫,仍像家人相处,婚姻仅维持八个月

TVB港姐离婚7年罕谈大40岁前夫,仍像家人相处,婚姻仅维持八个月

落雪听梅a
2026-10-02 19:41:07
稀土大战进入白热化!对日稀土管制大半年,日本悄悄找到新出路

稀土大战进入白热化!对日稀土管制大半年,日本悄悄找到新出路

王二哥老搞笑
2026-10-02 13:28:57
香港名媛碎尸案终于开审!首曝恐怖细节:前夫家父子3人提前买好削肉机,欲占她上亿遗产?

香港名媛碎尸案终于开审!首曝恐怖细节:前夫家父子3人提前买好削肉机,欲占她上亿遗产?

英国报姐
2026-10-01 21:07:03
9年波折结束!中国S26T潜艇订单尘埃落定,泰国放弃2470万美元补偿!

9年波折结束!中国S26T潜艇订单尘埃落定,泰国放弃2470万美元补偿!

军武次位面
2026-10-02 18:55:53
50岁男子冠脉狭窄85%,2年后却完全消失,他的4个方法,值得借鉴

50岁男子冠脉狭窄85%,2年后却完全消失,他的4个方法,值得借鉴

白宸侃片
2026-10-02 13:02:54
名古屋亚运会官方更正,中国金牌数从154枚更正为155枚!

名古屋亚运会官方更正,中国金牌数从154枚更正为155枚!

第五才子
2026-10-02 09:44:44
四川乐山一公司国庆节不放假?当地:商家博取关注自导自演“举报戏”|云辟谣

四川乐山一公司国庆节不放假?当地:商家博取关注自导自演“举报戏”|云辟谣

封面新闻
2026-10-02 21:17:02
名记怒批“邵佳一把国足当强队” 董路:这么踢日本可能要输0-15

名记怒批“邵佳一把国足当强队” 董路:这么踢日本可能要输0-15

风过乡
2026-10-02 22:08:27
57 岁王菲看不到发缝:最戳中年人的,从来不是年龄

57 岁王菲看不到发缝:最戳中年人的,从来不是年龄

乡野异闻录
2026-10-02 19:55:33
国庆高速堵疯了!今年的堵车,堵出新高度,彻底把网友笑翻了!

国庆高速堵疯了!今年的堵车,堵出新高度,彻底把网友笑翻了!

乐天闲聊
2026-10-02 13:15:35
安吉丽娜·朱莉1.66亿元出售洛杉矶历史豪宅,彻底兑现多年承诺

安吉丽娜·朱莉1.66亿元出售洛杉矶历史豪宅,彻底兑现多年承诺

眉眼动人
2026-09-30 12:35:34
66.2万元!雷克萨斯新车正式开售

66.2万元!雷克萨斯新车正式开售

3C毒物
2026-10-03 00:06:53
荒谬至极!台湾岛内流传“共产党要感谢日本人”

荒谬至极!台湾岛内流传“共产党要感谢日本人”

海峡导报社
2026-09-30 07:50:03
演员潘粤明画的一幅鬼画,网友:狗链子画的好!

演员潘粤明画的一幅鬼画,网友:狗链子画的好!

乡野小珥
2026-09-21 04:03:10
2026-10-03 02:23:00
开源中国 incentive-icons
开源中国
每天为开发者推送最新技术资讯
7840文章数 34558关注度
往期回顾 全部

科技要闻

“分手”15天后,华为与赛力斯签约新五年

头条要闻

李在明:若乌克兰拒不道歉 将采取进一步措施

头条要闻

李在明:若乌克兰拒不道歉 将采取进一步措施

体育要闻

30天30队·快船:被莱纳德挂在半空的未来?

娱乐要闻

潘玮柏老婆被猜怀二胎 中秋vlog露馅

财经要闻

珠宝黑马爆雷,老板全家跑路泰国!

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

数码
时尚
教育
房产
旅游

数码要闻

Meta预热雷朋Display眼镜2026年下半年大型更新

伊姐十一热推:电视剧《无可替代》;电视剧《雷霆令》......

教育要闻

英国大学这是要完?这么缺学生的吗?

房产要闻

三亚楼市炸了!首个空中泳池平层+CBD独一份洋房同时爆出!

旅游要闻

游玩新体验!鼎湖山泉・2026白云国际啤酒美食嘉年华启幕

无障碍浏览 进入关怀版