网易首页 > 网易号 > 正文 申请入驻

国产AI新突破!商汤开源“原生理解生成统一模型”,告别“拼接式”多模态

0
分享至



昨天(28日)夜间,商汤科技正式发布并开源“日日新SenseNova U1”系列原生理解生成统一模型。它基于商汤今年3月自主研发的NEO-unify架构,首次在单一模型架构上实现多模态理解、推理与生成的统一,标志着从“模态集成”向“原生统一”的范式跨越。


新民晚报记者了解到,NEO-unify架构彻底摒弃了主流的拼接式设计,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并将统一表征深入融入模型的每一层计算中。SenseNova U1能够将语言与视觉信息作为一个复合体直接建模,实现二者高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时维持像素级的视觉保真度。

在逻辑推理与空间智能方面,该模型能够深度理解物理世界的复杂布局与精细关系。未来,它还可为机器人提供“具身大脑”,在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程。

本次开源发布的是SenseNova U1的轻量版系列——SenseNova U1 Lite,包含两个不同规格的模型:SenseNova-U1-8B-MoT(基于稠密骨干网络)和SenseNova-U1-A3B-MoT(基于混合专家MoE骨干网络)。相关代码与模型已上线GitHub和Hugging Face平台,商汤表示将于近期公布详细技术报告。

效率优势显著:小模型达到商用级水准

效率,是统一模型架构的核心技术优势。

传统多模态模型通过将视觉编码器与语言骨干用适配器拼接,类似于一个“多人协作、层层转述”的工作组,信息在不同模块间传递容易出现损耗和延迟。而SenseNova U1基于统一表征空间构建,如同一个“全能大脑”,在同一套思考方式中直接处理图像、文字等不同信息,避免了中间转译带来的信息损失,从而以更紧凑、更高密度的方式组织多模态数据。



图像理解基准测试结果、图像生成基准测试结果、视觉推理基准测试结果

实验结果显示,在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型的SOTA(最先进水平)。仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型。在通用图像生成测试中,其生成质量比肩Qwen-Image 2.0 Pro或Seedream 4.5等大型闭源模型,同时推理响应速度具有显著优势;在开源模型长期表现不佳的复杂信息图生成任务中,也展现出商业级水准,对排版和文字具备强控制力。


SenseNova U1 Lite的商业级复杂信息图生成能力


商汤科技表示,正沿着当前技术路径继续“规模化”,计划未来推出体量更大的模型。基于高效的原生架构,有望以远低于传统方案的计算成本达到国际顶尖模型水平。

业内首创:连续性图文创作输出

凭借NEO-Unify架构,SenseNova U1在业内首个实现连续性的图文创作输出,并且仅需单次单模型调用即可完成。传统方法往往需要多模型串联,勉强实现图文交替,且图像间风格一致性差。而SenseNova U1将图像和文本底层融合信号完整保留在上下文中,在统一表征空间进行高效连贯思考。

在演示案例中,模型可根据“五分熟牛排做法”任务,自主规划分步过程并为每一步生成对应的图像,各步骤图示表现出极高的一致性。在“绘制钢铁侠图案”任务中,模型能够从扫描草稿出发,逐步连续创作,最终输出完成度很高的图像,每一步创作都精准保持了前一步的结构与细节。


(左)五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性;(右)任务二:绘制一个钢铁侠图案:它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持——一个统一表征的共享上下文在其中发挥了关作用。

商汤科技向新民晚报记者表示,这一能力将为人机协作、创意设计、智能教育等领域打开新的应用空间,也为上海AI产业的原生多模态技术发展提供重要基础与关键引擎。

【开源部署】【调用 SenseNova U1 Skill】

原标题:《国产AI新突破!商汤开源“原生理解生成统一模型”,告别“拼接式”多模态》

栏目编辑:马丹

来源:作者:新民晚报 郜阳

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
绿军签38岁康利,这签约藏着什么信号?

绿军签38岁康利,这签约藏着什么信号?

赛场速报局
2026-07-02 01:23:40
冲上热搜!曝41岁C罗将在淘汰赛担任替补:前3场有2场低迷 遭质疑

冲上热搜!曝41岁C罗将在淘汰赛担任替补:前3场有2场低迷 遭质疑

风过乡
2026-07-01 20:53:49
严屹宽直播模仿哈兰德!精准拿捏经典表情,直言:他太可爱了

严屹宽直播模仿哈兰德!精准拿捏经典表情,直言:他太可爱了

喜欢历史的阿繁
2026-07-01 17:38:48
第二个家,刘铮帮助上海夺冠后,将上海天际线纹在后背

第二个家,刘铮帮助上海夺冠后,将上海天际线纹在后背

懂球帝
2026-07-01 15:17:17
完了!杨瀚森成第4中锋了!!

完了!杨瀚森成第4中锋了!!

柚子说球
2026-07-01 09:00:11
《给阿嬷的情书》全球票房破20亿,演员们能分到多少?一分没有

《给阿嬷的情书》全球票房破20亿,演员们能分到多少?一分没有

辣条小剧场
2026-07-02 00:17:13
想要混得好要牢记:一、不随意教人做事;二、不当众让人下不了台

想要混得好要牢记:一、不随意教人做事;二、不当众让人下不了台

富书
2026-07-01 11:31:35
一顿吃掉一头牛?世界杯后勤细节曝光,挪威舍近求远空运食材

一顿吃掉一头牛?世界杯后勤细节曝光,挪威舍近求远空运食材

老特有话说
2026-07-01 18:09:13
离开11年后,央视名嘴低调隐居北京,如今二婚21年无儿无女很潇洒

离开11年后,央视名嘴低调隐居北京,如今二婚21年无儿无女很潇洒

素衣读史
2026-06-25 21:56:52
樊振东正式加盟德甲豪门杜塞尔多夫,将于8月22日迎来主场首秀

樊振东正式加盟德甲豪门杜塞尔多夫,将于8月22日迎来主场首秀

懂球帝
2026-07-01 23:33:09
我真蠢,我竟然去看了《抓特务》

我真蠢,我竟然去看了《抓特务》

呦呦鹿鸣
2026-06-28 22:42:42
万万没料到,即将下台的武契奇突然宣布,塞尔维亚将走西方路线

万万没料到,即将下台的武契奇突然宣布,塞尔维亚将走西方路线

面包夹知识
2026-06-30 23:19:33
台湾军车被发现用大陆品牌轮胎

台湾军车被发现用大陆品牌轮胎

观察者网
2026-07-01 14:22:06
京圈资本集体崩盘!冯小刚赔2亿只是冰山一角,2大现实必须认清

京圈资本集体崩盘!冯小刚赔2亿只是冰山一角,2大现实必须认清

草莓解说体育
2026-07-01 18:37:51
韩红已退出名下多家公司

韩红已退出名下多家公司

雷达财经
2026-06-30 16:13:15
别吹姆巴佩了!法国世界杯头号大腿!他一人 Carry 全队!

别吹姆巴佩了!法国世界杯头号大腿!他一人 Carry 全队!

澜归序
2026-07-01 07:43:30
意大利前总理出轨成瘾,情妇无数个个性感,好色成性是AC米兰老板

意大利前总理出轨成瘾,情妇无数个个性感,好色成性是AC米兰老板

陈意小可爱
2026-07-02 00:16:03
湖人4年1.3亿签换凯斯勒!但东契奇和詹姆斯一样,也成了牺牲品

湖人4年1.3亿签换凯斯勒!但东契奇和詹姆斯一样,也成了牺牲品

老梁体育漫谈
2026-07-02 00:42:14
“交叉内衣”火了,专对含胸驼背,好穿到不想脱

“交叉内衣”火了,专对含胸驼背,好穿到不想脱

LULU生活家
2026-07-01 21:39:48
完爆 1.2 亿安德森!亿元中场愿加盟曼联,世界杯表现全面碾压

完爆 1.2 亿安德森!亿元中场愿加盟曼联,世界杯表现全面碾压

一隅非生
2026-07-01 09:08:43
2026-07-02 01:55:00
上观新闻 incentive-icons
上观新闻
站上海,观天下
506939文章数 762627关注度
往期回顾 全部

科技要闻

Claude Code被曝“植入木马”识别中国用户

头条要闻

许家印英国豪宅被指遭流浪汉“霸占” 真相披露

头条要闻

许家印英国豪宅被指遭流浪汉“霸占” 真相披露

体育要闻

卖球衣救子的门将,把德国扑出了世界杯

娱乐要闻

77岁牛群公证裸捐全部财产,清贫独居坚持月捐

财经要闻

新氧贷款:宣传年化15%,实际顶格24%

汽车要闻

同比暴涨188.4% 方程豹6月热销35607台

态度原创

健康
旅游
家居
艺术
教育

年糕汤圆别油炸,水煮清蒸更健康

旅游要闻

距离迪士尼不到2公里,藏着浦东的百年水乡,很多人却不知道

家居要闻

传奇筑 日常诗

艺术要闻

西安美术学院,2026届油画系硕士研究生毕业作品选(二)

教育要闻

高考落幕,征途未止!高中为毕业生开设大学先修课

无障碍浏览 进入关怀版