网易首页 > 网易号 > 正文 申请入驻

国产AI新突破!商汤开源“原生理解生成统一模型”,告别“拼接式”多模态

0
分享至

昨天(28日)夜间,商汤科技正式发布并开源“日日新SenseNova U1”系列原生理解生成统一模型。它基于商汤今年3月自主研发的NEO-unify架构,首次在单一模型架构上实现多模态理解、推理与生成的统一,标志着从“模态集成”向“原生统一”的范式跨越。

新民晚报记者了解到,NEO-unify架构彻底摒弃了主流的拼接式设计,去除了视觉编码器(VE)和变分自编码器(VAE),重新构建了统一的表征空间,并将统一表征深入融入模型的每一层计算中。SenseNova U1能够将语言与视觉信息作为一个复合体直接建模,实现二者高效协同,让理解与生成能力同步增强,在保留语义丰富度的同时维持像素级的视觉保真度。

在逻辑推理与空间智能方面,该模型能够深度理解物理世界的复杂布局与精细关系。未来,它还可为机器人提供“具身大脑”,在单一模型闭环内完成从复杂环境感知、逻辑推演到精准任务执行的全过程。

本次开源发布的是SenseNova U1的轻量版系列——SenseNova U1 Lite,包含两个不同规格的模型:SenseNova-U1-8B-MoT(基于稠密骨干网络)和SenseNova-U1-A3B-MoT(基于混合专家MoE骨干网络)。相关代码与模型已上线GitHub和Hugging Face平台,商汤表示将于近期公布详细技术报告。

效率优势显著:小模型达到商用级水准

效率,是统一模型架构的核心技术优势。

传统多模态模型通过将视觉编码器与语言骨干用适配器拼接,类似于一个“多人协作、层层转述”的工作组,信息在不同模块间传递容易出现损耗和延迟。而SenseNova U1基于统一表征空间构建,如同一个“全能大脑”,在同一套思考方式中直接处理图像、文字等不同信息,避免了中间转译带来的信息损失,从而以更紧凑、更高密度的方式组织多模态数据。

图像理解基准测试结果、图像生成基准测试结果、视觉推理基准测试结果

实验结果显示,在涵盖图像理解、图像生成与编辑、空间智能和视觉推理的多项基准测试中,SenseNova U1 Lite均达到同量级开源模型的SOTA(最先进水平)。仅凭8B-MoT的较小规格,就能达到甚至超越部分大型商业闭源模型。在通用图像生成测试中,其生成质量比肩Qwen-Image 2.0 Pro或Seedream 4.5等大型闭源模型,同时推理响应速度具有显著优势;在开源模型长期表现不佳的复杂信息图生成任务中,也展现出商业级水准,对排版和文字具备强控制力。

SenseNova U1 Lite的商业级复杂信息图生成能力

商汤科技表示,正沿着当前技术路径继续“规模化”,计划未来推出体量更大的模型。基于高效的原生架构,有望以远低于传统方案的计算成本达到国际顶尖模型水平。

业内首创:连续性图文创作输出

凭借NEO-Unify架构,SenseNova U1在业内首个实现连续性的图文创作输出,并且仅需单次单模型调用即可完成。传统方法往往需要多模型串联,勉强实现图文交替,且图像间风格一致性差。而SenseNova U1将图像和文本底层融合信号完整保留在上下文中,在统一表征空间进行高效连贯思考。

在演示案例中,模型可根据“五分熟牛排做法”任务,自主规划分步过程并为每一步生成对应的图像,各步骤图示表现出极高的一致性。在“绘制钢铁侠图案”任务中,模型能够从扫描草稿出发,逐步连续创作,最终输出完成度很高的图像,每一步创作都精准保持了前一步的结构与细节。

(左)五分熟牛排做法:SenseNova U1 可以通过思考和规划产生分步的过程,并且给每一步输出对应的图像展示。各个步骤的图示表现出极高的一致性;(右)任务二:绘制一个钢铁侠图案:它可以从扫描草稿出发,逐步进行连续创作,最终做出一个完成度很高的图像。每一步创作的过程对于前一步的结构和细节都做了精准的保持——一个统一表征的共享上下文在其中发挥了关作用。

商汤科技向新民晚报记者表示,这一能力将为人机协作、创意设计、智能教育等领域打开新的应用空间,也为上海AI产业的原生多模态技术发展提供重要基础与关键引擎。

【开源部署】【调用 SenseNova U1 Skill】

原标题:《国产AI新突破!商汤开源“原生理解生成统一模型”,告别“拼接式”多模态》

栏目编辑:马丹

来源:作者:新民晚报 郜阳

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1600万粉丝网红阿那亚探店后续:饭店里面开着灯,但一个人也没有

1600万粉丝网红阿那亚探店后续:饭店里面开着灯,但一个人也没有

白面书誏
2026-11-17 10:41:35
今日新股,涨到临停

今日新股,涨到临停

证券时报
2026-11-17 14:51:32
张升民人民日报撰文:保持惩治腐败高压态势

张升民人民日报撰文:保持惩治腐败高压态势

澎湃新闻
2026-11-17 07:09:02
台北101点灯,力挺黄仁勋

台北101点灯,力挺黄仁勋

芯智讯
2026-11-17 12:23:23
CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

体坛卡卡说
2026-11-17 11:05:10
张升民同志简历

张升民同志简历

看看新闻Knews
2026-10-29 18:54:09
男子和女子睡后很满意,想长期白嫖假装是富豪,被揭穿后闹大了

男子和女子睡后很满意,想长期白嫖假装是富豪,被揭穿后闹大了

江山挥笔
2026-11-17 08:55:44
28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

王老师你还好吗
2026-11-11 21:45:48
特朗普启程参加深圳APEC峰会 |现场画面

特朗普启程参加深圳APEC峰会 |现场画面

凤凰卫视
2026-11-17 08:38:05
8集变16集,这部100%新鲜度喜剧续订第三季

8集变16集,这部100%新鲜度喜剧续订第三季

赴一场山海啊
2026-11-16 05:51:19
宇树科技跌超10%,领跌物理AI板块

宇树科技跌超10%,领跌物理AI板块

澎湃新闻
2026-11-17 10:29:03
又轰下43+9+3!抱歉科比:你保持10年的纪录被打破了

又轰下43+9+3!抱歉科比:你保持10年的纪录被打破了

篮球大视野
2026-11-16 15:03:26
闲鱼惊现大量2TB U盘,全新标价35元!到底有啥猫腻?

闲鱼惊现大量2TB U盘,全新标价35元!到底有啥猫腻?

小柱解说游戏
2026-11-15 16:28:19
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

不写散文诗
2026-11-15 15:09:22
曝河北富豪公子大婚!“刘能”王小利携妻子现场表演节目,婚房为12层独栋别墅,每桌备一瓶茅台一瓶国窖1573

曝河北富豪公子大婚!“刘能”王小利携妻子现场表演节目,婚房为12层独栋别墅,每桌备一瓶茅台一瓶国窖1573

裕丰娱间说
2026-11-17 09:41:57
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
中超升班马巨变?韩国功勋主帅率队冲超后下课!50岁本土教练接任

中超升班马巨变?韩国功勋主帅率队冲超后下课!50岁本土教练接任

我爱英超
2026-11-17 10:06:11
太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

古书奇谈
2026-11-16 21:35:03
秋假出行小高峰来了!美团:成都登顶热门秋假目的地

秋假出行小高峰来了!美团:成都登顶热门秋假目的地

阿尔法工场
2026-11-16 15:50:34
2026-11-17 18:00:49
上观新闻 incentive-icons
上观新闻
站上海,观天下
555156文章数 765226关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
旅游
时尚
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

自骂“烂人”的黄仁勋,冤不冤?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版