网易首页 > 网易号 > 正文 申请入驻

这个新生图模型有点夯:4K直出的,国产的,开源的!

0
分享至

来源:市场资讯

(来源:量子位)

刚刚,新出的一个生图模型,着实是有点东西在身上的:

国产的,4K直出的,开源的,轻量的,还是可以指哪儿改哪儿的。

例如下面这张信息密度超高的图片,就是它做出来的:


我们从结果可以看到,即便是把图片放大了来看 ,不论是文字、图片元素,都是细节拉满的状态。

再如这组充满艺术感的视觉大片,这个AI也是不在话下:


那这是何许AI是也?

它,便是商汤刚刚面向社区开源的SenseNova U1.5-Lite-Preview。

这是一个轻量级原生统一多模态模型的早期预览版本。它延续了商汤自研的NEO-Unify架构,把语言、视觉语义和像素生成放进同一套模型里,覆盖视觉理解、推理、生成与编辑。

不过有一说一,原生4K直出,还仅仅是它的亮点之一。

在仅有8B-MoT参数的轻量身形之下,U1.5-Lite-Preview做到了:

毕竟在真实创作中,“会画图”只是第一步,真正决定它能不能进入创作流程的,还得看复杂任务和编辑能力。

那U1.5-Lite-Preview这个8B-MoT小模型创作起来有多方便?我们继续往下看~

能Hold住复杂创作和编辑才是重点

先来看一张信息密度相当的图片。


这张图的主题是银盐摄影。

画面正中央,是一台被拆解开的复古相机。镜头、快门、胶片仓、卷片轴、取景器等结构,被一层层摊开来讲清楚;一束橙色光线从镜头前方打进来,顺着成像路径一路穿过去,整张图的视觉中心也因此一下子立住了。

这种图最难的地方,其实并不在于“画一台相机”本身。真正难的是,模型得同时把时间线、知识模块、结构拆解、流程说明和视觉层级都组织进同一张图里,还得让人一眼看过去,知道哪里是主干、哪里是补充,哪里是说明,哪里是结论。

从最后出来的效果看,U1.5-Lite-Preview在这种高信息密度的信息图任务上,已经能把内容和版式一起接住了。黑白蚀刻风格很统一,主视觉够醒目,细节也足够丰富,整张图读起来并不乱,反而有种“越看越有东西”的感觉。

如果说上一张图考验的是“从零做一张复杂信息图”,那接下来这组,更像是在考模型有没有复刻一张图的逻辑,再重新输出的能力。


输入图的主题,是一张名为Modern Pop Culture Film & TV Milestone Journey的信息图。

它把几部流行影视作品串在一条弯曲的路径上,节点、卡片、插画和标题都带着比较统一的手绘水彩风格。整张图看上去像一张轻松、亲切的文化主题路线图。

而到了输出图,主题换成了The Journey of Postal Mail,也就是“邮政邮件的旅程”。

但你再仔细看,会发现它并没有推倒重来。

原来那条弯弯曲曲的路径还在,节点式的节奏也还在,左中右的版式关系也保留了下来。只不过,原先围绕电影和剧集展开的内容,被整体替换成了“投递、分拣、运输、派送”这四个环节。洗衣店、剧集卡片、电影海报式的小模块,被换成了邮筒、分拣中心、运输车、邮差上门这些更贴合新主题的元素。

换句话说,它领悟的并不只是简单的“画风”,更是一整套设计框架和组织方式。

在真正的内容生产中,从头做图只占一部分时间;更多时候,折磨人的其实是改稿。

比如下面这组博物馆文创的案例:


输入图和输出图,主题其实都是博物馆文创开发流程。

整张图的大框架没有变。左侧仍然是竖排标题,中间依旧是巨大的“MUSE”字样,右侧还是从“研究与挖掘”到“反馈与迭代”的六步流程,底部的价值模块和整体米色、浅棕色的调性,也都还在。

但它改动的,是画面里最核心的主视觉。这个案例挺像真实工作流里常见的改法。

文案不一定大改,结构也不一定重做,但客户会告诉你,主题方向变了,主视觉要换,气质要跟着调整,原来的信息框架尽量保留。这时候,难点已经不只是“生成一张图”,而是在同一套版式里,重新组织新的视觉主体。

从这个结果来看,U1.5-Lite-Preview已经开始具备这种能力了。它不是简单地把一件新文物塞进去,而是在保留原有流程信息图框架的前提下,把新的核心元素重新放进整张设计语言里。

我们再来看一个更刁钻的,把有设计感且复杂的“迎”字,改成“命”字:


最后的结果里,原有船体继续充当“命”字的最后一竖,周围浪花则重新组织出其余笔画。而新字依然像是从海面里自然生长出来的,没有变成一层生硬贴上去的平面字体。

除了在一张图上修修改改,U1.5-Lite-Preview还可以同时读取多张参考图。

比如下面这个韩式双拼炸鸡案例:


这次输入的图片有两张,一张参考图负责提供手绘食谱的版式和画风,另一张真实照片负责提供食物内容。

按照要求设计后,输出的图片是这样的:


U1.5-Lite-Preview把照片中的原味炸鸡、甜辣炸鸡和可乐,重新画进了米色网格笔记本里;左侧黑色螺旋装订、手写标题、卡通小猪,以及下方两行三列的烹饪步骤也一并补齐。

最后做出来的,已经是一张能够直接用于社交媒体传播的手绘食谱。真实照片与插画模板之间,没有出现明显的风格割裂。

类似的能力若是落到办公场景里,U1.5-Lite-Preview还可以把一张普通人物照片,直接变成一份单栏简历。


从结果来看,人物头像被放在顶部,原图里的三角梅继续作为封面主视觉。玫粉与米白配色顺着花丛延展开来,姓名、职位、联系方式、工作经历和技能条依次排开。

至于我们刚才提到的指哪改哪,红框和marker都能派上用场。

最简单的情况下,你可以圈出下面这张信息图里的“35+MIN”,让模型将它改成“25MIN”,同时保持原有字体、字号和排版,并在完成后把用于定位的红框一起移除。


对于复杂一点的要求,则甚至可以直接对画面氛围动手。


原图是一艘帆船驶过金色满月的暖色场景。我们只需要在图上留下marker和修改要求,U1.5-Lite-Preview便会把满月替换成深红色血月,在水面增加一层浓雾,再将天空、湖面与帆船的光线全部调整为暗调夜景。

虽然月亮、雾气和整体光影都变了,但帆船、船上人物与背景树林仍然留在原来的位置。

这一大一小两种修改,刚好对应了编辑场景中的两类需求。

前者追求精准,最好只动几个字符;后者需要模型重新处理色调、光线和空间关系,还得尽量守住画面里的主体。

看到这里,U1.5-Lite-Preview展现出的不只是会画图这么简单。

它已经开始理解一张图里的主体、版式、风格和空间关系,也开始知道用户想动哪里、哪些地方最好别碰。

怎么做到的?

这些看起来各不相同的能力,其实都顺着同一条技术路线长了出来。

SenseNova U系列采用的是NEO-Unify原生统一多模态架构,在同一个模型里,语言、视觉语义与像素生成被放在一起建模。

于是,从读懂指令、分析参考图,到判断该怎么改、最后生成像素,可以在同一套架构中完成。

这套设计放到图像编辑里尤其关键。

比如把“迎”改成“命”,模型先要理解文字造型是由船和浪花共同组成的,接着找到需要重构的区域,再判断飞鸟、海面和上下方文字应该留下。

血月案例也一样。月亮、雾气和光照需要整体变化,帆船与人物的主体结构则要尽量稳定。

一边动手,一边判断哪里不能乱动,这才有了持续编辑的基础。

为了把分辨率进一步推到4K,商汤还重新设计了生成头,减弱视觉Token网格对最终画面的影响,并把训练扩展到4K分辨率。

这样一来,画面放大以后,纹理、材质和光影更经得起看,常见的网格感、拼接痕迹与纹理断裂也会随之减少。

长Prompt的控制能力,则由Prompt Enhance进一步增强。

日常生图用一句自然语言就能开干。到了海报、信息图和品牌视觉这类复杂任务,用户可以把布局、风格、文字、比例和禁止项逐层写清楚,让模型尽可能同时接住。

所以,长Prompt在这里并不会刻意增加使用门槛,它提供的是更高的创作控制上限。

再从评测榜单角度来看,相较上一代U1,U1.5-Lite-Preview在Qwen-Image-Bench上的成绩从47.14提升至55.20,这里对应的是with Prompt Enhance条件。作为一个轻量级开源模型,表现相当优秀。

与此同时,ImgEdit-Bench从3.90升至4.37;GEdit-Bench英文项从7.47升至8.17,中文项也从7.42升至8.05。在技术宣发展示的WeEdit榜单中,U1.5-Lite-Preview的Overall Average则达到了6.44。



有点接近一套视觉工作台了

再回头看这次升级,4K确实亮眼,却很难独自撑起一套生产流程。

真实的视觉工作,往往从第一版出图之后才开始。

例如标题换一句、产品挪一下、人物得保留、整体光线再暗一点、客户临时又要补个元素……

过去我们遇到这些修改,要么重新生成碰运气,要么回到专业软件里继续处理。

但当模型能够理解眼前这张图,并顺着用户的反馈一轮轮往下改,AI生图才开始真正靠近内容生产和设计工作流。

而统一多模态架构的价值,也在这个过程中变得更容易感知。

视觉理解、推理、生成和编辑不再分别躺在技术说明里,它们最终落成了看懂参考图、保住人物、换掉标题、重排版式和局部修改这些具体动作。

当然,U1.5-Lite-Preview依然只是一个早期预览版本。短Prompt理解、小字与人像细节、整体美学一致性,以及复杂场景编辑的稳定程度,都还有继续提升的空间。

据了解,U1.5的正式版很快就会开源;届时,这些问题应当都会得到很好的解决。现在,商汤把轻量版面向社区开源,也意味着这些能力和问题,都将更早进入开发者与创作者的真实工作流里接受检验。

总而言之,若是说4K决定了一张图能放多大,那么AI的理解和编辑能力,则决定它能走多远。

开源地址:

GitHub:

https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md

Hugging Face:

https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview

魔搭社区:

https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT-Preview

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
江同志的年轻岁月

江同志的年轻岁月

温伯陵的烟火人间
2026-08-03 21:06:18
持股极少的蔡崇信,凭什么永久掌控阿里?

持股极少的蔡崇信,凭什么永久掌控阿里?

小陆搞笑日常
2026-08-02 10:34:51
杨幂剧组减脂餐全素无荤无主食,常年维持 86 斤体重,极端吃法不适合普通人照搬

杨幂剧组减脂餐全素无荤无主食,常年维持 86 斤体重,极端吃法不适合普通人照搬

迪迪的娱乐故事
2026-08-03 09:11:16
55岁"潘金莲"王思懿逛菜市,身材发福,昔日旧照被扒:网友:一条蟒蛇缠着一头黑熊

55岁"潘金莲"王思懿逛菜市,身材发福,昔日旧照被扒:网友:一条蟒蛇缠着一头黑熊

她时尚丫
2026-07-31 16:13:40
外媒关注中国重型预警机试飞:中美预警机的技术代差有多大?

外媒关注中国重型预警机试飞:中美预警机的技术代差有多大?

悦心知足
2026-08-02 07:49:21
加拿大环球小姐选手自曝:隐瞒怀孕参赛,只因不想被当成“怀孕选手”

加拿大环球小姐选手自曝:隐瞒怀孕参赛,只因不想被当成“怀孕选手”

影视情报室
2026-08-03 11:03:14
“天塌了...”抗生素超标5倍,还检出禁用兽药!不少浙江人饭桌上很常见!当地市监局:已封存并抽样送检

“天塌了...”抗生素超标5倍,还检出禁用兽药!不少浙江人饭桌上很常见!当地市监局:已封存并抽样送检

浙江之声
2026-08-03 22:14:30
一只竹知了到底刺痛了谁?一场关于中国舆情的军备竞赛

一只竹知了到底刺痛了谁?一场关于中国舆情的军备竞赛

江平舟
2026-08-03 18:30:04
9年前,我国投资6700亿建设雄安,面积约三个纽约市,如今怎样?

9年前,我国投资6700亿建设雄安,面积约三个纽约市,如今怎样?

抽象派大师
2026-08-01 00:33:24
97分钟压哨绝杀!U17国足爆冷,3-2掀翻阿森纳,产生2个不可思议

97分钟压哨绝杀!U17国足爆冷,3-2掀翻阿森纳,产生2个不可思议

侃球熊弟
2026-08-03 21:38:40
交易就是你和全世界的战争

交易就是你和全世界的战争

凯恩斯财经
2026-08-02 10:45:53
河南三支一扶作弊风波,三大追问等待答案!网友:在古代,就是杀头的罪

河南三支一扶作弊风波,三大追问等待答案!网友:在古代,就是杀头的罪

火山詩话
2026-08-03 08:22:17
海莉·比伯度假比基尼照曝光:淡紫细绳泳衣太火辣,贾斯汀甜蜜同行

海莉·比伯度假比基尼照曝光:淡紫细绳泳衣太火辣,贾斯汀甜蜜同行

热搜摘要官
2026-08-03 23:35:10
20岁俄罗斯教练:北京很美!消费比莫斯科低 但普通人不会说英语

20岁俄罗斯教练:北京很美!消费比莫斯科低 但普通人不会说英语

念洲
2026-08-03 13:28:50
伊劳拉首败!维尔茨破门难救主,利物浦半场崩盘,2-4不敌利兹联

伊劳拉首败!维尔茨破门难救主,利物浦半场崩盘,2-4不敌利兹联

钉钉陌上花开
2026-08-03 06:10:52
上亿身家一夜归零

上亿身家一夜归零

梳子姐
2026-08-01 20:55:28
沙特宣布:与科威特、巴林、卡塔尔、巴基斯坦、土耳其、埃及、约旦等13国组建联盟

沙特宣布:与科威特、巴林、卡塔尔、巴基斯坦、土耳其、埃及、约旦等13国组建联盟

每日经济新闻
2026-07-31 17:37:06
“免疫力强”的人,一般有十个特征,若能达到七个,很不错!

“免疫力强”的人,一般有十个特征,若能达到七个,很不错!

叙说医疗健康
2026-08-03 05:00:15
小米造神的传说,彻底失灵了

小米造神的传说,彻底失灵了

新车评网
2026-08-02 20:33:03
主导对乌轰炸,俄罗斯空天军总司令疑在莫斯科最贵餐厅被炸身亡!

主导对乌轰炸,俄罗斯空天军总司令疑在莫斯科最贵餐厅被炸身亡!

影孖看世界
2026-08-02 23:49:17
2026-08-04 00:43:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4301943文章数 9137关注度
往期回顾 全部

科技要闻

“像魔法一样”的AI,只卖几分钱

头条要闻

银鹭与男子因兑奖发生纠纷后 转账1万元并附言"敲诈"

头条要闻

银鹭与男子因兑奖发生纠纷后 转账1万元并附言"敲诈"

体育要闻

马克龙介入FIFA危机 致电因凡蒂诺勿搞分裂

娱乐要闻

陈璇半蹲采访诺兰惹争议

财经要闻

美日联手,救得了日元吗?

汽车要闻

方程S系列将于成都车展发布内饰 9月上旬新车上市即交付

态度原创

本地
房产
旅游
数码
公开课

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

房产要闻

120亿注册资本,新巨头出现!崖州湾,真的要爆发了!

旅游要闻

8月3日最佳情报|七星台柑橘凤蝶舞荆花,市民趵突泉赏泉寻清凉

数码要闻

999元 米家无线洗地机5C开售:60℃高温烘干 滚刷干爽无异味

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版