网易首页 > 网易号 > 正文 申请入驻

这个新生图模型有点夯:4K直出的,国产的,开源的!

0
分享至

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

刚刚,新出的一个生图模型,着实是有点东西在身上的:

国产的,4K直出的,开源的,轻量的,还是可以指哪儿改哪儿的。

例如下面这张信息密度超高的图片,就是它做出来的:



我们从结果可以看到,即便是把图片放大了来看 ,不论是文字、图片元素,都是细节拉满的状态。

再如这组充满艺术感的视觉大片,这个AI也是不在话下:



那这是何许AI是也?

它,便是商汤刚刚面向社区开源的SenseNova U1.5-Lite-Preview

这是一个轻量级原生统一多模态模型的早期预览版本。它延续了商汤自研的NEO-Unify架构,把语言、视觉语义和像素生成放进同一套模型里,覆盖视觉理解、推理、生成与编辑。

不过有一说一,原生4K直出,还仅仅是它的亮点之一。

在仅有8B-MoT参数的轻量身形之下,U1.5-Lite-Preview做到了:

  • 复杂Prompt能接住:支持长篇、多约束、层次化和结构化视觉指令;
  • 文字和版式更能打:面向海报、信息图、品牌视觉等高信息密度内容;
  • 生成后还能继续改:支持参考图、多图组合、局部文字编辑,以及红框、坐标和marker精准编辑。

毕竟在真实创作中,“会画图”只是第一步,真正决定它能不能进入创作流程的,还得看复杂任务和编辑能力。

那U1.5-Lite-Preview这个8B-MoT小模型创作起来有多方便?我们继续往下看~

能Hold住复杂创作和编辑才是重点

先来看一张信息密度相当的图片。



这张图的主题是银盐摄影。

画面正中央,是一台被拆解开的复古相机。镜头、快门、胶片仓、卷片轴、取景器等结构,被一层层摊开来讲清楚;一束橙色光线从镜头前方打进来,顺着成像路径一路穿过去,整张图的视觉中心也因此一下子立住了。

这种图最难的地方,其实并不在于“画一台相机”本身。真正难的是,模型得同时把时间线、知识模块、结构拆解、流程说明和视觉层级都组织进同一张图里,还得让人一眼看过去,知道哪里是主干、哪里是补充,哪里是说明,哪里是结论。

从最后出来的效果看,U1.5-Lite-Preview在这种高信息密度的信息图任务上,已经能把内容和版式一起接住了。黑白蚀刻风格很统一,主视觉够醒目,细节也足够丰富,整张图读起来并不乱,反而有种“越看越有东西”的感觉。

如果说上一张图考验的是“从零做一张复杂信息图”,那接下来这组,更像是在考模型有没有复刻一张图的逻辑,再重新输出的能力。



输入图的主题,是一张名为Modern Pop Culture Film & TV Milestone Journey的信息图。

它把几部流行影视作品串在一条弯曲的路径上,节点、卡片、插画和标题都带着比较统一的手绘水彩风格。整张图看上去像一张轻松、亲切的文化主题路线图。

而到了输出图,主题换成了The Journey of Postal Mail,也就是“邮政邮件的旅程”。

但你再仔细看,会发现它并没有推倒重来。

原来那条弯弯曲曲的路径还在,节点式的节奏也还在,左中右的版式关系也保留了下来。只不过,原先围绕电影和剧集展开的内容,被整体替换成了“投递、分拣、运输、派送”这四个环节。洗衣店、剧集卡片、电影海报式的小模块,被换成了邮筒、分拣中心、运输车、邮差上门这些更贴合新主题的元素。

换句话说,它领悟的并不只是简单的“画风”,更是一整套设计框架和组织方式。

真正的内容生产中,从头做图只占一部分时间;更多时候,折磨人的其实是改稿

比如下面这组博物馆文创的案例:



输入图和输出图,主题其实都是博物馆文创开发流程。

整张图的大框架没有变。左侧仍然是竖排标题,中间依旧是巨大的“MUSE”字样,右侧还是从“研究与挖掘”到“反馈与迭代”的六步流程,底部的价值模块和整体米色、浅棕色的调性,也都还在。

但它改动的,是画面里最核心的主视觉。这个案例挺像真实工作流里常见的改法。

文案不一定大改,结构也不一定重做,但客户会告诉你,主题方向变了,主视觉要换,气质要跟着调整,原来的信息框架尽量保留。这时候,难点已经不只是“生成一张图”,而是在同一套版式里,重新组织新的视觉主体。

从这个结果来看,U1.5-Lite-Preview已经开始具备这种能力了。它不是简单地把一件新文物塞进去,而是在保留原有流程信息图框架的前提下,把新的核心元素重新放进整张设计语言里。

我们再来看一个更刁钻的,把有设计感且复杂的“迎”字,改成“命”字:



最后的结果里,原有船体继续充当“命”字的最后一竖,周围浪花则重新组织出其余笔画。而新字依然像是从海面里自然生长出来的,没有变成一层生硬贴上去的平面字体。

除了在一张图上修修改改,U1.5-Lite-Preview还可以同时读取多张参考图

比如下面这个韩式双拼炸鸡案例:



这次输入的图片有两张,一张参考图负责提供手绘食谱的版式和画风,另一张真实照片负责提供食物内容。

按照要求设计后,输出的图片是这样的:



U1.5-Lite-Preview把照片中的原味炸鸡、甜辣炸鸡和可乐,重新画进了米色网格笔记本里;左侧黑色螺旋装订、手写标题、卡通小猪,以及下方两行三列的烹饪步骤也一并补齐。

最后做出来的,已经是一张能够直接用于社交媒体传播的手绘食谱。真实照片与插画模板之间,没有出现明显的风格割裂。

类似的能力若是落到办公场景里,U1.5-Lite-Preview还可以把一张普通人物照片,直接变成一份单栏简历。



从结果来看,人物头像被放在顶部,原图里的三角梅继续作为封面主视觉。玫粉与米白配色顺着花丛延展开来,姓名、职位、联系方式、工作经历和技能条依次排开。

至于我们刚才提到的指哪改哪,红框和marker都能派上用场。

最简单的情况下,你可以圈出下面这张信息图里的“35+MIN”,让模型将它改成“25MIN”,同时保持原有字体、字号和排版,并在完成后把用于定位的红框一起移除。



对于复杂一点的要求,则甚至可以直接对画面氛围动手。



原图是一艘帆船驶过金色满月的暖色场景。我们只需要在图上留下marker和修改要求,U1.5-Lite-Preview便会把满月替换成深红色血月,在水面增加一层浓雾,再将天空、湖面与帆船的光线全部调整为暗调夜景。

虽然月亮、雾气和整体光影都变了,但帆船、船上人物与背景树林仍然留在原来的位置。

这一大一小两种修改,刚好对应了编辑场景中的两类需求。

前者追求精准,最好只动几个字符;后者需要模型重新处理色调、光线和空间关系,还得尽量守住画面里的主体。

看到这里,U1.5-Lite-Preview展现出的不只是会画图这么简单。

它已经开始理解一张图里的主体、版式、风格和空间关系,也开始知道用户想动哪里、哪些地方最好别碰。

怎么做到的?

这些看起来各不相同的能力,其实都顺着同一条技术路线长了出来。

SenseNova U系列采用的是NEO-Unify原生统一多模态架构,在同一个模型里,语言、视觉语义与像素生成被放在一起建模。

于是,从读懂指令、分析参考图,到判断该怎么改、最后生成像素,可以在同一套架构中完成。

这套设计放到图像编辑里尤其关键。

比如把“迎”改成“命”,模型先要理解文字造型是由船和浪花共同组成的,接着找到需要重构的区域,再判断飞鸟、海面和上下方文字应该留下。

血月案例也一样。月亮、雾气和光照需要整体变化,帆船与人物的主体结构则要尽量稳定。

一边动手,一边判断哪里不能乱动,这才有了持续编辑的基础。

为了把分辨率进一步推到4K,商汤还重新设计了生成头,减弱视觉Token网格对最终画面的影响,并把训练扩展到4K分辨率。

这样一来,画面放大以后,纹理、材质和光影更经得起看,常见的网格感、拼接痕迹与纹理断裂也会随之减少。

长Prompt的控制能力,则由Prompt Enhance进一步增强。

日常生图用一句自然语言就能开干。到了海报、信息图和品牌视觉这类复杂任务,用户可以把布局、风格、文字、比例和禁止项逐层写清楚,让模型尽可能同时接住。

所以,长Prompt在这里并不会刻意增加使用门槛,它提供的是更高的创作控制上限。

再从评测榜单角度来看,相较上一代U1,U1.5-Lite-Preview在Qwen-Image-Bench上的成绩从47.14提升至55.20,这里对应的是with Prompt Enhance条件。作为一个轻量级开源模型,表现相当优秀。

与此同时,ImgEdit-Bench从3.90升至4.37;GEdit-Bench英文项从7.47升至8.17,中文项也从7.42升至8.05。在技术宣发展示的WeEdit榜单中,U1.5-Lite-Preview的Overall Average则达到了6.44。





有点接近一套视觉工作台了

再回头看这次升级,4K确实亮眼,却很难独自撑起一套生产流程。

真实的视觉工作,往往从第一版出图之后才开始。

例如标题换一句、产品挪一下、人物得保留、整体光线再暗一点、客户临时又要补个元素……

过去我们遇到这些修改,要么重新生成碰运气,要么回到专业软件里继续处理。

但当模型能够理解眼前这张图,并顺着用户的反馈一轮轮往下改,AI生图才开始真正靠近内容生产和设计工作流。

而统一多模态架构的价值,也在这个过程中变得更容易感知。

视觉理解、推理、生成和编辑不再分别躺在技术说明里,它们最终落成了看懂参考图、保住人物、换掉标题、重排版式和局部修改这些具体动作。

当然,U1.5-Lite-Preview依然只是一个早期预览版本。短Prompt理解、小字与人像细节、整体美学一致性,以及复杂场景编辑的稳定程度,都还有继续提升的空间。

据了解,U1.5的正式版很快就会开源;届时,这些问题应当都会得到很好的解决。现在,商汤把轻量版面向社区开源,也意味着这些能力和问题,都将更早进入开发者与创作者的真实工作流里接受检验。

总而言之,若是说4K决定了一张图能放多大,那么AI的理解和编辑能力,则决定它能走多远。

开源地址:
GitHub:
https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md
Hugging Face:
https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview
魔搭社区:
https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT-Preview

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么很多女人说自己不需要性生活?

为什么很多女人说自己不需要性生活?

那年秋天
2026-08-03 11:30:25
中美俄意见一致,宁可让日本从地球上消失,也坚决不允许它拥核!

中美俄意见一致,宁可让日本从地球上消失,也坚决不允许它拥核!

兵鉴史
2026-07-21 18:43:52
网友爆料:男生打三份工每天睡4小时负债13万,女友被救活后跑路,评论区太扎心了!

网友爆料:男生打三份工每天睡4小时负债13万,女友被救活后跑路,评论区太扎心了!

眼光很亮
2026-08-03 15:32:34
赵露思真不拿网友当外人,穿比基尼又唱又跳,舞台上直接脱掉裙子

赵露思真不拿网友当外人,穿比基尼又唱又跳,舞台上直接脱掉裙子

无处不风景love
2026-07-13 11:24:03
出事了!法国朝英国开火,伊朗斩首美军官,俄导弹洗地基辅!

出事了!法国朝英国开火,伊朗斩首美军官,俄导弹洗地基辅!

泪满过眼
2026-08-02 12:05:53
原来保护血管这么简单?医生直言:做好6事,保护血管"没毛病"

原来保护血管这么简单?医生直言:做好6事,保护血管"没毛病"

看世界的人
2026-08-03 22:47:35
泽连斯基特别点名!被击沉的10万吨级集装箱船,属于俄罗斯国家原子能公司

泽连斯基特别点名!被击沉的10万吨级集装箱船,属于俄罗斯国家原子能公司

鹰眼Defence
2026-08-03 15:31:45
南韩:超三成来自朝鲜核设施地区的脱北人员染色体异常

南韩:超三成来自朝鲜核设施地区的脱北人员染色体异常

凡人学电脑
2026-08-03 23:03:41
现在才知道,为什么发达国家宁可“自废武功”,也要去工业化?

现在才知道,为什么发达国家宁可“自废武功”,也要去工业化?

近史谈
2026-08-03 17:45:01
1961年,贺龙视察南京军区,见到许世友大怒:你个“和尚”不老实

1961年,贺龙视察南京军区,见到许世友大怒:你个“和尚”不老实

浩渺青史
2026-07-13 18:55:20
湖人队前中锋安东尼·戴维斯,否认前教练对勒布朗·詹姆斯的指控

湖人队前中锋安东尼·戴维斯,否认前教练对勒布朗·詹姆斯的指控

好火子
2026-08-04 04:50:56
竹知了因华为投诉突然火了,魅族前高管:懂得自嘲,才是品牌自信

竹知了因华为投诉突然火了,魅族前高管:懂得自嘲,才是品牌自信

王新喜
2026-08-03 20:19:50
伯纳乌的夏日拉锯战:维尼修斯的3000万欧执念与皇马的底线博弈

伯纳乌的夏日拉锯战:维尼修斯的3000万欧执念与皇马的底线博弈

智道足球
2026-08-04 08:10:26
10岁黑人改年龄?前国脚:早就看出有问题 中国个别落后地区也有

10岁黑人改年龄?前国脚:早就看出有问题 中国个别落后地区也有

念洲
2026-08-04 08:11:49
问题严重了,菲律宾闹到联合国,中方还没出手,东盟两国先出手了

问题严重了,菲律宾闹到联合国,中方还没出手,东盟两国先出手了

小小科普员
2026-08-02 23:01:05
郑丽文、卢秀燕对日巨额捐款惹怒大陆网友?侯友宜回应了,不简单

郑丽文、卢秀燕对日巨额捐款惹怒大陆网友?侯友宜回应了,不简单

小陆搞笑日常
2026-08-03 01:49:28
又有三家车企被查,网友:搬个小板凳静等检验结果!

又有三家车企被查,网友:搬个小板凳静等检验结果!

车知事
2026-08-02 13:24:29
彻底沦陷!西方做梦也没想到,印度疯狂输出人口,竟把欧美害惨了

彻底沦陷!西方做梦也没想到,印度疯狂输出人口,竟把欧美害惨了

让心灵得以栖息
2026-08-03 19:55:58
中央5台直播乒乓时间表:8月4日CCTV5+直播国乒!陈幸同打头阵

中央5台直播乒乓时间表:8月4日CCTV5+直播国乒!陈幸同打头阵

胡一舸南游y
2026-08-03 18:28:16
1973年,广西舞蹈演员自称毛泽东的女儿,主席得知后:我想见见她

1973年,广西舞蹈演员自称毛泽东的女儿,主席得知后:我想见见她

微野谈写作
2026-07-25 10:55:09
2026-08-04 09:00:50
量子位 incentive-icons
量子位
追踪人工智能动态
13077文章数 176526关注度
往期回顾 全部

科技要闻

存储芯片超级周期走到十字路口?

头条要闻

牛弹琴:就差那么一点 世界又上演一场凶险的交叉战争

头条要闻

牛弹琴:就差那么一点 世界又上演一场凶险的交叉战争

体育要闻

马克龙介入FIFA危机 致电因凡蒂诺勿搞分裂

娱乐要闻

陈璇半蹲采访诺兰惹争议

财经要闻

存储芯片超级周期走到十字路口?

汽车要闻

方程S系列将于成都车展发布内饰 9月上旬新车上市即交付

态度原创

本地
健康
数码
教育
公开课

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

干细胞和衰老有什么联系?

数码要闻

三星发声明:将封禁可共享用户网络的智能电视应用

教育要闻

两个考生分数都够北大!一人被动错失,一人主动选择放弃,背后发生了什么事?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版