网易首页 > 网易号 > 正文 申请入驻

黑马图像模型被Nano Banana技术负责人点赞!

0
分享至

来源:市场资讯

(来源:量子位)

图像界又杀出一匹黑马!

刚刚,Luma AI甩出全新模型Uni-1,正面对标谷歌Nano Banana Pro和GPT Image 1.5。


Uni-1是一个统一的图像理解与生成模型。

在官方展示中,Uni-1具备角色姿态迁移、故事板生成、草稿+材质结合参考生成、草稿转漫画、多参考图场景合成、草稿引导的照片编辑、UV贴图生成、带有文字的贺卡海报生成等诸多能力。


在多项权威任务评测中,Uni-1不仅能对标Nano Banana Pro、GPT Image 1.5,部分任务的表现更是达到世界领先水平。

例如下面这个案例,Uni-1精准拿捏细节,在风格一致性、元素融合度和细节还原上更胜一筹。


更令人意外的是,能实现如此惊艳效果的Uni-1,背后并非大厂重兵投入,而是一支不到15人的华人研究团队。

Uni-1发布后评论一片叫好,甚至引来谷歌DeepMind首席科学家、Nano Banana项目技术负责人Oliver Wang点赞:


英伟达机器人主管Jim Fan也送上了祝福:


Uni-1效果到底有多炸?话不多说,来看更多图。

马年新春贺卡

先来一个简单的测试:

生成一张马年新春贺卡,要包含“新春快乐”、“马年大吉·万事如意”、“马年 二〇二六”等中文文字。


Uni-1生成的贺卡文字内容完整、排版合理,马的形象和中国传统剪纸风格高度一致。相比之下,GPT Image 1.5出现了文字混乱,Nano Banana Pro的文字渲染也有明显瑕疵。

中文文字渲染一直是图像生成模型的“照妖镜”——Uni-1交出了一份相当能打的答卷。

多参考图场景合成

给模型5张参考图——两只猫、两位男士、Luma AI的logo——要求合成一个会议场景:

一只猫展示Luma AI幻灯片,另一只猫旁听,同时融入真人照片和logo。


Uni-1精确还原了每张参考图的身份特征——猫的毛色花纹、男士的五官和发型、logo的细节——并将它们合理地组织进了同一个场景。

GPT Image 1.5则把参考图片直接“贴”到了幻灯片上,而Nano Banana Pro连基本的参考图融合都没做到。

信息图提取

给模型一张地铁站实拍的“THE BEES NEED YOU”公益海报,要求提取为可直接用于生产的信息图——生成完整图片,不带占位框,准确还原信息图中所有可见文字。


这个任务同时考验“看”和“画”两种能力:

先要理解实拍海报里的全部信息层级,再要重新生成一张排版清晰的信息图。

Uni-1准确还原了完整的海报布局、所有文字、正确配色,以及黑色草地剪影和正确的纵横比。GPT Image 1.5部分文字颜色错误,底部文字全部缺失,野花种子和蜜蜂的logo也出了问题。Nano Banana Pro整体布局尚可,但底部文字同样缺失。

草稿转漫画

再来看生成能力——把一张粗糙的草稿(猫站在书架上,旁边有人说”Hey! Get down from there!”)转化为专业级漫画。


Uni-1完美地将草稿意图转化为专业漫画:分格构图、对话气泡的位置和方向都精准还原,所有细节完整保留——猫耳朵、翘起的尾巴、卷烟缸、书架上的书,甚至手机屏幕显示着911。

钢琴前的一生:6帧故事板

下面可能是最能体现Uni-1实力的demo之一。

要求:生成6帧故事板,展示同一个角色从童年到老年在钢琴前的一生。一个人从男孩到少年、到青年、到中年、到老年,最后变成一家人在台上的大合照。


6帧画面中角色身份保持一致——同一张脸,钢琴、透视和画风不变,仅人物形象和背景随时间变化。这种跨帧的角色一致性和时间叙事能力,是当前图像模型的核心难题之一。

UV贴图生成

给模型一个人从不同角度拍摄的三张照片(正面、左侧、右侧),要求生成一张标准面部拓扑的展开UV贴图。


UV贴图是3D建模中的核心环节,对面部对齐、左右对称和肤色一致性要求极高。

Uni-1生成的UV贴图在这三个维度上都明显优于GPT Image 1.5、Nano Banana Pro:

GPT Image 1.5的正脸和侧面贴图出现了不一致,Nano Banana Pro则完全没能生成符合标准UV布局规范的结果。

能搞定这种专业级3D任务,说明Uni-1不只是“画图好看”,而是真正具备了对三维空间结构的深层理解。

看完效果,你可能会好奇:这些通常只在大厂才能看到的结果,到底是怎么从一个不到15人的团队手里做出来的?

答案或许就藏在这支团队的两位研究负责人身上。

宋佳铭,清华大学本科,斯坦福大学博士。

他最广为人知的贡献是发明了DDIM(Denoising Diffusion Implicit Models)。如果你用过任何基于扩散模型的图像生成工具,从Stable Diffusion到DALL·E,背后几乎都离不开DDIM带来的采样加速技术。

这篇论文至今被引用超过万次,并获得ICLR 2022 Outstanding Paper Award。


沈博魁,斯坦福大学本科及博士。

他的代表作获得了CVPR 2018 Best Paper Award——CVPR是计算机视觉领域的顶级会议,每年仅有极少数论文能获此殊荣。此外,他还入选了RSS 2022 Best Student Paper Finalist。


一位是扩散模型加速的奠基人,一位是计算机视觉的顶尖研究者——两位华人学者联手,带领一支精锐小队,选择了一条和大厂截然不同的路线:

不是把理解和生成分开做,而是用一个统一的模型把两件事一起搞定。

Uni-1的核心理念,用Luma自己的话说,就是“给逻辑大脑长出心灵之眼”。

传统路线下,图像理解(看图说话、物体检测)和图像生成(文生图、图像编辑)是两套独立的系统。但Uni-1采用了一种decoder-only自回归Transformer架构,将文本和图像表示在同一个交错序列中——既是输入,也是输出。

这意味着,Uni-1不需要分别训练“理解模块”和“生成模块”,而是在一个统一框架内同时建模时间、空间和逻辑。

更有意思的是,Luma发现生成训练能显著提升理解能力。换句话说,当模型学会“画画”之后,它“看图”的能力也变强了——这和人类的认知规律竟然高度一致。

在推理式生成任务中,Uni-1会在合成图像前进行结构化的内部推理:先分解指令、规划构图,然后再渲染输出

这种“先想后画”的能力,让它在RISEBench(评估时间推理、因果推理、空间推理和逻辑推理四个维度的基准测试)上取得了世界最优成绩


在开放词汇密集检测(ODinW-13)基准上,Uni-1同样展现出了强劲的竞争力——要知道,这是一个传统上由纯理解模型主导的领域。一个统一模型能在理解任务上也不输专门的理解模型,本身就已经是一个重要的信号。

把Uni-1放到更大的AI行业图景中看,有两件事值得关注:

第一,统一模型可能是下一代视觉AI的方向。

当理解和生成不再是两个独立系统,而是同一个模型的两面,很多过去需要复杂pipeline的任务——多轮编辑、参考图合成、风格迁移——都可以在一个模型内优雅地完成。Uni-1已经在这些任务上展示了这种优势。

第二,顶尖AI研究不一定需要万人团队和无限算力。

不到15人的华人研究团队,在一个被Google和OpenAI主导的赛道上做出了世界级的成果。这再次证明:在正确的技术路线上,优秀的人才密度可以弥补资源的差距。

Luma表示,Uni-1只是第一步。下一阶段,这个统一框架将从静态图像扩展到视频、语音、交互式世界模拟——最终目标是构建能够“看、说、推理、想象”的统一多模态系统。

从一个不到15人的华人团队开始,这个目标或许并不遥远。

Luma AI官方博客:https://lumalabs.ai/uni-1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
5100万引进1900万贱卖!拜仁铁腰黯然离队,落叶归根的无奈与温情

5100万引进1900万贱卖!拜仁铁腰黯然离队,落叶归根的无奈与温情

智道足球
2026-08-26 20:03:05
65岁宋丹丹被曝做财产公证,坐拥12亿资产,每月给儿孙80万生活费,却没给现任丈夫赵玉吉留一分。

65岁宋丹丹被曝做财产公证,坐拥12亿资产,每月给儿孙80万生活费,却没给现任丈夫赵玉吉留一分。

背包旅行
2026-08-26 15:33:59
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
想买歼-10CE!“注意到中国战机出色表现”

想买歼-10CE!“注意到中国战机出色表现”

环球时报国际
2026-08-26 17:18:39
西藏吉隆县遭受泥石流灾害,造成重大人员伤亡、失联;亲历游客:突然听到山体被撕裂的轰鸣声,泥浆夹杂树木和铁皮,流速很快

西藏吉隆县遭受泥石流灾害,造成重大人员伤亡、失联;亲历游客:突然听到山体被撕裂的轰鸣声,泥浆夹杂树木和铁皮,流速很快

极目新闻
2026-08-26 20:05:36
A股:紧急提醒2.5亿股民!从今天8月26日起,A股或将再次历史重演吗?

A股:紧急提醒2.5亿股民!从今天8月26日起,A股或将再次历史重演吗?

趋势清风侠
2026-08-26 06:55:23
浙江省湖州市副市长、公安局局长张宏亮,拟提名为副省级城市副市长人选

浙江省湖州市副市长、公安局局长张宏亮,拟提名为副省级城市副市长人选

中国青年报
2026-08-26 17:00:15
发出"灭国"警告,金正恩做出一个重大表态!

发出"灭国"警告,金正恩做出一个重大表态!

扶苏聊历史
2026-08-24 15:03:57
难怪陆逊63岁暴亡,你不看他生前都做了啥?逼着孙权表态支持孙和

难怪陆逊63岁暴亡,你不看他生前都做了啥?逼着孙权表态支持孙和

史笔似尘钩
2026-08-26 17:54:35
NBA正式确定扩军!2028新增两支球队,超音速回归森林狼搬去东部

NBA正式确定扩军!2028新增两支球队,超音速回归森林狼搬去东部

冷峻视角下的世界
2026-08-26 00:59:12
血洗俄军!乌克兰8000架无人机蜂群扑向俄罗斯,改写现代战争规则

血洗俄军!乌克兰8000架无人机蜂群扑向俄罗斯,改写现代战争规则

民间胡扯老哥
2026-08-24 07:05:44
烟草系统拉响警报:再这样下去,中国烟草真要出大问题

烟草系统拉响警报:再这样下去,中国烟草真要出大问题

阿振观点
2026-08-25 05:56:32
央视直播美网资格赛时间表:8月26日,CCTV5直播郑钦文冲击第三轮

央视直播美网资格赛时间表:8月26日,CCTV5直播郑钦文冲击第三轮

薇说体育
2026-08-26 17:05:21
太心酸了!42岁著名女歌手江苏走穴,宾客只顾吃席没人搭理

太心酸了!42岁著名女歌手江苏走穴,宾客只顾吃席没人搭理

小徐讲八卦
2026-02-12 12:13:20
希拉里:华盛顿看到今天的美国,心脏病都要犯了

希拉里:华盛顿看到今天的美国,心脏病都要犯了

看看新闻Knews
2026-08-26 12:02:00
12.8亿卖掉总统,卖掉工厂,卖掉国家,两年后两发子弹穿胸而过

12.8亿卖掉总统,卖掉工厂,卖掉国家,两年后两发子弹穿胸而过

墨策讲历史
2026-08-21 19:27:44
重磅调规!长沙新增一所知名大学!

重磅调规!长沙新增一所知名大学!

林子说事
2026-08-26 07:28:30
苍天饶过谁!逃到海外3年,丁玉梅再迎坏消息,但她还有两根稻草

苍天饶过谁!逃到海外3年,丁玉梅再迎坏消息,但她还有两根稻草

北海史记
2026-08-26 12:45:21
全红婵近照变化太大了,熬过了最难的发育关,小姑娘彻底长开了,模样跟以前判若两人

全红婵近照变化太大了,熬过了最难的发育关,小姑娘彻底长开了,模样跟以前判若两人

In风尚
2026-08-22 06:04:58
英国公布的圆明园被毁前照片,美如仙境,引发世界关注

英国公布的圆明园被毁前照片,美如仙境,引发世界关注

贱议你读史
2026-05-23 15:23:34
2026-08-27 01:51:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4560072文章数 9361关注度
往期回顾 全部

科技要闻

DeepSeek被曝前七个月收入4.75亿元

头条要闻

尼泊尔山洪洪峰局地达8到10米 村民靠喝洪水等救援

头条要闻

尼泊尔山洪洪峰局地达8到10米 村民靠喝洪水等救援

体育要闻

兑现五年之约,含梗量最高的世界冠军诞生

娱乐要闻

包文婧当初担心包贝尔出轨,预言成真

财经要闻

洪灏:人民币是全球最被低估的货币

汽车要闻

搭华为ADS 5/增程纯电可选 阿尔法T7预售13.78万起

态度原创

亲子
教育
本地
数码
公开课

亲子要闻

预制娃,跑不动了…

教育要闻

13岁考入帝国理工,亚洲神童一家让英国人彻底凌乱

本地新闻

无印良品竟是桐乡造?这座小城藏着一个刀具帝国

数码要闻

苹果免费升级部分Mac mini订单至M6芯片新机

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版