网易首页 > 网易号 > 正文 申请入驻

Stable Diffusion 3突然发布!与Sora同架构,一切都更逼真了

0
分享至

  • 白交 丰色 发自 凹非寺
    量子位 | 公众号 QbitAI

Stable Diffusion 3,它终于来了!



足足酝酿一年之多,相比上一代一共进化了三大能力

来,直接上效果!

首先,是开挂的文字渲染能力

且看这黑板上的粉笔字:

Go Big or Go Home(不成功便成仁),这个倒是杀气腾腾啊~



路牌、公交灯牌的霓虹效果:



还有刺绣上“勾”得快要看到针脚的“晚安”:



作品一摆出,网友就大呼:太精确了



以至于有人表示:赶紧把中文也安排上啊



其次,多主题提示能力直接拉满。

什么意思?你尽管一次性往提示词中塞入n多“元素”,Stable Diffusion 3:漏一个算我输。

呐,仔细瞅下图,这里面就有“宇航员”、“穿着芭蕾舞裙的小猪”、“粉色雨伞”、“戴着礼帽的知更鸟”,角落里还有“Stable Diffusion”几个大字(可不是什么水印)。



有了这个能力,一幅作品你想多丰富就有多丰富。

最后,当属图像质量,再次进化了一个度。

光看前面这些图,就被冲击到有没有?!

而各种超清特写,那是再信手拈来不过的了。



心动吗?目前官方已开放排队名单,大伙可以前往官网申请。

咳咳,也不得不说,最近这AI圈可真是相当热闹啊。

有网友直呼,我的电脑已经Hold不住了……



Stable Diffusion 3来了!

全新的Stable Diffusion效果有多好,再给大伙奉送一些。

当然,所有出图均来自官方,比如StabilityAI媒体负责人:





不得不说,文字效果实在最为吸人眼球,各种形式都能呈现得相当清楚和“应景”。



而看到上面这幅图,不得不想到“Midjourney尴尬亮相学术界:为生物学论文乱配图”一事——有了SD3之后,我们是不是可以制作非常专业的学术配图了?

除了这些,SD3的“酒精水墨画”也相当别出心裁:



动漫风格:

again,你可以在上面加清晰的文字了。



由于目前需要排队申请,大伙还不好实际测试摸底。

不过有机智的网友已经用相同的提示词喂给了Midjourney(v 6.0)。

比如开头的那张“红苹果与黑板字”(prompt:cinematic photo of a red apple on a table in a classroom, on the blackboard are the words “go big or go home” written in chalk)

最终Midjourney给出的结果如下:





从这组对比来看,可以说是高下立判——SD3无论是文字拼写还是质量、色彩协调性等方面都更胜一筹。

技术方面,目前,模型可选择的参数范围在800M到8B。

详细的技术报告还未公布,官方目前只透露主要结合了扩散型transformer架构以及flow matching

前者实际上同Sora一样,附上的技术论文正是22年William Peebles同谢赛宁合写的DiT。



DiT首次将Transformer与扩散模型结合到了一起,相关论文被ICCV 2023录用为Oral论文。

在该研究中,研究者训练了潜在扩散模型,用对潜在 patch进行操作的 Transformer 替换常用的 U-Net 主干网络。他们通过以Gflops衡量的前向传递复杂度来分析扩散 Transformer (DiT) 的可扩展性。

而后者flow matching同样也是来自22年,由Meta AI以及魏茨曼科学研究所的科学家完成。



他们提出了基于连续归一化流(CNFs)的生成模型新范式,以及flow matching的概念,这是一种基于回归固定条件概率路径的矢量场的免模拟CNFs的方法。结果发现使用带有扩散路径的flow matching,可以训练出来的模型更稳健和稳定。

不过最近看了这么多视频生成进展,也有网友表示:



你觉得呢?

One More Thing

除此之外,也就在前一天,他们的视频产品Stable Video正式开放公测。

基于SVD1.1(Stable Video Diffusion 1.1),人人可用。

主要支持文生视频和图生视频两个功能。



参考链接:
[1]https://stability.ai/news/stable-diffusion-3
[2]https://arxiv.org/abs/2212.09748
[3]https://arxiv.org/abs/2210.02747
[4]https://twitter.com/pabloaumente/status/1760678508173660543

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
七国集团要求中国“二选一”:想跟西方关系好,就停止支持俄罗斯

七国集团要求中国“二选一”:想跟西方关系好,就停止支持俄罗斯

科普说娱乐
2024-04-20 17:23:12
暗黑女神明里紬:清纯容颜惊艳业界,转投新东家展现演技新高度!

暗黑女神明里紬:清纯容颜惊艳业界,转投新东家展现演技新高度!

零点娱评
2024-04-20 12:28:01
申请交易,指定加盟快船!生涯迎来十字路口,你已经彻底无路可退

申请交易,指定加盟快船!生涯迎来十字路口,你已经彻底无路可退

呆哥聊球
2024-04-19 21:56:02
常州楼市全军覆没,常州房价连跌,常州二手房从3.5万套增加4.5万

常州楼市全军覆没,常州房价连跌,常州二手房从3.5万套增加4.5万

有事问彭叔
2024-04-18 16:24:45
广东队不讲武德,决战广厦队前,再收两个好消息,杜锋招募胡金秋

广东队不讲武德,决战广厦队前,再收两个好消息,杜锋招募胡金秋

宗介说体育
2024-04-20 16:04:59
“人在发财前,必须要失去的3样东西”

“人在发财前,必须要失去的3样东西”

各种各样奇思妙想哈哈哈
2024-04-17 08:36:23
苏群: 为表达对热火体系和斯波教练的敬意 预计凯尔特人4-1热火

苏群: 为表达对热火体系和斯波教练的敬意 预计凯尔特人4-1热火

直播吧
2024-04-20 15:36:18
反制措施来得又快又狠,中国制裁美国通用公司,直接打中美方痛点

反制措施来得又快又狠,中国制裁美国通用公司,直接打中美方痛点

知鉴明史
2024-04-20 17:30:03
一天入账1万美元!贵州小伙把中国特产卖到美国,每天供不应求

一天入账1万美元!贵州小伙把中国特产卖到美国,每天供不应求

记录生活日常阿蜴
2024-04-19 12:10:12
事发在广东佛山一仓库,灭火队出动5车27人,现场一片狼藉

事发在广东佛山一仓库,灭火队出动5车27人,现场一片狼藉

小南爱农村生活
2024-04-20 11:15:09
寿命不会太长的人,往往身体这三个部位是“圆”的,要重视起来

寿命不会太长的人,往往身体这三个部位是“圆”的,要重视起来

畅谈山水
2024-04-18 07:16:43
才知道广东人长大后要给父母交家用,外地人不连吃带拿就不错了

才知道广东人长大后要给父母交家用,外地人不连吃带拿就不错了

阿康四岁啦
2024-04-20 14:55:15
沙俄仅用50多年,让我国领土损失300多万平方公里,失地比印度面积还大

沙俄仅用50多年,让我国领土损失300多万平方公里,失地比印度面积还大

黎庶文史
2024-04-15 23:30:10
4月19日周五《新闻联播》要闻22条

4月19日周五《新闻联播》要闻22条

财联社
2024-04-19 21:24:11
美媒:中国帮助沙特和伊朗握手,一年后美国将沙特又“改变位置”

美媒:中国帮助沙特和伊朗握手,一年后美国将沙特又“改变位置”

兵器肖宁
2024-04-20 08:53:24
丰田章男:埃尔法出口至中国的定价约20万元!市场价却百万以上

丰田章男:埃尔法出口至中国的定价约20万元!市场价却百万以上

文迪科记
2024-04-20 16:50:29
女篮真有人气!省委书记亲身现场看球,WCBA总决赛引得大佬云集

女篮真有人气!省委书记亲身现场看球,WCBA总决赛引得大佬云集

体坛热消息
2024-04-20 10:20:03
眼看要举行就职典礼,赖清德突然收到噩耗,中美一通电话震动全球

眼看要举行就职典礼,赖清德突然收到噩耗,中美一通电话震动全球

戎评说
2024-04-19 11:45:53
已经50多岁的70后,最聪明的活法,就是遵循“三七定律”

已经50多岁的70后,最聪明的活法,就是遵循“三七定律”

老卢说科普
2024-03-22 04:02:51
舒马赫妻子再卖8块手表救夫,总价值约400万美元

舒马赫妻子再卖8块手表救夫,总价值约400万美元

红星新闻
2024-04-18 16:27:20
2024-04-20 18:06:44
量子位
量子位
追踪人工智能动态
9300文章数 175238关注度
往期回顾 全部

科技要闻

华为今年最关键的事曝光!Pura 70有新消息

头条要闻

李金陆成重庆燃气集团新任"一把手" 简历公布

头条要闻

李金陆成重庆燃气集团新任"一把手" 简历公布

体育要闻

克莱,愿赌服输

娱乐要闻

北影节开幕之夜,内娱女星千娇百媚

财经要闻

新华资管香港的秘密:猛投地产或致巨亏

汽车要闻

78.9万的极氪009光辉 让加价MPV无话可说

态度原创

家居
本地
艺术
教育
公开课

家居要闻

光影浮动 色块碰撞与线条起伏的情感呼应

本地新闻

春色满城关不住|千阳春日限定美景上线了!

艺术要闻

“妮可·巴菲特:疗伤一代”亚洲大展启幕 千禧世代的疗伤之旅

教育要闻

从四百名到五十名,中考前男孩脚踏实地,奋起直追,一举逆袭!

公开课

睡前进食会让你发胖吗?

无障碍浏览 进入关怀版