网易首页 > 网易号 > 正文 申请入驻

Stable Diffusion 3开源秒翻车,画人好掉san

0
分享至

明敏 发自 凹非寺
量子位 | 公众号 QbitAI

没想到……Stable Diffusion 3开源即出现翻车案例。

生成一个躺在草地上的女孩,结果长这样?



而且不是个例,只要是和人(整体)相关的内容,生成结果都有点掉san。

(前方高能)



但如果是局部,比如只生成人脸,确实很nice。



清晰度、写字、写实性等方面都有明显提升。



对于复杂长提示词的理解也很到位,有网友发现提示越长它画的越好。





那么问题来了,为啥偏偏画不好人类?

问题可能在于数据集

先来看看SD3开源的具体情况。

本次开源的版本是Stable Diffusion 3 Medium(中杯)。

它的规模为20亿参数,在笔记本上就能跑了。

官方强调的属性有5方面,逐一来看:

  • 整体质量和写实性

可生成出色的细节,包括色彩、光线、强写实等,带来灵活风格的高质量输出。

通过16通道VAE,成功解决了其他模型的常见缺陷,比如手部和面部的写实问题。

  • 提示词理解

可以理解复杂长提示,包含空间推理、元素组合、动作、风格等。3个文本编码器可以全部或者组合使用,方便用户平衡性能和显存。

  • 有效利用资源

对VRAM占用很低,非常适合在消费级GPU上运行,且性能不降低。

  • 微调

能够利用小数据集微调,方便定制化。

目前在Hugging Face上已经可以下载模型权重。非商业用途可免费下载使用,商业用途需要先拿授权。



那么为啥升级后还是会翻车?

有人发现,如果细看“躺在草坪上的女孩”这张图像,会发现它在局部细节上确实还可以,甚至很棒。



草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。



但人物整体就不敢恭维了。

不少网友都认为,这就是问题的关键。

我认为他们的NSFW过滤器,把所有人类图像都判定为了NSFW。



这个过滤器全称是filtering out adult content,作用在于过滤掉不合规的成人内容。

SD2发布时就出现过类似的问题,研究人员发现审查这部分内容可能影响了模型对人体结构的理解。

后面的SD2.1和SDXL版本有所缓解。

这次SD3的翻车,暴露了一个问题:过于严格的数据审核,可能误删了一些无害的成人图像,所以现在模型没法理解人体结构。

有网友就阴阳说,没多久之前SD还能和Midjourney竞争,现在一比,就像个笑话。

至少我们的数据集是安全和合乎道德的。



Reddit上“SD3-2B发布是个笑话吗”的帖子,热度已经冲到了800+。



当然,除了技术以外的原因,还不少人觉得SD3的性能不佳更进一步暴露了Stability AI的内部混乱。

我猜他们现在可以安全合规地破产了。



欠债1亿、疑似求卖身

Stability AI的动荡,从SD3开源的一再延期就能窥见端倪。

2月发布模型后,一开始,官方说的是搞完RLHF就开源,结果大家伙等了3个多月,官方放出的还是只有API。直到现在,才开源了一个中杯版本。



与此同时,公司CEO Emad辞职+退出董事会。核心团队也被曝集体离职。

今年5月,据The Information消息,这家初创公司已经面临严重现金短缺:第一季度收入不到500万美元,而亏损超过了3000万美元。同时欠了云厂商和其他企业近1亿美元,“求卖身”的消息不断传出。

值得一提的是,消息称SD3还将开源更多版本,包括4B和8B。

不知道更大版本效果会如何呢?

官网传送门:https://stability.ai/news/stable-diffusion-3-medium

参考链接:
[1]https://www.reddit.com/r/StableDiffusion/comments/1de85nc/why_is_sd3_so_bad_at_generating_girls_lying_on/
[2]https://x.com/benjedwards/status/1800974616611184884
[3]https://www.reddit.com/r/StableDiffusion/comments/1de7lbg/comment/l8a1me0/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美民主党开始批特朗普“年纪大”

美民主党开始批特朗普“年纪大”

参考消息
2024-07-23 13:43:11
《中餐厅8》最无聊的2位嘉宾,无趣、无梗、惹人厌,不要再来了

《中餐厅8》最无聊的2位嘉宾,无趣、无梗、惹人厌,不要再来了

喵喵娱乐团
2024-07-22 20:17:56
2012年三对高校教师夫妻玩“换妻”游戏,内容不堪入目,结局如何

2012年三对高校教师夫妻玩“换妻”游戏,内容不堪入目,结局如何

阿胡
2024-06-19 14:36:12
12级大风,海浪拍进屋!台风“派比安”继续给广西输送雨水,另一个台风也将对广西有影响【930新闻眼】

12级大风,海浪拍进屋!台风“派比安”继续给广西输送雨水,另一个台风也将对广西有影响【930新闻眼】

930老友记
2024-07-23 19:55:34
500万拆迁款给儿子,女儿拒收5万,十年未回家:世上没有后悔药

500万拆迁款给儿子,女儿拒收5万,十年未回家:世上没有后悔药

青丝人生
2024-07-16 22:31:32
歼灭战打响,以色列首都被炸,500辆坦克被毁,以色列宣布破产

歼灭战打响,以色列首都被炸,500辆坦克被毁,以色列宣布破产

星辰故事屋
2024-07-23 21:22:29
后悔吗?暴涨到1627亿!富士康转投越南,带动当地就业!风评反转

后悔吗?暴涨到1627亿!富士康转投越南,带动当地就业!风评反转

蒋飞Talk
2024-07-10 21:34:51
40岁李宇春现身巴黎看秀,头顶白发明显,生图和精修图差距太大!

40岁李宇春现身巴黎看秀,头顶白发明显,生图和精修图差距太大!

西瓜爱娱娱
2024-06-28 11:23:34
广钢省实荔湾学校中考成绩曝光!这些暗语,你看懂了吗?

广钢省实荔湾学校中考成绩曝光!这些暗语,你看懂了吗?

掌楼牛市
2024-07-22 17:19:36
乌克兰发生激烈冲突,双方重大损失震惊世界

乌克兰发生激烈冲突,双方重大损失震惊世界

世界探索者发现
2024-07-22 22:49:13
“靖康之耻”有多虐心?皇帝生母每日接客超百人,公主肛裂而死

“靖康之耻”有多虐心?皇帝生母每日接客超百人,公主肛裂而死

阿胡
2024-03-28 15:30:23
一银行个贷部经理涉诈被台州警方立案侦查,涉案金额六千余万

一银行个贷部经理涉诈被台州警方立案侦查,涉案金额六千余万

澎湃新闻
2024-07-23 11:20:29
美国副总统哈里斯:无意禁止TikTok,中文名“贺锦丽”有来头

美国副总统哈里斯:无意禁止TikTok,中文名“贺锦丽”有来头

北美商业电讯
2024-07-22 17:43:50
仗义结局,加代帮老武化了事

仗义结局,加代帮老武化了事

金昔说故事
2024-07-23 19:39:16
网传王教授被解聘画面曝光,表情尴尬不服,警方回应,结局惹猜测

网传王教授被解聘画面曝光,表情尴尬不服,警方回应,结局惹猜测

皖声微言
2024-07-23 11:41:50
这就是懂车和不懂车的人对待车子的区别,全部都是干货

这就是懂车和不懂车的人对待车子的区别,全部都是干货

爱文历史
2024-07-23 15:34:23
29岁的拜仁球星变化太大!肌肉猛男突然变成了秃顶油腻大叔

29岁的拜仁球星变化太大!肌肉猛男突然变成了秃顶油腻大叔

星耀国际足坛
2024-07-23 12:19:54
讲一讲接触外国女人与国内女人不同的感受?网友分享一针见血!

讲一讲接触外国女人与国内女人不同的感受?网友分享一针见血!

热闹的河马
2024-07-23 12:53:16
著名女优玩偶姐姐HongKongDoll,被爆料真实面目?

著名女优玩偶姐姐HongKongDoll,被爆料真实面目?

吃瓜党二号头目
2024-06-13 10:15:52
被中国用核武器轰炸了很多次的罗布泊,如今变成了什么样子?

被中国用核武器轰炸了很多次的罗布泊,如今变成了什么样子?

史小纪
2024-07-19 11:30:27
2024-07-24 01:06:44
量子位
量子位
追踪人工智能动态
9705文章数 175413关注度
往期回顾 全部

科技要闻

上架222本书,番茄小说疑似"进化"出AI作者

头条要闻

媒体:赖清德图穷匕见 准备将"台独"计划落实到行动上

头条要闻

媒体:赖清德图穷匕见 准备将"台独"计划落实到行动上

体育要闻

法国出了文班亚马,却不再出帕克了?

娱乐要闻

王鹤棣新歌口碑翻车 歌词狂妄曲风过时

财经要闻

中央研究开征地方附加税 理论规模近万亿

汽车要闻

提供独特定制配件 凯迪拉克发布SOLLEI概念车

态度原创

本地
旅游
数码
公开课
军事航空

本地新闻

换个城市过夏天 | 探访辽宁的“阿勒泰”

旅游要闻

峨眉山景区回应“男孩遭野猴扑倒摔落高台”

数码要闻

漫步者 W800BT Free 头戴耳机发布,199 元

公开课

曾激光治近视的人,现在后悔吗?

军事要闻

四舰齐发!海军登陆舰编队开展南海实战化训练

无障碍浏览 进入关怀版