网易首页 > 网易号 > 正文 申请入驻

首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代

0
分享至

生成内容一直被视为 AI 领域中最具有挑战性的能力,最近大火的 AI 绘画背后,是 Stable Diffusion 模型的开源,催生了众多 AI 绘画的应用,得益于 Stability AI 的开源精神,这一创变推动了整个以英文为主的下游文生图生态的蓬勃发展。

然而在国内,目前大部分团队主要是基于翻译 API + 英文 stable diffusion 模型进行开发,但由于中英文之间所得存在文化差异导致遇到中文独特的叙事和表达时,这种模型就很难给出正确匹配的图片内容。因此,IDEA 研究院认知计算与自然语言研究中心(IDEA CCNL)开源了第一个中文版本的 stable diffusion 模型“太乙 Stable Diffusion”,让中文的世界真正拥有具备中国文化内核的 AIGC 模型。

太乙 Stable Diffusion 纯中文版本: https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1 太乙 Stable Diffusion 中英双语版本: https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1
一、中文运笔,意境浮现

君不见黄河之水天上来 ,唯美,油画

滔滔江水,连绵不绝 ,唯美,插画

飞流直下三千尺 ,唯美,插画

长城,清晨,朦胧,唯美,插画

梦回江南,中国古代小镇,唯美,插画

云南苗家古寨,原始森林,鸟语花香,唯美,插画

中国的未来城市,科幻插画

二、中文 vs 英文的图片生成

三、中文指导的特定风格生成

小桥流水人家,水彩

(Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)

小桥流水人家,Van Gogh style

(Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)

四、太乙系列文本生成图像模型技术揭秘

第一个开源中文 CLIP 模型

2022 年 7 月,IDEA CCNL开源了第一个中文 CLIP 模型,目前已经有 4 个版本。

  • Taiyi-CLIP-Roberta-102M-Chinese:

https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese

  • Taiyi-CLIP-Roberta-large-326M-Chinese:

https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese

  • Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese:

https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese

  • Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese:

https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese

以 Taiyi-CLIP-Roberta-large-326M-Chinese 为例,IDEA CCNL用中文语言模型替换了开源的英文 CLIP 中语言编码器,在训练过程中冻结了视觉编码器并且只微调这个中文语言模型,在 1 亿级别的中文数据上训练了 24 个 epoch,一共过了约 30 亿中文图文数据,得到了这个包含图片信息的中文表征语言模型,为后续训练中文 Diffusion 相关的模型奠定了重要的基础。

第一个开源中文 Disco Diffusion 模型

2022 年 10 月,IDEA CCNL开源了第一个中文 Disco Diffusion 模型 Taiyi-Diffusion-532M-Nature-Chinese,该模型由 Katherine Crowson's 的无条件扩散模型在自然风景图上微调而来。结合 Taiyi-CLIP-Roberta-large-326M-Chinese 可以实现中文生成各种风格的风景图片。

东临碣石,以观沧海,水何澹澹,山岛竦峙:

第一个开源中文 Stable Diffusion 的模型

2022 年 11 月,IDEA CCNL开源了第一个中文 Stable Diffusion 的模型和中英双语 Stable Diffusion 模型。

  • 太乙 Stable Diffusion 纯中文版本(Taiyi-Stable-Diffusion-1B-Chinese-v0.1)

该模型利用已经开源的太乙 CLIP 模型 (Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese) 替换了英文 stable-diffusion-v1-4 中的语言编码器,因为太乙 CLIP 模型已经具备了很强的中文图文概念,所以直接冻结英文 stable diffusion 的生成模型部分,在亿级别的高质量数据上微调语言编码器,调整学习率等超参数,将太乙 CLIP 模型理解的中文图文概念与 stable diffusion 生成能力对齐。

  • 太乙 Stable Diffusion 中英双语版本(Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)

不同于太乙 Stable Diffusion 纯中文版本,这个模型希望在支持中文的情况下,同时能保留 stable-diffusion-v1-4 的英文生成能力。由于 stable-diffusion-v1-4 原有语言模型不具备太乙 CLIP 模型强大的中文图文概念,IDEA CCNL希望在它的基础上增加了中文数据训练,这里采取了两阶段的训练。第一阶段也是冻住 stable-diffusion-v1-4 的生成模型部分,在亿级别的高质量数据上微调语言编码器,调整学习率等超参数,训练语言模型中文部分的表征。第二阶段放开 stable-diffusion-v1-4 的生成模型部分,增强中文引导图片生成的能力,目前训练中的一个 checkpoint 已取得不错的效果并进行了开源。

五、使用方法

如果需要进行古诗场景、中文概念生成,建议尝试中文版本 Taiyi-Stable-Diffusion-1B-Chinese-v0.1。如果需要一些通用场景和概念的生成,尤其是有中文混合英文需要,建议尝试中英双语版本 Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1。

中文版本:

中英双语版本:

六、太乙 - 中文 Stable Diffusion 的未来

目前在庞大的中国市场中,有将近 10 亿的文化产业正在被 AIGC 冲击并快速创新发展,也有更多的新机遇在裂变中产生。由于此前的 AIGC 模型还无法和特殊的中国文化背景相结合,致力于成为中文认知智能的基础设施的 IDEA 研究院认知计算与自然语言中心,希望通过推出太乙模型,助力加快在 AIGC 全球市场化中中国的文化产业数字化转型的创新发展,促进各个相关行业的升级。而太乙所在的封神榜预训练模型开源体系,已经开源 80 个模型,覆盖 AIGC、自然语言理解、受控文本生成等多个领域,成为中文最大的预训练模型开源体系。基于封神榜模型的 GTS 模型生产平台,自动生产的 1 亿参数模型,击败众多百亿千亿参数模型,进入 FewCLUE 榜单前三名,机器自动化生成模型的能力达到了算法专家水平,AI 生产 AI 的时代正在到来。

IDEA CCNL认为,在 AIGC 中,人的作用是更为重要的,生成式 AI 应悄无声息地融入大众生活中并更好地帮助拓展人类的想象力边界。所以,与 AI 互动生产的内容,是帮助AIGC走向下一个生产力阶段的关键。因此,IDEA CCNL除了基础模型和基础算法的研究之外,还在研究更精准的文本生成和基中文于文本的交互式图片编辑。以太乙为核心的 AIGC 模型会持续更新和升级,敬请期待。

欢迎对太乙感兴趣的小伙伴们联系IDEA CCNL,一起共建中文 AIGC 的新世界。

封神榜相关链接:

  • 封神榜总论文(中英双语):

https://arxiv.org/abs/2209.02970

  • 封神榜主页:

https://github.com/IDEA-CCNL/Fengshenbang-LM

(封神榜大模型)是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系,成为中文认知智能的基础设施。

  • huggingface 地址:

https://huggingface.co/IDEA-CCNL

  • 封神榜 doc:

https://fengshenbang-doc.readthedocs.io/zh/latest/

作者:公众号【机器之心】

Illustratio n by Pixel true from Ico n Scout

-The End-

扫码观看!

本周上新!

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大马丁:在梅西退出国家队后,我们应该适当降低门票价格

大马丁:在梅西退出国家队后,我们应该适当降低门票价格

懂球帝
2026-11-19 21:52:10
婚礼伴娘团全员花臂,新郎:我挑了“纹身最少”的那个!网友:再漂亮也不娶

婚礼伴娘团全员花臂,新郎:我挑了“纹身最少”的那个!网友:再漂亮也不娶

蝴蝶花雨话教育
2026-11-20 00:05:13
为什么,全世界现在只有中国拥有氢弹?我国这位科学家的贡献巨大

为什么,全世界现在只有中国拥有氢弹?我国这位科学家的贡献巨大

文史达观
2025-05-18 06:45:03
红薯竟是脑梗杀手?紧急提醒:不想血管堵塞,这7样东西少吃

红薯竟是脑梗杀手?紧急提醒:不想血管堵塞,这7样东西少吃

鬼菜生活
2026-11-19 09:49:29
纳指转跌,迅速回吐此前2%的涨幅,市场静待Anthropic上市

纳指转跌,迅速回吐此前2%的涨幅,市场静待Anthropic上市

界面新闻
2026-11-19 23:41:33
又曝出轨大瓜,男子自曝妻子出轨班长5个月,班长只给他妻子买过情趣内衣,还曝光俩人大尺度聊天内容

又曝出轨大瓜,男子自曝妻子出轨班长5个月,班长只给他妻子买过情趣内衣,还曝光俩人大尺度聊天内容

汉史趣闻
2026-09-10 18:28:47
乌克兰被彻底炸傻眼,克里米亚大桥遇袭后,俄军连夜重创马达西奇

乌克兰被彻底炸傻眼,克里米亚大桥遇袭后,俄军连夜重创马达西奇

碳基生物关怀组织
2026-11-19 17:18:54
发现一个很准的规律:只要儿子儿媳长期和父母同住一处,最后都会变得像"仇人"

发现一个很准的规律:只要儿子儿媳长期和父母同住一处,最后都会变得像"仇人"

小书虫妈妈
2026-11-08 12:13:59
全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

扶苏聊历史
2026-10-10 11:04:50
金庸笔下,那些争着做“代价”的乞丐!

金庸笔下,那些争着做“代价”的乞丐!

胖胖说他不胖
2026-10-27 09:55:19
高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

蓝星杂谈
2026-11-19 22:45:01
1600万网红发避雷视频,阿那亚火速处置,涉事门店直接关停

1600万网红发避雷视频,阿那亚火速处置,涉事门店直接关停

房产衫哥
2026-11-18 08:09:34
古文为什么不能只靠删篇目来减负

古文为什么不能只靠删篇目来减负

风铃草语
2026-11-19 07:14:12
“高净值家庭”标准出炉:全中国共有512.8万户,你家达标了吗?

“高净值家庭”标准出炉:全中国共有512.8万户,你家达标了吗?

鱼语昱雨轩
2026-11-07 14:03:54
黄仁勋继任者被曝已有人选,猎头已与64岁安谋总裁接触,其曾在英伟达效力7年;黄离任后英伟达首开全员大会:承诺12月加薪

黄仁勋继任者被曝已有人选,猎头已与64岁安谋总裁接触,其曾在英伟达效力7年;黄离任后英伟达首开全员大会:承诺12月加薪

洪观新闻
2026-11-19 13:26:42
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
67年毛泽东乘车前往天安门,突然让卫士张耀祠停车:我要看看胡乔木

67年毛泽东乘车前往天安门,突然让卫士张耀祠停车:我要看看胡乔木

文史漫笔
2026-10-02 08:10:15
曾拒绝买下英伟达,黄仁勋手里还有两张牌,台积电开始查账本,若回去,先清算董事会

曾拒绝买下英伟达,黄仁勋手里还有两张牌,台积电开始查账本,若回去,先清算董事会

王新喜
2026-11-19 19:49:24
这位坐在楼梯上的阿姨,用一身白色打扮把她成熟的韵味展现出来了

这位坐在楼梯上的阿姨,用一身白色打扮把她成熟的韵味展现出来了

美女穿搭分享
2026-11-08 16:24:23
乌克兰其实不用去打败俄罗斯,只要持续不断的消耗下去,五年,十年,甚至是二十年,俄罗斯的经济总有崩溃的时候?

乌克兰其实不用去打败俄罗斯,只要持续不断的消耗下去,五年,十年,甚至是二十年,俄罗斯的经济总有崩溃的时候?

扶苏聊历史
2026-10-29 17:47:06
2026-11-20 01:59:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2545文章数 597关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
健康
教育
手机
亲子

PC Gamer试玩GTA6百小时:双主角出色但任务重复

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

亲子要闻

宝宝气人但是聪明的4个行为

无障碍浏览 进入关怀版