网易首页 > 网易号 > 正文 申请入驻

Stable Diffusion AI绘图,使用ControlNet控制绘图中人物动作姿态

0
分享至

你一定看过很多AI绘图,自己可能也尝试过进行简单AI绘图,似乎感觉就像扔色子,角色无法控制。可能觉得AI绘图不过如此,事实真的如此么?

Stable Diffusion其实只是AI绘图的地基,在上面构建的各类插件才是AI绘图可能引发绘画变革的根源,这些插件汇集近年AI发展的成果。(本文只讲结论,不涉及原理,请放心阅读)

ControlNet,由美国斯坦福大学提出的,一种通过添加额外条件,来控制扩散模型的神经网络的方法。Stable Diffusion 是一种扩展模型,ControlNet也是模型,ControlNet模型可以控制Stable Diffusion输出想要的图像。跟前边介绍的通过LoRA模型微调大模型的思想类似。

ControlNet可以有多种模型来控制Stable Diffusion模型的输出,今天只使用其中的一种,OpenPose。一说Pose,应该都很清楚,摆Pose,就是人物摆的动作姿态。这里又要提到OpenPose了,OpenPose是一个人体姿态识别的开源项目,由美国卡耐基梅隆大学主导,也是一种神经网络模型。

一句话简要概括,使用ControlNet通过预先训练的OpenPose模型加上节点图来控制Stable Diffusion输出图片。

OpenPose节点长啥样可以看下图:

各个节点的定义看下面的图:

关于ControlNet插件安装和OpenPose编辑器安装这里不做叙述,网上很多相关视频教程。要点是插件安装好后需要下载训练好的模型control_sd15_openpose.pth,放到models\ControlNet下,另外OpenPose编辑器建议posex和openpose editor都安装,前者可以编辑3d的openPose,后者可以直接从图片生成,AI绘图时勾选enable打开ControlNet,ControlNet里的model选择control_sd15_openpose。

有了上面的了解,我们就可以控制人物的姿态了,为了提高点绘图难度,我做了个跪坐的姿势。制作办法有下面3种:

  • 用OpenPose editor载入这个动作的图片,然后微调 (推荐)
  • 自己摆pose,手机照下来然后用OpenPose editor载入图片,然后微调。(推荐)
  • 自己在posex慢慢编辑,这个办法摆出来的可能没有那么自然,出来的图崩了的可能性大。因为毕竟不是动作捕捉,不过胜在任意动作都能编辑。

下边开始展示生成的图片,把之前使用的各种角色Lora都用上

先来汉服小姐姐

再来2B小姐姐

再来个不知名动漫小姐姐:

还有爱丽丝

蒂法因为裙子太短,不适合这个姿势,已经删掉了。

有AI绘图的问题都可以跟帖哦。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
丰满圆润的肉感身材,这样穿运动装美得很有张力

丰满圆润的肉感身材,这样穿运动装美得很有张力

樱桃小丸子1987
2026-11-17 08:51:10
《GTA6》地图藏了一手!R星已经备战未来

《GTA6》地图藏了一手!R星已经备战未来

游民星空
2026-11-19 13:15:51
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

文史达观
2025-01-26 06:45:03
连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

刘哥谈体育
2026-11-17 05:34:13
台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

人生录
2026-10-31 00:55:04
20+6三分+0失误!谢泼德觉醒一战防守也被盛赞:休城需要贝弗利精神

20+6三分+0失误!谢泼德觉醒一战防守也被盛赞:休城需要贝弗利精神

颜小白的篮球梦
2026-11-19 21:58:12
两架出逃的重型运输机被叙利亚收回

两架出逃的重型运输机被叙利亚收回

窗帘拉开
2026-11-19 16:20:59
外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

澎湃新闻
2026-11-19 15:49:14
演了26年中国戏的日本人,竟说“中国人没资格养狗”,如今咋样?

演了26年中国戏的日本人,竟说“中国人没资格养狗”,如今咋样?

老吴教育课堂
2026-11-18 03:04:41
一个AI短剧编剧的三年:踩中了风口,却还不如去送外卖

一个AI短剧编剧的三年:踩中了风口,却还不如去送外卖

网易新闻出品
2026-11-13 08:42:32
年盈利910万,他贷款2900万上马彩电产线

年盈利910万,他贷款2900万上马彩电产线

算力游侠
2026-11-18 22:05:54
40年NBA第一人!国王赌对了,19岁小将又爆发,比詹科杜东更快

40年NBA第一人!国王赌对了,19岁小将又爆发,比詹科杜东更快

大西体育
2026-11-19 15:34:52
深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

券商中国
2026-11-19 02:14:46
杭州女子驾车过高架遭风筝线“割顶”,最新:肇事者已找到

杭州女子驾车过高架遭风筝线“割顶”,最新:肇事者已找到

扬子晚报
2026-11-19 20:29:47
中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

解说阿洎
2026-11-13 08:23:20
刚刚,新易盛、中际旭创、天孚通信,集体公告

刚刚,新易盛、中际旭创、天孚通信,集体公告

价值线传媒
2026-11-19 02:03:53
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
炸裂!女子收留19岁外甥女吃住在家,不料与丈夫发生关系还怀了孕

炸裂!女子收留19岁外甥女吃住在家,不料与丈夫发生关系还怀了孕

诗意世界
2025-07-30 18:39:13
9.7 分论文用「虾滑」冒充肿瘤?中南大学通报:存在学术不端行为,4 人被处罚

9.7 分论文用「虾滑」冒充肿瘤?中南大学通报:存在学术不端行为,4 人被处罚

生物学霸
2026-11-19 16:06:33
2026-11-20 00:40:49
GPT人工智能
GPT人工智能
人工智能里一些新奇的玩意。
28文章数 728关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
游戏
亲子
艺术
旅游

本地新闻

乌兰察布:以前种土豆,现在种Token

PC Gamer试玩GTA6百小时:双主角出色但任务重复

亲子要闻

宝宝气人但是聪明的4个行为

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

无障碍浏览 进入关怀版