网易首页 > 网易号 > 正文 申请入驻

Stable Diffusion AI绘图,使用ControlNet控制绘图中人物动作姿态

0
分享至

你一定看过很多AI绘图,自己可能也尝试过进行简单AI绘图,似乎感觉就像扔色子,角色无法控制。可能觉得AI绘图不过如此,事实真的如此么?

Stable Diffusion其实只是AI绘图的地基,在上面构建的各类插件才是AI绘图可能引发绘画变革的根源,这些插件汇集近年AI发展的成果。(本文只讲结论,不涉及原理,请放心阅读)

ControlNet,由美国斯坦福大学提出的,一种通过添加额外条件,来控制扩散模型的神经网络的方法。Stable Diffusion 是一种扩展模型,ControlNet也是模型,ControlNet模型可以控制Stable Diffusion输出想要的图像。跟前边介绍的通过LoRA模型微调大模型的思想类似。

ControlNet可以有多种模型来控制Stable Diffusion模型的输出,今天只使用其中的一种,OpenPose。一说Pose,应该都很清楚,摆Pose,就是人物摆的动作姿态。这里又要提到OpenPose了,OpenPose是一个人体姿态识别的开源项目,由美国卡耐基梅隆大学主导,也是一种神经网络模型。

一句话简要概括,使用ControlNet通过预先训练的OpenPose模型加上节点图来控制Stable Diffusion输出图片。

OpenPose节点长啥样可以看下图:

各个节点的定义看下面的图:

关于ControlNet插件安装和OpenPose编辑器安装这里不做叙述,网上很多相关视频教程。要点是插件安装好后需要下载训练好的模型control_sd15_openpose.pth,放到models\ControlNet下,另外OpenPose编辑器建议posex和openpose editor都安装,前者可以编辑3d的openPose,后者可以直接从图片生成,AI绘图时勾选enable打开ControlNet,ControlNet里的model选择control_sd15_openpose。

有了上面的了解,我们就可以控制人物的姿态了,为了提高点绘图难度,我做了个跪坐的姿势。制作办法有下面3种:

  • 用OpenPose editor载入这个动作的图片,然后微调 (推荐)
  • 自己摆pose,手机照下来然后用OpenPose editor载入图片,然后微调。(推荐)
  • 自己在posex慢慢编辑,这个办法摆出来的可能没有那么自然,出来的图崩了的可能性大。因为毕竟不是动作捕捉,不过胜在任意动作都能编辑。

下边开始展示生成的图片,把之前使用的各种角色Lora都用上

先来汉服小姐姐

再来2B小姐姐

再来个不知名动漫小姐姐:

还有爱丽丝

蒂法因为裙子太短,不适合这个姿势,已经删掉了。

有AI绘图的问题都可以跟帖哦。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
豪门梦碎?出事的中超球队竟是辽宁铁人,徐正源的“韩国行”成压垮骆驼的稻草?

豪门梦碎?出事的中超球队竟是辽宁铁人,徐正源的“韩国行”成压垮骆驼的稻草?

体坛风之子
2026-07-15 05:00:06
2003年,宋美龄来到宋子文墓前,失声痛哭:宋家人为何都葬在这里

2003年,宋美龄来到宋子文墓前,失声痛哭:宋家人为何都葬在这里

小杨历史
2026-07-15 17:47:47
世界杯半决赛:英格兰VS阿根廷 前瞻及比分预测

世界杯半决赛:英格兰VS阿根廷 前瞻及比分预测

江启
2026-07-15 13:34:54
炸断的不是桥,是德黑兰最后的陆路活路!

炸断的不是桥,是德黑兰最后的陆路活路!

老誡科普
2026-07-11 01:53:11
北京大妈公交车上打晕患癌姑娘,一巴掌断送退休后的美好幸福生活

北京大妈公交车上打晕患癌姑娘,一巴掌断送退休后的美好幸福生活

嘉琪Feel
2025-07-09 23:05:01
伊朗导弹没打垮以色列,却打出了一个让美国都开始警惕的新问题

伊朗导弹没打垮以色列,却打出了一个让美国都开始警惕的新问题

一簌月光
2026-07-14 01:35:42
热搜上细思恐极“女儿的新裙子”事件:有毒的家庭,摧毁天才孩子

热搜上细思恐极“女儿的新裙子”事件:有毒的家庭,摧毁天才孩子

小椰子专栏
2026-07-14 13:02:29
WTA250雅典站:郑钦文强势逆转进级 本玉真唯成亚洲黑马

WTA250雅典站:郑钦文强势逆转进级 本玉真唯成亚洲黑马

环球体坛啄木鸟
2026-07-14 23:51:55
7月15日,国务院发布重磅规划,社保和养老金都有好消息,来看看

7月15日,国务院发布重磅规划,社保和养老金都有好消息,来看看

社保小达人
2026-07-15 11:06:50
英国首相斯塔默:如果英格兰打进世界杯决赛,将闪现美国观赛再回国辞职;白宫世界杯负责人:“美国出局后英格兰来捧杯,那会非常精彩”

英国首相斯塔默:如果英格兰打进世界杯决赛,将闪现美国观赛再回国辞职;白宫世界杯负责人:“美国出局后英格兰来捧杯,那会非常精彩”

都市快报橙柿互动
2026-07-15 01:29:44
江苏女教师资助了7年的湖南女孩,高考考了238分,本人回应:“没关系,好好长大,就已足够珍贵”;女孩已经做好打算:留在镇江,读大专

江苏女教师资助了7年的湖南女孩,高考考了238分,本人回应:“没关系,好好长大,就已足够珍贵”;女孩已经做好打算:留在镇江,读大专

三湘都市报
2026-07-14 13:26:18
泽连斯基给某人的公开信(全文)

泽连斯基给某人的公开信(全文)

金召点评
2026-06-08 14:00:34
西班牙时隔16年再进决赛!有4大不可思议,姆巴佩纪录之夜遭零封

西班牙时隔16年再进决赛!有4大不可思议,姆巴佩纪录之夜遭零封

云上乌托邦
2026-07-15 19:15:08
2026高考数据撕开真相:再努力的孩子,也扛不住糟糕的成长环境

2026高考数据撕开真相:再努力的孩子,也扛不住糟糕的成长环境

朗威谈星座
2026-07-15 06:56:41
一家9口人,名校世家翻车!网友:凑一起都掏不出一本初中毕业证

一家9口人,名校世家翻车!网友:凑一起都掏不出一本初中毕业证

泽泽先生
2026-07-13 18:35:26
LV风波升级 市场反击来了!上海周大福硬刚,把唐朝宝相花搬它门口

LV风波升级 市场反击来了!上海周大福硬刚,把唐朝宝相花搬它门口

胡一舸南游y
2026-07-14 15:12:07
傅晓东跨省履新江苏

傅晓东跨省履新江苏

扬子晚报
2026-07-15 15:15:22
Lisa晒自己看世界杯比赛状态,不再迎合欧美,恢复韩流铁刘海妆造

Lisa晒自己看世界杯比赛状态,不再迎合欧美,恢复韩流铁刘海妆造

芊手若
2026-07-12 08:10:55
震惊!一组世界小姐广西总决赛冠军,候场生图刷屏,网友:打破我对广西美女的认知

震惊!一组世界小姐广西总决赛冠军,候场生图刷屏,网友:打破我对广西美女的认知

火山詩话
2026-07-13 08:22:04
伊朗称备忘录签署以来超200艘非伊朗船只通过霍尔木兹海峡

伊朗称备忘录签署以来超200艘非伊朗船只通过霍尔木兹海峡

新京报
2026-07-14 21:42:40
2026-07-15 22:20:49
GPT人工智能
GPT人工智能
人工智能里一些新奇的玩意。
28文章数 727关注度
往期回顾 全部

科技要闻

国行大突破!“Apple智能”已备案

头条要闻

法国队完败出局将迎季军赛 法媒:角逐屎上雕花的奖牌

头条要闻

法国队完败出局将迎季军赛 法媒:角逐屎上雕花的奖牌

体育要闻

世界杯两大巨星,加一起22岁

娱乐要闻

大S遗嘱曝光!S家拒不承认

财经要闻

梁文锋身家2400亿登顶全球AI首富

汽车要闻

爱玩会玩 小鹏MONA L03这次来势凶猛

态度原创

数码
亲子
本地
房产
公开课

数码要闻

苹果Apple Intelligence在华已通过监管备案 发布在即

亲子要闻

养育孩子让你感到疲惫痛苦?那就停一停!

本地新闻

一脚踢进宋朝?来开封解锁宋式快乐

房产要闻

海南买房,开始大规模返现了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版