网易首页 > 网易号 > 正文 申请入驻

两个本地模型、三条提示词,红围巾为什么还是画不出来?

0
分享至

一条红围巾卡在池塘边的芦苇里,这是故事书里最该被画出来的那一幕。可当本地图像模型真的动手去画,围巾却消失了。

这不是一次随手的测试。有人用 llamadart 的 ImageGenerationEngine 做了一个独立实验,想看看本地模型能不能为 Llama Village 的故事书补上一张插图。实验的样本事件很小:一条红色羊毛围巾,缠在村庄池塘边的绿色芦苇丛中。


提示词是用 Dart 直接拼出来的,没有语言模型参与改写。记忆字段里只放了两样东西——主体是"一条卡在绿色芦苇中的红色羊毛围巾",地点是"一个小村庄的池塘边"。拼进提示词的还有"雨夜""温和的故事书插画风格""不要文字"。

两个模型,同一套题

引擎在本地跑的是 stable-diffusion.cpp。第一次尝试选了 SDXS:单个模型文件,约 683 MB,配方只用一步生成。

实际输出是 SDXS Q8_0,512 × 512,一步,guidance 为 1,种子 42。画面里有芦苇、有水、有房子、有雨,氛围是有的。但围巾认不出来——而围巾恰恰是这个场景被收进故事书的理由。

换个更亮的场景会不会好一点?只把"雨夜"改成"晴朗的早晨",模型、种子、尺寸和其他设置全部不动。天空亮了,雨没了,围巾还是不见。

固定种子是为了在这个设置下比较不同提示词,它并不锁定构图,也不保证跨运行时版本和设备得到完全相同的像素。天气变了,丢失的物体没有回来。

第三次,干脆让模型把围巾直接放到镜头前:一条红色针织羊毛围巾缠在绿色芦苇中,围巾占满前景,背后是池塘水面,雨夜,温和的故事书插画,不要文字。

这次有了能认出来的红色针织物。但同时也多出了额外的绿色布料,雨也不明显。提示词起了作用,却没有让画面变成一份精确记录。

这就是故事书的边界:日志负责说发生了什么,插画负责想象它当时看起来是什么样。如果游戏需要准确的角色面孔、位置,或者某个事件的证据,那就该保留截图。

换更大的模型,结果变了吗

也许更大的模型会更贴近场景。同样的三条提示词,换成 SD-Turbo Q8_0 加 TAESD 再跑一遍:512 × 512,一步,guidance 为 1,种子 42。TAESD 是文档配方里的小型解码器,所以这相当于比较两套完整配方。

SD-Turbo 的雨夜版本,前景芦苇更分明,但依然没有清晰可辨的围巾,雨也比 SDXS 那张更不明显。晴朗早晨版本里,芦苇丛中出现了红色形状,但读不出是一条羊毛围巾,天气变化也很微弱。特写版本在画面两侧都出现了能认出的红色针织物,却没有做到"一条围巾占满前景"。

就这个故事书场景而言,作者更偏好 SDXS 更柔和的风格。两个模型都不能可靠地遵循每一个细节。这是针对一个种子下三条提示词的视觉判断,不是通用的质量排名。

接近两倍的进程内存、三倍的模型存储,仍然没能换来一张清晰呈现事件的画面。这个原型里,作者会继续用 SDXS。这个选择只针对这些场景和设置;更多 SD-Turbo 步数或它的完整解码器,可能会改变结果。

速度与内存的实测数字

测试环境是 M4 Max、64 GB 内存、Metal、Dart 3.13.5、llamadart 0.11.1。每套配方都在全新进程中单独运行,文件已缓存。先对三条提示词做一轮预热,再测三轮,每套配方共九次生成。

  • 生成耗时:SDXS 为 0.383–0.387 秒;SD-Turbo 为 0.545–0.622 秒。计时在 task.result 处结束,不含 PNG 编码和磁盘写入,也不含下载和模型加载。
  • 内存:进程 RSS 每 20 毫秒采样一次,覆盖初始化、加载、生成和保存。这测的不是设备或 GPU 的总内存。
  • 条件:渲染器关闭,跑在开发机上,而不是隔离的基准测试环境。

对比用的是 TAESD,不是 SD-Turbo 的完整 VAE。四步生成和完整解码器都没有测。两个模型版本和解码器版本都固定在可运行程序里。

想自己试这个围巾场景,程序遵循四个调用:先检查运行时,再加载固定的 ModelSource,然后启动任务并监听进度,最后等待结果并把像素保存为 PNG。task.events 报告提示词编码、采样、解码等阶段,它不流式输出成品图片;要拿图片或失败信息,得等 task.result。程序在 finally 里取消事件订阅,并在三张图都完成后释放引擎。

对 SDXS,要显式使用 steps: 1 和 guidanceScale: 1。这些设置属于这个蒸馏模型;把它们照搬到任意图像模型上,并不是一个有意义的比较。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
iPhone 18 Pro系列降价,苹果公布双11折扣

iPhone 18 Pro系列降价,苹果公布双11折扣

新京报
2026-10-15 11:38:07
女子和男友发生关系后累的睡着,被惊醒后发现男友另有所图,屋内还有一个陌生男,男友一口咬定自己是在嫖娼

女子和男友发生关系后累的睡着,被惊醒后发现男友另有所图,屋内还有一个陌生男,男友一口咬定自己是在嫖娼

丫头舫
2026-10-14 11:01:31
努尔哈赤有多猛?小他20岁的大妃阿巴亥哭诉:他在就得活在阴影里

努尔哈赤有多猛?小他20岁的大妃阿巴亥哭诉:他在就得活在阴影里

凡人侃史
2026-10-14 16:09:36
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
毛星火建议拆除胡适雕像,罪恶愚昧何以再次呼风唤雨?

毛星火建议拆除胡适雕像,罪恶愚昧何以再次呼风唤雨?

胖胖说他不胖
2026-10-15 10:00:12
网传“退休金比打工人工资还高”,评论区炸锅了

网传“退休金比打工人工资还高”,评论区炸锅了

墨言执笔
2026-10-13 05:47:41
“这就是穿碳板鞋的下场”,初中男孩走路姿势给人看懵了,家长全然不知

“这就是穿碳板鞋的下场”,初中男孩走路姿势给人看懵了,家长全然不知

熙熙说教
2026-10-13 16:28:55
A股:央行刚刚发布,潘功胜发表重要讲话!周五或迎来关键的转折

A股:央行刚刚发布,潘功胜发表重要讲话!周五或迎来关键的转折

虎哥闲聊
2026-10-16 00:00:04
持续3个世纪的仇恨难解,85%民众痛斥中国,瑞典为何如此反华?

持续3个世纪的仇恨难解,85%民众痛斥中国,瑞典为何如此反华?

北海史记
2026-10-15 12:26:14
协和千元专家号背后:你花的不是挂号费,是六个人一辈子的功力

协和千元专家号背后:你花的不是挂号费,是六个人一辈子的功力

放开他让wo来
2026-10-12 22:06:51
这次能飞了!特斯拉第二代Roadster跑车正式亮相

这次能飞了!特斯拉第二代Roadster跑车正式亮相

IT之家
2026-10-16 10:16:10
不用开刀换关节!德国新疗法:几颗溶解微粒,竟斩断磨骨之痛?

不用开刀换关节!德国新疗法:几颗溶解微粒,竟斩断磨骨之痛?

徐德文科学频道
2026-10-15 18:31:47
男子33克重的金项链不翼而飞,男子:藏了3年,放在厨房洗手台隔间;警方调查:被老鼠偷走,在墙体一处狭小洞内找到

男子33克重的金项链不翼而飞,男子:藏了3年,放在厨房洗手台隔间;警方调查:被老鼠偷走,在墙体一处狭小洞内找到

环球网资讯
2026-10-15 15:02:12
中国将迎来史上最大规模的退休潮。

中国将迎来史上最大规模的退休潮。

荆楚寰宇文枢
2026-10-10 22:52:15
乌克兰端了俄罗斯洲际导弹中心,撒旦导弹的老巢被一锅端!

乌克兰端了俄罗斯洲际导弹中心,撒旦导弹的老巢被一锅端!

知兵
2026-10-14 01:07:09
监管部门强势介入,江淮汽车懂车帝迎来裁判时刻

监管部门强势介入,江淮汽车懂车帝迎来裁判时刻

风风顺
2026-10-16 03:05:07
巴基斯坦专家坦言:这3场战争已说明,中国才是世界最强超级大国

巴基斯坦专家坦言:这3场战争已说明,中国才是世界最强超级大国

凡知
2026-10-14 17:19:11
张雪评两轮车自动驾驶 “有点搞笑”:手离车把无法配合刹车,一旦制动人会摔倒,自动驾驶意义何在?

张雪评两轮车自动驾驶 “有点搞笑”:手离车把无法配合刹车,一旦制动人会摔倒,自动驾驶意义何在?

极目新闻
2026-10-15 22:07:39
“00后女子醉驾时速174公里撞死3人”案一审开庭一年多,受害者母亲再发声:至今还没等到判决结果

“00后女子醉驾时速174公里撞死3人”案一审开庭一年多,受害者母亲再发声:至今还没等到判决结果

大众网
2026-10-15 17:11:20
王皓风波升级!中国乒协发文,高调官宣重要决定,樊振东能放心了

王皓风波升级!中国乒协发文,高调官宣重要决定,樊振东能放心了

娱瓜酱
2026-10-15 15:09:48
2026-10-16 10:55:00
像素与芯片
像素与芯片
有态度网友ytd
259文章数 80关注度
往期回顾 全部

科技要闻

杨天若院士:AI是中国弯道超车的机会

头条要闻

9岁男孩被指遭虐待 父亲:手上伤痕为热水烫冻疮所致

头条要闻

9岁男孩被指遭虐待 父亲:手上伤痕为热水烫冻疮所致

体育要闻

工资一分不要,曼联名将想把母队带回西甲

娱乐要闻

徐艺洋官宣生子,完全看不出生过宝宝

财经要闻

避险情绪压倒通胀担忧,欧美国债普涨

汽车要闻

年轻人专属的大五座 小鹏MONA L05预售16.98万起

态度原创

时尚
本地
数码
健康
家居

开衫,是秋天最好穿的衣服

本地新闻

这个十一,林都伊春彻底出圈!

数码要闻

AMD智能体PC落地真实工作流:究竟改变了什么

孩子运动莫名晕倒?当心这类疾病

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版