网易首页 > 网易号 > 正文 申请入驻

一条红围巾,两个本地模型画了三遍都没画出来

0
分享至

Dash错过了那个瞬间。Pip的围巾落在池塘边,他手里只剩下一则日志记录。能不能让一个本地图像模型,把这个画面画进村庄的故事书里?

这是llamadart系列实验的第四部分。Llama Village本身已经能用日志和截图复述一次运行过程,而这次是独立的尝试:用llamadart的ImageGenerationEngine,把一段样本事件想象成一个场景。两个本地模型,三组提示词,只盯一件事——你能找到那条围巾吗?


样本事件:一条卡在芦苇里的红围巾

样本事件很小:一条红围巾卡在村庄池塘边的芦苇丛里。提示词直接用Dart拼出来,不需要语言模型来改写它。

代码里定义了两个字段,一个是主体,一个是地点:主体是“卡在绿色芦苇中的红色羊毛围巾”,地点是“在一个小村庄的池塘边”。拼出来的提示词还加上了“雨夜”“温和的故事书插画风格”“不要文字”。

这些只是示例性的日志字段,并不是Llama Village已有的API。把事实和美术方向分开,是为了让游戏自己决定这张图到底在讲什么。

整个链路是这样的:Dart负责拼提示词,ImageGenerationEngine负责出图,并单独上报进度。

第一次尝试:SDXS,一个模型文件,一步生成

引擎在本地跑stable-diffusion.cpp。第一次尝试选了SDXS:只有一个模型文件,大约683 MB,配方只用一步生成。

实际输出是SDXS Q8_0,512 × 512,一步,guidance为1,seed为42。

图里有芦苇、有水、有房子、有雨。氛围是喜欢的。但认不出那条围巾——而围巾恰恰是这个场景被写进书里的理由。

那换个更亮的场景,会不会更容易看清?只把“雨夜”改成“晴朗的早晨”,模型、seed、尺寸和其他设置全部不动。

天亮了,雨没了。围巾还是没出现。

固定seed能帮我们在这套设置下比较不同提示词,但它并不锁定构图,也不保证在不同运行时版本和设备上得到完全相同的像素。

天气变了,缺失的物体没有回来。于是第三张图,直接让模型把围巾放到镜头正前方:一条红色针织羊毛围巾缠在绿色芦苇里,围巾占满前景,背后是池塘的水,雨夜,温和的故事书插画风格,不要文字。

这次有了能认出来的红色针织织物。同时也多出了额外的绿色布料,雨也不明显了。提示词起了作用,但没有让这张图变成一份精确的记录。

这就是故事书的边界:日志说的是发生了什么,插画想象的是它当时看起来什么样。如果游戏需要精确的角色面孔、位置,或者某个事件的证据,那就保留截下来的截图。

换更大的模型,结果会更好吗

也许更大的模型会更贴近场景。于是用同样的三组提示词试了SD-Turbo Q8_0加TAESD:512 × 512,一步,guidance为1,seed为42。TAESD是文档配方里的小型解码器,所以这次比较的是完整配方。

SD-Turbo,雨夜。前景芦苇更分明,但依然没有清晰可辨的围巾。雨比SDXS那张更不明显。

SD-Turbo,晴朗的早晨。芦苇之间出现了红色形状,但读不出是一条羊毛围巾。天气的变化也很微弱。

SD-Turbo,特写。两边边缘出现了能认出来的红色针织碎片,但没有满足“一条围巾占满前景”的要求。

就这个故事书场景而言,更偏好SDXS那种更柔和的风格。两个模型都不能可靠地遵循每一个细节。这是针对一个seed下三组提示词的视觉判断,不是一次通用的质量排名。

接近两倍的进程内存、三倍的模型存储,依然没能给出一张清晰呈现该事件的图。这个原型里会保留SDXS。这个选择只针对这些场景和设置;给SD-Turbo更多步数,或者换上它的完整解码器,结果都可能改变。

速度与内存:数字摆在这里

测试环境是M4 Max、64 GB内存、Metal、Dart 3.13.5、llamadart 0.11.1。每个配方都在全新进程里单独运行,文件已缓存。先对三组提示词做一轮预热,之后又测了三轮:每个配方九次生成。

生成耗时:SDXS为0.383–0.387秒;SD-Turbo为0.545–0.622秒。计时在task.result处结束,不含PNG编码和写盘。下载和模型加载不计入。

内存方面,进程RSS每20毫秒采样一次,覆盖初始化、加载、生成和保存全过程。这测的不是设备或GPU的总内存。

条件说明:渲染器关闭,跑在开发机上,而不是隔离的基准测试环境。

这次对比用的是TAESD,不是SD-Turbo的完整VAE。四步生成和完整解码器都没有测。两个模型版本和解码器版本都在可运行程序里固定住了。

想自己试这条围巾场景,四步调用

程序大致是四次调用:先检查当前构建和设备,再加载一个固定版本的模型源,下载管理器会做缓存;然后启动任务,在运行期间监听进度;最后等待完成,把得到的像素保存成PNG。

这是API的骨架。完整程序里会内联定义模型和请求,处理不支持的运行时,并释放引擎。

task.events会上报提示词编码、采样、解码等阶段,它不会流式输出成图。要拿图或者拿到失败信息,都得等task.result。程序会在finally里取消事件订阅,并在三张图全部完成后释放引擎。

用SDXS时,要显式设置steps为1、guidanceScale为1。这些设置属于这个蒸馏模型;把它们照搬到任意图像模型上,并不是一个有意义的比较。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
iPhone 18 Pro系列降价,苹果公布双11折扣

iPhone 18 Pro系列降价,苹果公布双11折扣

新京报
2026-10-15 11:38:07
女子和男友发生关系后累的睡着,被惊醒后发现男友另有所图,屋内还有一个陌生男,男友一口咬定自己是在嫖娼

女子和男友发生关系后累的睡着,被惊醒后发现男友另有所图,屋内还有一个陌生男,男友一口咬定自己是在嫖娼

丫头舫
2026-10-14 11:01:31
努尔哈赤有多猛?小他20岁的大妃阿巴亥哭诉:他在就得活在阴影里

努尔哈赤有多猛?小他20岁的大妃阿巴亥哭诉:他在就得活在阴影里

凡人侃史
2026-10-14 16:09:36
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
毛星火建议拆除胡适雕像,罪恶愚昧何以再次呼风唤雨?

毛星火建议拆除胡适雕像,罪恶愚昧何以再次呼风唤雨?

胖胖说他不胖
2026-10-15 10:00:12
网传“退休金比打工人工资还高”,评论区炸锅了

网传“退休金比打工人工资还高”,评论区炸锅了

墨言执笔
2026-10-13 05:47:41
“这就是穿碳板鞋的下场”,初中男孩走路姿势给人看懵了,家长全然不知

“这就是穿碳板鞋的下场”,初中男孩走路姿势给人看懵了,家长全然不知

熙熙说教
2026-10-13 16:28:55
A股:央行刚刚发布,潘功胜发表重要讲话!周五或迎来关键的转折

A股:央行刚刚发布,潘功胜发表重要讲话!周五或迎来关键的转折

虎哥闲聊
2026-10-16 00:00:04
持续3个世纪的仇恨难解,85%民众痛斥中国,瑞典为何如此反华?

持续3个世纪的仇恨难解,85%民众痛斥中国,瑞典为何如此反华?

北海史记
2026-10-15 12:26:14
协和千元专家号背后:你花的不是挂号费,是六个人一辈子的功力

协和千元专家号背后:你花的不是挂号费,是六个人一辈子的功力

放开他让wo来
2026-10-12 22:06:51
这次能飞了!特斯拉第二代Roadster跑车正式亮相

这次能飞了!特斯拉第二代Roadster跑车正式亮相

IT之家
2026-10-16 10:16:10
不用开刀换关节!德国新疗法:几颗溶解微粒,竟斩断磨骨之痛?

不用开刀换关节!德国新疗法:几颗溶解微粒,竟斩断磨骨之痛?

徐德文科学频道
2026-10-15 18:31:47
男子33克重的金项链不翼而飞,男子:藏了3年,放在厨房洗手台隔间;警方调查:被老鼠偷走,在墙体一处狭小洞内找到

男子33克重的金项链不翼而飞,男子:藏了3年,放在厨房洗手台隔间;警方调查:被老鼠偷走,在墙体一处狭小洞内找到

环球网资讯
2026-10-15 15:02:12
中国将迎来史上最大规模的退休潮。

中国将迎来史上最大规模的退休潮。

荆楚寰宇文枢
2026-10-10 22:52:15
乌克兰端了俄罗斯洲际导弹中心,撒旦导弹的老巢被一锅端!

乌克兰端了俄罗斯洲际导弹中心,撒旦导弹的老巢被一锅端!

知兵
2026-10-14 01:07:09
监管部门强势介入,江淮汽车懂车帝迎来裁判时刻

监管部门强势介入,江淮汽车懂车帝迎来裁判时刻

风风顺
2026-10-16 03:05:07
巴基斯坦专家坦言:这3场战争已说明,中国才是世界最强超级大国

巴基斯坦专家坦言:这3场战争已说明,中国才是世界最强超级大国

凡知
2026-10-14 17:19:11
张雪评两轮车自动驾驶 “有点搞笑”:手离车把无法配合刹车,一旦制动人会摔倒,自动驾驶意义何在?

张雪评两轮车自动驾驶 “有点搞笑”:手离车把无法配合刹车,一旦制动人会摔倒,自动驾驶意义何在?

极目新闻
2026-10-15 22:07:39
“00后女子醉驾时速174公里撞死3人”案一审开庭一年多,受害者母亲再发声:至今还没等到判决结果

“00后女子醉驾时速174公里撞死3人”案一审开庭一年多,受害者母亲再发声:至今还没等到判决结果

大众网
2026-10-15 17:11:20
王皓风波升级!中国乒协发文,高调官宣重要决定,樊振东能放心了

王皓风波升级!中国乒协发文,高调官宣重要决定,樊振东能放心了

娱瓜酱
2026-10-15 15:09:48
2026-10-16 10:55:00
像素与芯片
像素与芯片
有态度网友ytd
259文章数 80关注度
往期回顾 全部

科技要闻

杨天若院士:AI是中国弯道超车的机会

头条要闻

9岁男孩被指遭虐待 父亲:手上伤痕为热水烫冻疮所致

头条要闻

9岁男孩被指遭虐待 父亲:手上伤痕为热水烫冻疮所致

体育要闻

工资一分不要,曼联名将想把母队带回西甲

娱乐要闻

徐艺洋官宣生子,完全看不出生过宝宝

财经要闻

避险情绪压倒通胀担忧,欧美国债普涨

汽车要闻

年轻人专属的大五座 小鹏MONA L05预售16.98万起

态度原创

健康
教育
旅游
时尚
游戏

孩子运动莫名晕倒?当心这类疾病

教育要闻

在日本读研,中国学生的研究方向会受什么现实因素影响?

旅游要闻

嫌大巴团太累、自由行太烦?这才是新银发族欧洲游中间解

开衫,是秋天最好穿的衣服

还能加肉鸽?弹球游戏已经进化成我看不懂的样子

无障碍浏览 进入关怀版