网易首页 > 网易号 > 正文 申请入驻

解决AI绘画走神:TwiG范式实现视觉生成新变革

0
分享至

最近AI画画技术真是火得不行,FLUX.1、Emu3这些模型画出来的美女帅哥、风景照,不仔细看真分不出是真是假。

但你让它们画个“猫在窗户里面”,结果猫脑袋探到窗外去了,说要“三个苹果”,画面里数来数去总有四个。

这些小错误看着好笑,其实暴露了大问题。



这些模型就像只会背模板的学生,遇到简单题还行,稍微复杂点的空间关系、物体怎么互动,立马露怯。

用户要的是“桌子上的书靠着台灯”,它给你来个“台灯压着书”,这种逻辑混乱的情况,在专业场景里根本没法用。

说到这里,可能有人会问,以前的研究者难道没想过解决这些问题吗?还真不是,他们试过两种办法,但效果都不太理想。

一种是“谋定而后动”,生成前先规划好每一笔,结果太死板,画到一半想调整都不行。



另一种是“亡羊补牢”,画完了再回头改,改来改去耗时不说,画面还容易糊。

这两种思路走不通,就需要新方法了。

这个想法其实借鉴了大语言模型的“思维链”,但反着来用了。



举个例子,画“戴红帽子的猫坐在沙发上”,传统模型可能一笔画到底,画完才发现帽子颜色不对。

这种即时修正的本事,可比画完重画省事儿多了。



那AI怎么知道啥时候该停呢?研究团队给它定了个“思维时间表”。

一幅画从上到下分成背景、主体、细节三部分,每部分画完就强制“思考”。

比如画人物,先画上面的背景,停,再画中间的人物主体,停,最后画下面的地面细节,停。

这种分段思考的方式,跟咱们画画时“先整体后局部”的习惯还挺像。

每次“思考”的时候,AI得说清楚两件事,现在画到哪了,下一步要干啥。



比如画苹果,它会记录“已画两个红苹果在盘子左侧”,然后计划“下一步画第三个绿苹果在盘子右侧”。

这种“微型路书”比一开始给的笼统指令管用多了,目标明确,不容易跑偏。

最聪明的是它改画的方式。

传统模型要么不改,要改就整个重画,费时费力。

TwiG只改出错的局部,比如苹果数量多了,就擦掉多出来的那个,其他部分不动。



这种“最小改动原则”,既保证了画面连贯,又节省了时间。

搞出这个框架后,研究团队还做了不少实验。

一开始没训练的时候,TwiG直接套在现有模型上就能用,在复杂场景测试里表现比原来好不少。

再后来用强化学习让它自己跟自己较劲,优化什么时候停、怎么改,现在在空间关系、物体数量这些难题上,已经能跟FLUX.1、Emu3这些大牌模型掰掰手腕了。



我觉得TwiG最厉害的不是画得更像,而是让AI画画有了“可解释性”。

以前AI画错了,你不知道它为啥错,改都没法改。

这种透明化的创作过程,对专业领域太重要了。



视频生成不是总出“穿帮镜头”吗?可以让AI每帧都思考下“上一帧人物在左边,这一帧不能突然跑到右边”。

3D建模总出结构错误?让AI边建边想“这里应该是直角,不能歪”。

这么看来,TwiG可能不只是优化了一个模型,而是给整个视觉生成领域提供了一种新的“创作逻辑”。

当然了,现在TwiG还不算完美。



但比起传统模型“闭着眼睛画”,这种“睁着眼画”的进步已经很明显了。

说不定再过两年,我们让AI画个“客厅里三只猫分别趴在沙发、茶几、地毯上”,它能清清楚楚给画出来,再也不会数错数、摆错位置了。

说到底,AI画画的终极目标不就是“想画啥就画啥,画啥像啥”吗?TwiG范式用“边画边想”的笨办法,反而可能走了条最靠谱的捷径。

毕竟,不管是人还是机器,做事多想想、多看看,总没错。



声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
新一轮救市,开启了

新一轮救市,开启了

地产观点
2026-05-02 08:00:19
一脚刹车震碎“亚洲心脏”梦:中亚避开阿富汗,中国新疆成新枢纽

一脚刹车震碎“亚洲心脏”梦:中亚避开阿富汗,中国新疆成新枢纽

民间胡扯老哥
2026-05-02 08:14:39
台湾地区恐怕要大洗牌!岛内正流传着一个几乎板上钉钉的预判

台湾地区恐怕要大洗牌!岛内正流传着一个几乎板上钉钉的预判

安安说
2026-05-01 20:44:53
单节2分!23中0!史上最离奇黑八剧本,你演谁啊

单节2分!23中0!史上最离奇黑八剧本,你演谁啊

贵圈真乱
2026-05-02 10:10:37
绞杀正式打响!中方下达最严“逐客令”,上万日企倒闭只是开始

绞杀正式打响!中方下达最严“逐客令”,上万日企倒闭只是开始

坠入二次元的海洋
2026-05-01 21:00:13
克宫打得好算盘!特朗普:“没有拜登那3500亿,战争早就结束了”

克宫打得好算盘!特朗普:“没有拜登那3500亿,战争早就结束了”

鹰眼Defence
2026-05-01 16:46:40
别再被误导!树葬根本不是树下埋骨灰,真实操作很少人知道

别再被误导!树葬根本不是树下埋骨灰,真实操作很少人知道

坠入二次元的海洋
2026-05-01 13:03:17
孩子脱臼复位只收100元,家长举报乱收费!卫健委:应收110元,你还少给了!家长拒缴费后离开!

孩子脱臼复位只收100元,家长举报乱收费!卫健委:应收110元,你还少给了!家长拒缴费后离开!

医脉圈
2026-04-25 20:04:06
10年麻将馆老板囗述:凡是爱打麻将的,没有一个人日子是过得好的

10年麻将馆老板囗述:凡是爱打麻将的,没有一个人日子是过得好的

小噎论事
2026-04-24 17:15:21
刘亦菲情商很高,跟佟大为合影,自觉的把肩膀的毛巾给拿下来

刘亦菲情商很高,跟佟大为合影,自觉的把肩膀的毛巾给拿下来

小椰的奶奶
2026-05-02 04:12:03
央视直播!5月2赛程出炉:国乒男团大战东道主 中国女团VS罗马尼亚

央视直播!5月2赛程出炉:国乒男团大战东道主 中国女团VS罗马尼亚

好乒乓
2026-05-02 07:00:04
香烟又被关注!医生研究发现:抽得越多,寿命或越长?告诉你真相

香烟又被关注!医生研究发现:抽得越多,寿命或越长?告诉你真相

路医生健康科普
2026-05-02 08:35:03
太强了!巴西中锋登顶中超射手榜:曾表态感恩中国,愿意归化

太强了!巴西中锋登顶中超射手榜:曾表态感恩中国,愿意归化

邱泽云
2026-05-01 23:42:21
《寒战1994》票房第一,看完后我想说:吴彦祖把港片的大门踹烂了

《寒战1994》票房第一,看完后我想说:吴彦祖把港片的大门踹烂了

林轻吟
2026-05-01 16:49:39
举报铁路员工抽烟后续:员工道歉认错,沈女士已社死,结局太扎心

举报铁路员工抽烟后续:员工道歉认错,沈女士已社死,结局太扎心

奇思妙想草叶君
2026-05-01 15:54:13
白人女性与黑人女性的体味差异,网友真实分享引发热议

白人女性与黑人女性的体味差异,网友真实分享引发热议

特约前排观众
2025-12-22 00:20:06
53岁颜丙燕近况曝光!与小20岁男友相恋6年,如今感情稳定很幸福

53岁颜丙燕近况曝光!与小20岁男友相恋6年,如今感情稳定很幸福

代军哥哥谈娱乐
2026-05-01 10:22:08
许家印钱多没地方花!干了两件大事:270亿买万科股票 空手套白狼

许家印钱多没地方花!干了两件大事:270亿买万科股票 空手套白狼

凉羽亭
2026-05-01 18:41:49
定价仅299刀!苹果全新Mac mini Neo来了,或改写PC市场格局

定价仅299刀!苹果全新Mac mini Neo来了,或改写PC市场格局

叮当当科技
2026-04-30 13:22:13
郑智红牌离场!看似冲动暴怒,实则全是山东足球的人情世故

郑智红牌离场!看似冲动暴怒,实则全是山东足球的人情世故

体坛小鹏
2026-05-01 22:05:22
2026-05-02 11:55:00
简简单单的说
简简单单的说
感谢关注,持续更新
624文章数 104关注度
往期回顾 全部

科技要闻

AI热潮耗尽库存,Mac Mini起售调高200美元

头条要闻

德国学者:欧盟现在必须"拿出点骨气" 挺身对抗特朗普

头条要闻

德国学者:欧盟现在必须"拿出点骨气" 挺身对抗特朗普

体育要闻

坎宁安大逆转:像看到了2006-08的勒布朗

娱乐要闻

白百何罕晒大儿子 18岁元宝越来越帅

财经要闻

雷军很努力 小米还是跌破了30港元大关

汽车要闻

新纪录!零跑汽车4月交付达71387台

态度原创

家居
艺术
数码
手机
公开课

家居要闻

灵动实用 生活艺术场

艺术要闻

色块与笔触的激情之旅!

数码要闻

英特尔为酷睿Ultra 9 386H解锁LPDDR5X-9600支持,雷蛇导入

手机要闻

俞浩晒追觅模块化手机真机,镜头模组、后盖都能拆

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版