网易首页 > 网易号 > 正文 申请入驻

这个新开源的世界模型只有1.3B,单卡就能实时跑!

0
分享至

来源:市场资讯

(来源:量子位)

大火的世界模型,真的不能拿一张消费级显卡跑吗?

有的,家人们,真的有的。

因为就在刚刚,一个国产的、开源的世界模型,做到了!

来,先来看一下第一人称射击效果:


视频地址:

https://mp.weixin.qq.com/s/fOoXddwWjKixTbrMQiyd8Q

在雪地科幻场景里,角色一边移动和转动视角,一边开火,过程中还能看到爆炸、火焰、能量护盾等反馈。

重点是这些变化都发生在同一个持续生成的世界里,场景也会随着操作继续往前走。

再来看大热的《奥德赛》的场景:


视频地址:

https://mp.weixin.qq.com/s/fOoXddwWjKixTbrMQiyd8Q

这次是第三人称视角,角色在巨型木马、城墙和火光之间向前探索。随着角色不断移动,近处的人物、地面和远处建筑也在持续展开,整个场景的空间关系基本能一直维持下来。

再换一个完全不同的风格:


视频地址:

https://mp.weixin.qq.com/s/fOoXddwWjKixTbrMQiyd8Q

三个Demo,三种完全不同的世界。

而跑出这些效果的,就是蚂蚁灵波在 7 月开源的LingBot-World 2.0。

而刚刚,他们又发布了 LingBot-World 2.0 的轻量版,参数规模只有1.3B。是面向消费级单卡GPU设计、可以在本地实现实时世界生成的那种。


视频地址:

https://mp.weixin.qq.com/s/fOoXddwWjKixTbrMQiyd8Q

LingBot-World 2.0在今年7月开源的是14B主模型。这套世界模型已经能做到小时级持续生成、丰富的动作和事件交互,并在相应算力和推理配置下实现720p/60fps的高清实时体验。

彼时,“1.3B”这个数字,就已经悄悄出现在了论文摘要里。


而且就在上周的IFA柏林消费电子展开幕演讲上,这个伏笔又被公开点了一次。

在开幕演讲中,AMD高级副总裁Jack Huynh一共点名了 3 个开源模型,除了智谱、千问,就是LingBot-World。他拿LingBot-World 2.0做了Demo。一个Prompt生成世界之后,角色可以在中国小镇、欧洲乡村等环境里长时间探索、环顾和行动,场景还会随着交互继续向前展开。

Jack Huynh看完之后给了一句评价:


一切的承诺,今天,均已兑现。

但比起又一个开源这个动作来说,我们或许更好奇的是——

能本地实时跑起来的世界模型,到底是怎么做到的?

要回答这个问题,得先从世界模型和普通视频生成的区别说起。

平时我们用AI生成一段视频,输入Prompt之后,等几十秒甚至几分钟都很正常。模型把整段视频生成完,再把结果交到你手里,事情基本就结束了。

但世界模型显然不是这么干的。人在场景里往前走一步,模型就得接着往前生成;视角转向左边,画面也得跟着变化……换句话说,世界模型是在生成一个持续演进的世界。

虽然7月的LingBot-World 2.0已经把这件事做到了一个相对不错的效果,例如做过超过一小时的不间断生成测试,从水乡、城市一路跑到雪地、太空等不同场景,整个过程中,模型都能维持比较稳定的场景结构和视觉质量。


但这一套体验的背后,工程栈也是相当繁重的。

蚂蚁灵波在部署层面堆了编译器级别的注意力Kernel优化、动态KV缓存调度、异步流媒体传输,还有混合并行推理策略等……为的是让高质量的实时世界能先跑起来。

于是在今天之前,绝大多数人接触世界模型的方式其实只有两种:看官方放出来的视频,或者去在线Demo页面点两下。

所以1.3B版本想要解决的问题是,能不能在较少的算力情况下,也把它跑起来。

不过从14B到1.3B,蚂蚁灵波并非是先做出大模型然后再砍小,而是先把一条训练路线走通,小模型是这条路线走到最后自然出现的产物。

为此,蚂蚁灵波团队首先训练了一个叫Causal World的模型。所谓Causal,可以简单理解成,模型生成当前状态时,只能依赖过去已经发生的视觉信息,以及用户到此刻为止给出的输入,未来还没发生的内容不能提前看,即为因果。

但在这个过程中,自回归模型会把自己刚刚生成出来的结果继续当成后面的输入。前面只要稍微偏一点,这个误差就有可能一路被带到后面。生成时间拉长之后,纹理会变糊,几何结构会逐渐变形,整个场景甚至可能慢慢漂掉。

为了让Causal Pretrain阶段的模型在长上下文里保持住生成质量,LingBot-World 2.0又设计了MoBA,也就是Mixture of Bidirectional and Autoregressive Attention Mask。

它主要解决的是纯Teacher Forcing在长上下文里容易出现的另一个问题。随着上下文越来越长,模型会越来越依赖前面已经给出的干净Context,最后容易出现过拟合,视觉质量也会跟着下降。

MoBA在原有Teacher Forcing Mask里加入一部分双向Attention,相当于给训练过程增加一层正则,让模型适应更灵活的视频长度,同时缓解这种过拟合和画质退化。


这一阶段训练出来的Backbone,先把世界模型的基础能力撑了起来。

团队后来还专门拿这个Causal Pretrained Backbone和MAGI、HY-World 1.5做过长时生成对比。从5秒到60秒,LingBot-World 2.0在纹理、几何结构和场景连贯性上的保持更加稳定。


但高质量的Backbone还有一个很现实的问题:慢。

这个经过因果预训练的Backbone,同时也承担Teacher的角色。Teacher可以给出质量更高的生成结果,但每一帧都需要经过很多步去噪,如果直接拿去做实时交互,计算成本还是太高。

所以接下来,LingBot-World 2.0开始做蒸馏。

第一步是一致性蒸馏,也就是Consistency Distillation。它把Teacher原本需要很多步才能走完的去噪轨迹压缩到少数几步,让Student用更少的计算完成生成,同时尽量保留预训练阶段已经学到的动作条件动态能力。

不过Student真正部署出去以后,面对的大量状态都来自它自己上一轮的生成。前面只要出现偏差,后面还是有可能继续放大。

于是团队又在这一步加入了DMD,也就是Distribution Matching Distillation,并且专门让Student在自己的长时self-rollout轨迹上继续训练。

换句话说,模型以后真正会跑进什么状态,训练时就先让它提前见过。这种训练方式可以减少长时自回归过程里的累计漂移。

到这里,整条路线才算真正接了起来。

LingBot-World 2.0先用Causal Pretrain打下一个长时生成相对稳定的世界模型底座,再让Teacher提供高质量的生成过程,随后通过蒸馏把原本需要多步完成的计算压缩到少步,最后再让Student去适应自己真正运行之后会遇到的状态。

所以从表面看,这次只是又多了一个小尺寸版本。往深一层看,蚂蚁灵波实际上把LingBot-World 2.0的研发链路也往外开放了一截。

若是我们把时间往前倒一点,就不难发现LingBot-World这一年的变化几乎一直围绕两个字展开——门槛:

三次开源,依次回答的其实是三个问题:

能不能做出来,能不能做得久、做得真,以及能不能让更多人跑起来。

而这次蚂蚁灵波把Causal Pretrain和双向Teacher一起放出来,走的也是同一个逻辑。

小模型负责让更多人把世界模型跑起来。这两个上游模型管的是跑起来之后,社区能不能接着往下改,做后训练、做蒸馏、做压缩、做垂直场景适配。

因此,如果说世界模型的上半场,比的是能不能生成得更久、更真;那么下半场要比的,可能是能不能让普通人手上那张卡也跑得动。

这个规律在AI发展的过程中其实已经重复过好几回了。真正让一项技术扩散开的,往往不是最强的那个版本,而是第一个足够小、足够便宜、能被拿来试一试的版本。

最后,如果说世界模型一直在尝试把AI装进一个可以无限延展的世界里。

那么现在,当门槛被打下去之后,这个世界终于开始装得进普通人的显卡了。

官网:

https://technology.robbyant.com/lingbot-world-v2

模型:

https://huggingface.co/collections/robbyant/lingbot-world-v2

代码:

https://github.com/robbyant/lingbot-world-v2

论文:

https://arxiv.org/pdf/2607.07534

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1-2!输球不可怕,可怕的是赛后安东尼奥的这番话:让人很揪心!

1-2!输球不可怕,可怕的是赛后安东尼奥的这番话:让人很揪心!

田先生篮球
2026-09-30 16:55:07
徐建任重庆市委常委

徐建任重庆市委常委

新京报
2026-09-30 12:16:06
8年赚16亿!奥斯卡:海港给我世界第一高薪 还有很多钱在中国没取

8年赚16亿!奥斯卡:海港给我世界第一高薪 还有很多钱在中国没取

念洲
2026-09-30 07:06:22
刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

静若梨花
2026-08-29 10:42:55
赛力斯半价“问界”来了,华为彻底傻眼!

赛力斯半价“问界”来了,华为彻底傻眼!

财经三分钟pro
2026-09-29 14:28:40
上海市政府任命的国家工作人员举行宪法宣誓,朱忠明监誓

上海市政府任命的国家工作人员举行宪法宣誓,朱忠明监誓

上观新闻
2026-09-30 16:03:28
地方财政这么紧张,会出现类似1998年政府机构、人员精简的改革吗

地方财政这么紧张,会出现类似1998年政府机构、人员精简的改革吗

职场资深秘书
2026-09-29 14:00:14
惜败!54岁安东尼奥回应:满意全队表现 韩国队靠旅欧球员压制国足

惜败!54岁安东尼奥回应:满意全队表现 韩国队靠旅欧球员压制国足

我爱英超
2026-09-30 16:49:47
突发讣告!25岁女子患癌去世,生前曾自述生活习惯:12点到2点间睡觉、一周喝3-4次奶茶,平时吃外卖或下馆子

突发讣告!25岁女子患癌去世,生前曾自述生活习惯:12点到2点间睡觉、一周喝3-4次奶茶,平时吃外卖或下馆子

南方都市报
2026-09-30 09:10:52
财政部确认了:10月1日起,我国将对居民购房实施贷款贴息,聚焦首套刚需,单户所购住房建筑面积不超过120平方米、购房价格不超过150万元

财政部确认了:10月1日起,我国将对居民购房实施贷款贴息,聚焦首套刚需,单户所购住房建筑面积不超过120平方米、购房价格不超过150万元

吉刻新闻
2026-09-29 20:35:46
伴君如伴虎!伊朗总统回国后,穆杰塔巴甩下狠话:你说的根本不算

伴君如伴虎!伊朗总统回国后,穆杰塔巴甩下狠话:你说的根本不算

快乐彼岸
2026-09-29 14:44:32
虽败犹荣!1比2不敌韩国队,中国男足U23队依旧创造亚运最佳战绩

虽败犹荣!1比2不敌韩国队,中国男足U23队依旧创造亚运最佳战绩

上观新闻
2026-09-30 16:12:54
中央网信办部署开展“清朗·整治短视频虚假人设乱象”专项行动

中央网信办部署开展“清朗·整治短视频虚假人设乱象”专项行动

界面新闻
2026-09-30 16:35:27
日本沸腾了,见到中国,当面给承诺了!

日本沸腾了,见到中国,当面给承诺了!

故事终将光明磊落
2026-09-29 18:17:37
确认了!空降上海男篮!NBA全明星联手张镇麟

确认了!空降上海男篮!NBA全明星联手张镇麟

篮球实战宝典
2026-09-30 15:52:57
日媒:中国高层连续两天会见日本议员,实属罕见

日媒:中国高层连续两天会见日本议员,实属罕见

观察者网
2026-09-30 15:26:15
北理工美女裴老师的故事

北理工美女裴老师的故事

阿亮评论
2026-09-30 12:03:54
收评:彻底麻了,亏掺了,A股竟然震荡一整天!

收评:彻底麻了,亏掺了,A股竟然震荡一整天!

风风顺
2026-09-30 02:50:05
深物业A直线涨停 上演“地天板”

深物业A直线涨停 上演“地天板”

财闻
2026-09-30 11:28:26
真没想到!为重振房地产,官方放了如此大招,评论区炸锅……

真没想到!为重振房地产,官方放了如此大招,评论区炸锅……

慧翔百科
2026-09-30 08:42:23
2026-09-30 17:31:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4938875文章数 9700关注度
往期回顾 全部

游戏要闻

《Fate/EXTRA Record》开发团队TGS访谈:重遇月之海

头条要闻

40年首球 中国U23男足1比2不敌韩国无缘亚运会决赛

头条要闻

40年首球 中国U23男足1比2不敌韩国无缘亚运会决赛

体育要闻

石雨豪:亚运金牌与背后的十年

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

中央财政首次贴息房贷 定向支持首套刚需

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

汽车要闻

真实力用“大考”亮出来 猛士X700开启预售 24.98万起

态度原创

本地
教育
艺术
旅游
时尚

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

教育要闻

英国最新发布的中国大学排名:清北直逼全球前10,哈工大进步明显,南医大表现优异!

艺术要闻

90年代重庆豪宅群,烂了30多年,现在荒成什么样了?

旅游要闻

百券齐发,国庆陪你“象”出游!景区门票、零食券、茶饮券连抢10天

老板,我的脑子好像忘在家里了

无障碍浏览 进入关怀版