网易首页 > 网易号 > 正文 申请入驻

世界模型单GPU秒级生成?腾讯开源FlashWorld,效果惊艳免费体验

0
分享至



厦门大学和腾讯合作的最新论文《FlashWorld: High-quality 3D Scene Generation within Seconds》获得了海内外的广泛关注,在当日 Huggingface Daily Paper 榜单位列第一,并在 X 上获得 AK、Midjourney 创始人、SuperSplat 创始人等 AI 大佬点赞转发。



FlashWorld 不仅将三维场景的生成在单卡上做到了 5~10 秒(相比之前方法提速百倍),更统一支持了单张图片或文本输入,生成的场景可以在网页用户端实时渲染,同时质量还胜过其他同类闭源模型。



  • 主页 :https://github.com/imlixinyang/FlashWorld-Project-Page
  • Github:https://github.com/imlixinyang/FlashWorld
  • Huggingface Demo:https://huggingface.co/spaces/imlixinyang/FlashWorld-Demo-Spark
  • 论文:https://arxiv.org/pdf/2510.13678

目前,作者们还提供了 Huggingface 上的免费 Demo 可以试玩。我们迫不及待地进行了尝试,并且在同一个输入下与 WorldLabs 的 Marble 和前两天发布的 RTFM 模型比较了一下:







从上至下:FlashWorld,Marble,RTFM

可以看到 FlashWorld 在预设轨迹下可以产生非常稳定完整高质量的渲染结果,生成速度比 Marble 的快速模式快 5 倍,而且完全通过前端渲染,不需要像 RTFM 一样需要等待连接后端 GPU 才能使用。

这是怎么做到的呢?

FlashWorld 动机

虽然现在视频模型成为了世界模型的主流,但其负载大的特点难以让每个人都能在自己的设备上进行体验。因此,FlashWorld 选择了基于 3DGS 为场景输出形式的技术路线,这也是为什么 FlashWorld 生成的结果可以在本地网页端实时渲染。

在传统生成 3DGS 场景的方法中,大约分为了两类:

一种是以多视角为中心的方案,代表方法为 CAT3D,Wonderland 等。它们使用了先通过扩散模型生成多视角图像或视频,再通过三维重建得到 3DGS 的两步框架。然而,因为使用的扩散模型往往会生成视角不一致的结果,这类方案容易产生杂乱的纹理细节。

另一种则为以三维为中心的方案,代表方法为 Director3D,DiffusionGS 等。它们把 3DGS 作为中介,直接用于多视角的去噪流程中。但因为场景数据相机标注往往不够准确以及模型知识不够强的问题,这类方案容易产生模糊的渲染效果。

FlashWorld 的核心,简而言之,就是用把 以多视角为中心的教师模型 通过蒸馏损失提升 以三维为中心的学生模型 的视觉质量,这样既保证了理论上的多视角一致性,又不断促使模型接近真实场景的图像质量,顺带地,还极大减少了去噪步数







视频为单图到三维场景生成效果,从上到下依次为同一个网络架构在 MV 模式、3D 模式,以及 FlashWorld 提出的跨模式蒸馏结果。

FlashWorld 方法

FlashWorld 包含了两个训练流程:

1. 双模式预训练:基于视频扩散先验,训练一个同时支持 以多视角为中心(MV)/ 以三维为中心(3D) 双模式输出的多视图扩散模型。

2. 跨模式后训练:以 MV 模式为教师、3D 模式为学生,进行分布匹配蒸馏,兼顾高保真与 3D 一致。



FlashWorld 还利用了分布匹配蒸馏不需要 Ground Truth 的特性,将随机的图像、文本和轨迹组合成分布外的输入进行训练,进一步提升学生模型对各种场景、风格、轨迹泛化能力

实验效果

FlashWorld 在各种任务上进行了充分全面的实验和对比。包括:

  • 图生三维场景(最上一行为 FlashWorld 结果):



FlashWorld 竟然成功地生成出了整齐的栅栏(左上),这在以往的工作中几乎是不可能的。

  • 文生三维场景(最上一行为 FlashWorld 结果):



FlashWorld 对于毛发这些细粒度的细节也有着非常好的生成能力,这在密集视角的重建中可能都是非常困难的问题,而 FlashWorld 竟然只需要输入文本。

  • Feifei Li 团队 WorldScore Benchmark(最左列为 FlashWorld 结果):



可以看到,FlashWorld 对于场景风格、语义和三维性也保持得非常好。

  • 文生三维场景定性指标:



FlashWorld 在该 Benchmark 下以最快的速度领先与其他方法。

  • WorldScore 定性指标



FlashWorld 在该 Benchmark 下以最快的速度下获得了最高的平均分。

FlashWorld 还可以在只需要 RGB 监督的情况下自然学到深度信息



卡通风格的场景也手到擒来(文内所有图均为 3DGS 渲染结果):



快速体验

FlashWorld 还开源了基于 SparkJS 的交互式 Demo,并可以在 Huggingface Spaces 上进行免费体验。

体验地址:https://huggingface.co/spaces/imlixinyang/FlashWorld-Demo-Spark


https://mp.weixin.qq.com/s/feqk9qlWQWXqxJKcHaDOTA

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
签运爆棚冲击冠军!张本智和迎翻身良机,中国男队空缺引风波

签运爆棚冲击冠军!张本智和迎翻身良机,中国男队空缺引风波

阿晞体育
2025-11-03 13:54:17
中共中央批准,开除宋朝华党籍

中共中央批准,开除宋朝华党籍

新京报
2025-11-03 11:16:30
“教授8万副教授7万博士6万”:部分高校职称晋升现“金钱游戏”,教师横向课题考核催生造假产业链

“教授8万副教授7万博士6万”:部分高校职称晋升现“金钱游戏”,教师横向课题考核催生造假产业链

红星新闻
2025-10-31 21:35:21
吴石女儿吴学成,不愧是将门虎女,三重逆袭半世守魂苦难熬成荣耀

吴石女儿吴学成,不愧是将门虎女,三重逆袭半世守魂苦难熬成荣耀

阿钊是个小小评论员
2025-11-03 02:33:45
小S彻底走出伤痛!和好友看演唱会,包裹严实本想低调却被认出

小S彻底走出伤痛!和好友看演唱会,包裹严实本想低调却被认出

心静物娱
2025-11-03 10:43:04
退休后才发现:大多数退休老人不旅游,去旅游的往往是这3类人!

退休后才发现:大多数退休老人不旅游,去旅游的往往是这3类人!

双色球的方向舵
2025-11-03 12:21:19
彻底凉了,西贝闭店潮来袭,贾老板求锤得锤

彻底凉了,西贝闭店潮来袭,贾老板求锤得锤

吃瓜局
2025-10-27 20:39:25
大量“5G通信壳”流入闲鱼!原价799元起,如今全新才27块

大量“5G通信壳”流入闲鱼!原价799元起,如今全新才27块

闲搞机
2025-11-02 11:14:42
“吉林一号”对台湾省进行全方位拍摄,是一件非常轻松的事情

“吉林一号”对台湾省进行全方位拍摄,是一件非常轻松的事情

吉刻新闻
2025-11-01 00:17:11
黑龙江25岁独生子回家发现母亲怀孕后崩溃:我爸都没了好多年了

黑龙江25岁独生子回家发现母亲怀孕后崩溃:我爸都没了好多年了

牛牛叨史
2025-10-31 14:36:48
莫迪目睹!印度议员当场拆iPhone,震惊全场的真相曝光!

莫迪目睹!印度议员当场拆iPhone,震惊全场的真相曝光!

丹徒生
2025-11-02 07:57:35
【重磅官宣】中国银行普惠金融再升级!网贷多、负债高也能贷,最高1800万,3个工作日内极速放款!

【重磅官宣】中国银行普惠金融再升级!网贷多、负债高也能贷,最高1800万,3个工作日内极速放款!

闺蜜财经
2025-11-03 12:47:03
中方出手制止朱拉尼,海湾国家迅速转变立场,叙利亚局势迎来新局面

中方出手制止朱拉尼,海湾国家迅速转变立场,叙利亚局势迎来新局面

起喜电影
2025-11-02 05:16:49
没想到,丈夫密春雷的争议过去仅两年,董卿就以“这种姿态”出现

没想到,丈夫密春雷的争议过去仅两年,董卿就以“这种姿态”出现

史行途
2025-11-03 08:55:18
火箭与绿军交易,篮网获渔利,双方共赢

火箭与绿军交易,篮网获渔利,双方共赢

徐觳解说
2025-11-03 08:32:38
51岁陈奕迅剪掉卷发,撞脸懒羊羊变大叔,网友直呼认不出冲上热搜

51岁陈奕迅剪掉卷发,撞脸懒羊羊变大叔,网友直呼认不出冲上热搜

妙知
2025-11-02 22:56:16
中国颜值巅峰的6个AAAAA景区,去过3个很幸福,去过6个此生无悔!

中国颜值巅峰的6个AAAAA景区,去过3个很幸福,去过6个此生无悔!

户外钓鱼哥阿勇
2025-10-21 08:15:56
云南一学校通报学生出现身体不适的情况:住院学生已全部康复出院返回学校

云南一学校通报学生出现身体不适的情况:住院学生已全部康复出院返回学校

极目新闻
2025-11-02 19:29:13
72岁老人中毒身亡!医生提醒:吃完降压药千万别碰它,中老年要看

72岁老人中毒身亡!医生提醒:吃完降压药千万别碰它,中老年要看

39健康网
2025-10-28 19:30:54
章泽天被曝和刘强东冷战后续:被扒消费降级,太像离婚后的大S!

章泽天被曝和刘强东冷战后续:被扒消费降级,太像离婚后的大S!

柠檬有娱乐
2025-11-01 14:25:10
2025-11-03 15:15:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
11626文章数 142497关注度
往期回顾 全部

科技要闻

余承东内部信:鸿蒙下一步要实现上亿覆盖

头条要闻

美媒:中国正迅速充实石油储备 或与俄油设施遭袭有关

头条要闻

美媒:中国正迅速充实石油储备 或与俄油设施遭袭有关

体育要闻

开拓者官宣召回杨瀚森 队记解析核心原因

娱乐要闻

录音彻底揭露知名导演王家卫的体面

财经要闻

马斯克:未来5-6年传统手机与App将消失

汽车要闻

超跑同款磁流变减振 深蓝L06包你开得爽

态度原创

艺术
时尚
亲子
数码
手机

艺术要闻

90后跨国夫妻,到浙江山居:花20万租20年,值了!

秋季穿衣别太老气横秋,看看这27套造型,时尚舒适又显高

亲子要闻

程晓玥官宣怀二胎,透露早孕反应非常严重,近照曝光孕肚超明显

数码要闻

消息称联想拯救者 Y700 小平板 2026 款暂定明年上半年登场

手机要闻

一加有望推新系列手机冲量:骁龙8s Gen4、大电池直屏、代号加Pro

无障碍浏览 进入关怀版