网易首页 > 网易号 > 正文 申请入驻

李飞飞世界模型“杀手锏”开源!网页3D大场景秒开,手机畅跑1亿点云

0
分享至


智东西
作者|王涵
编辑|李水青

智东西4月15日报道,今天,“AI教母”李飞飞的世界模型团队World Labs开源了动态3D高斯泼溅(3DGS)渲染器Spark 2.0


▲Spark 2.0官宣开源(来源:X)

李飞飞本人在该成果发布的第一时间评论称:“Spark 2.0现在可以在任意设备上流式传输超过1亿个高斯泼溅!能够为基于网页的3DGS渲染开源生态做出贡献,我们感到无比自豪!”


▲李飞飞评论(来源:X)

Spark系列模型于去年首次发布,是一个专为网页构建的动态3D高斯泼溅(3DGS)渲染器。它与网页端最流行的3D框架THREE.js集成,并利用WebGL2在任意带有网页浏览器的设备上运行,包括桌面端、iOS、Android以及VR设备。

与上一版本相比,Spark 2.0新增了一套细节层级(LoD)系统,能够在任意设备上流式传输并渲染超大规模的3DGS世界。

▲在儿童房间里自由探索,物品细节清晰(来源:World Labs博客)

此外,新版还使用了.RAD的3DGS文件格式,支持渐进式细化的流式传输,而虚拟泼溅分页系统则通过固定的GPU内存分配,实现了对无限泼溅世界的访问,通俗来讲就是可以渲染无限大的3D场景。


▲草原中的洞穴小屋,场景转换无畸变(来源:World Labs博客)

如此流畅连贯的效果是怎么实现的?针对大规模场景的扩展难题,Spark 2.0运用了3项图形学与系统底层方案:细节层次优化、渐进式流式加载以及虚拟显存管理。

李飞飞团队在博客中,对Spark 2.0背后的三项技术进行了十分详细的展开,具体如下:

一、采取连续式细节层级,稳定渲染百万级泼溅

在计算机图形学中,处理大型3D场景时常常采用细节层级系统,该系统会根据物体与观察者之间的距离自动调整渲染的细节程度,

不同的细节层级方法介于离散式与连续式之间,形成一个技术谱系。采用离散式细节层级(LoD,Level-of-Detail)时,系统需要为泼溅效果制作多个版本,从精简到精细依次递增,再根据各版本的近似边界与相机的距离,在不同版本间进行切换。

Spark的早期系统设计支持离散模式,但其存在明显缺陷:当用户在场景中移动、不同版本突然切换时,画面会出现明显的跳变;此外,将泼溅效果按区块分组后,用户还能看到清晰的边界痕迹。

Spark 2.0的LoD设计采用了一种连续式LoD方法,所有泼溅都存在于一个层级结构中,即LoD泼溅树。Spark 2.0会沿着树的一个边界切割面单独选取泼溅,从而在视口内优化泼溅的细节。


▲LoD泼溅树(来源:World Labs博客)

树中的每个内部节点都是其子节点的一个低分辨率版本,通过将子节点的多个泼溅合并成一个新的泼溅来近似表示子节点泼溅的形状和颜色。这个过程一直持续到树的根节点——一个单一的、大的泼溅,它聚合了该物体中所有泼溅的整体形状和颜色。

利用这棵LoD泼溅树,Spark 2.0会计算出穿过该树的一个“切片”,从而为当前视口选取最佳的N个泼溅进行渲染。通过设置一个最大泼溅预算N(根据设备类型不同,通常在50万到250万个泼溅之间),系统确保每帧只需渲染恒定数量的泼溅,从而获得稳定、高帧率的渲染性能。通过上下调整N值,即可在帧率和泼溅细节之间进行权衡。


▲公园中的自行车,细节真实,前后一致性强(来源:World Labs博客)

Spark 2.0通过同时遍历多个LoD泼溅树实例,对该算法进行了进一步扩展。与仅从单一根节点开始遍历不同,针对每个3DGS物体,拓展后的算法会将其屏幕尺寸及泼溅节点 (dm0,Sm0) 一同加入初始优先队列,后续流程与原有逻辑保持一致,可在场景中所有3DGS物体上同步筛选需细化的细节层级。

这一设计让大规模组合世界的创建变得简单高效:只需在空间任意位置添加3DGS LoD物体,Spark 2.0便能自动计算出每帧需渲染的所有LoD泼溅的最优全局子集。

二、设计新型文件格式,大场景3D世界在网页上秒开

Spark2.0定义了一种新的文件格式.RAD(代表RADiance场),该格式能够压缩3DGS数据,并支持随机访问流式传输,从而在数据通过网络传输时实现渐进式细化。

目前最常见的两种3DGS数据文件格式是.PLY和.SPZ,它们代表了两种不同的数据编码方式:行式存储和列式存储。

.PLY文件是按行顺序存储的,在接收到数据后立即显示泼溅,从而实现渐进式加载。但它未经过压缩,且编码精度存在浪费。.SPZ文件将相似类型的数据按列顺序存储在一起,从而获得了更好的压缩率。但遗憾的是,它无法实现渐进式加载,因为在任何泼溅获得其所有属性之前,必须接收完整的文件。

为实现3DGS数据的高效压缩与流式传输,李飞飞团队设计了全新的.RAD文件格式。该格式编解码简洁、扩展性强、编码精度可调节,同时支持随机访问


▲.RAD文件格式(来源:World Labs博客)

文件结构十分清晰:以RAD0文件头开头,随后依次为头部元数据长度、元数据JSON,以及一个或多个各含6.4万个泼溅的数据块。头部元数据记录了所有数据块的偏移地址与字节大小,支持任意顺序读取数据块内容。

单个数据块也采用相似结构:以RADC块头起始,接着是块元数据长度、元数据JSON,最后为该6.4万个泼溅的压缩数据。泼溅各项属性按列存储,可分别选用自定义编码方式。同类数据集中存放,再通过Gzip压缩,能获得出色的压缩率。

头部采用JSON编码,可通过版本字段与新增可选字段保障后续扩展。数据类型编码与压缩算法均以字符串名称在元数据中指定,方便后续扩展新类型。

三、采用虚拟内存,开辟1600万泼溅固定显存池

虚拟内存是一项内存管理技术,它以固定大小的物理内存为基础,向程序提供大容量的虚拟地址空间,并通过页表以固定尺寸的页为单位,完成虚拟地址与物理地址的映射。

Spark 2.0将这一思路应用到3DGS渲染中。具体来讲,李飞飞团队在GPU上开辟了一块可容纳1600万个泼溅的固定显存池,自动管理GPU中每6.4万个泼溅为一页的“显存页”,与.RAD文件中对应大小的虚拟数据块之间的映射。


▲虚拟内存(来源:World Labs博客)

数据块会按照LoD遍历顺序加载到空闲页面中;当页表占满,且新数据块优先级更高时,系统会按最近最少使用(LRU)策略淘汰旧数据。

Spark 2.0支持同时加载多个.RAD文件并共用同一张页表。对每个文件,系统会记录数据块到页表的映射,以及页表到对应文件与数据的反向映射。

在遍历多棵LoD泼溅树时,引擎会记录数据块与文件的访问顺序,形成全局统一的优先级排序,进而对场景中所有3DGS物体的泼溅加载与存储进行统一优化。

结语:Spark 2.0降低空间智能的创作门槛,争夺基础设施定义权

从2025年的首次亮相到今日的2.0版本迭代,Spark的进化轨迹某种程度上也映射着3DGS这一技术的成熟曲线。

三维内容的交付长期以来被两座大山压着:一是资产太重,动辄GB级的文件让网页端望而却步;二是渲染太贵,高端GPU才能流畅运行的场景,手机浏览器只能围观。

Spark 2.0通过连续LoD、.RAD格式和虚拟显存“三板斧”,让高质量三维内容像普通图片和视频一样,在互联网上自由流动、即点即看。

李飞飞团队选择将该技术开源,降低了空间智能的创作门槛,同样也是在争夺下一代空间内容基础设施的定义权。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
斯普利特下课?开拓者老板只愿给主帅100万年薪:市场价四分之一

斯普利特下课?开拓者老板只愿给主帅100万年薪:市场价四分之一

罗说NBA
2026-04-15 09:33:55
新账旧账一起算!一旦台海战争爆发,解放军决不放过台军第333旅

新账旧账一起算!一旦台海战争爆发,解放军决不放过台军第333旅

寻墨阁
2026-03-28 13:58:19
快手搜索人员调整:王毅离职,程稷李宣平接任

快手搜索人员调整:王毅离职,程稷李宣平接任

申妈的朋友圈
2026-04-13 11:09:18
海峡被封,特朗普给了中国两条路,中方二话不说,马上给俄发邀请

海峡被封,特朗普给了中国两条路,中方二话不说,马上给俄发邀请

阿銍武器装备科普
2026-04-15 04:22:55
骨科医生警告:最伤膝盖的不是爬楼,是老人天天做的 5 件事

骨科医生警告:最伤膝盖的不是爬楼,是老人天天做的 5 件事

高中医健康说
2026-04-15 14:20:03
打了45天,伊朗终于发现最大敌人不是美国,不是以色列,而是他们

打了45天,伊朗终于发现最大敌人不是美国,不是以色列,而是他们

面包夹知识
2026-04-15 15:32:31
巴萨球迷意难平!不止因为总比分2-3马竞,更多在于以下这五点!

巴萨球迷意难平!不止因为总比分2-3马竞,更多在于以下这五点!

田先生篮球
2026-04-15 07:02:01
同事借我车去青海,我提前把ETC卡拔了,2小时后他从收费站来电了

同事借我车去青海,我提前把ETC卡拔了,2小时后他从收费站来电了

张道陵秘话
2026-04-11 16:37:21
细思极恐!美国30年前不打中国,不是仁慈,是算错了一笔致命大账

细思极恐!美国30年前不打中国,不是仁慈,是算错了一笔致命大账

贱议你读史
2026-04-08 00:31:32
蒋孝章究竟有多美丽?1967年参加寿宴时的照片揭示她独特的气质

蒋孝章究竟有多美丽?1967年参加寿宴时的照片揭示她独特的气质

阿器谈史
2026-03-20 10:19:05
一秒入夏!大连今天最高气温冲至27.4℃,明日将迎降温降雨

一秒入夏!大连今天最高气温冲至27.4℃,明日将迎降温降雨

半岛晨报
2026-04-15 17:26:49
有没有人敢爆自己的瓜?网友:确定玩这么大吗?

有没有人敢爆自己的瓜?网友:确定玩这么大吗?

夜深爱杂谈
2026-02-18 20:55:58
知名国企集团,六个月没发工资了

知名国企集团,六个月没发工资了

新浪财经
2026-04-13 04:16:19
安达曼海发生船只倾覆事故约250人失踪

安达曼海发生船只倾覆事故约250人失踪

财联社
2026-04-14 23:20:07
老年男性私处的毛发变白,代表性功能下降了?听听医生怎么说

老年男性私处的毛发变白,代表性功能下降了?听听医生怎么说

荷兰豆爱健康
2026-04-15 19:28:57
1921年,两个特务拽住毛主席问:你认识毛泽东吗?找到他赏你大洋

1921年,两个特务拽住毛主席问:你认识毛泽东吗?找到他赏你大洋

铜臭的历史味
2026-04-14 10:49:26
八千里路云和月:直到丁玉娇被侵犯,万福才知,张云旗离死不远了

八千里路云和月:直到丁玉娇被侵犯,万福才知,张云旗离死不远了

楼兰娱姐
2026-04-15 12:41:54
疯了!1年3只十倍股!

疯了!1年3只十倍股!

格隆汇
2026-04-15 18:47:10
伊朗至今都都不敢相信,一场战争为伊朗打来了50年的国运

伊朗至今都都不敢相信,一场战争为伊朗打来了50年的国运

健身狂人
2026-04-15 18:11:34
无货可出!三星显示器本月国行所有订单作废

无货可出!三星显示器本月国行所有订单作废

3DM游戏
2026-04-14 20:01:07
2026-04-15 21:20:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
11593文章数 117029关注度
往期回顾 全部

科技要闻

ChatGPT十亿用户又怎样?Anthropic直接贴脸

头条要闻

郑丽文返台穿中山装喊话赖清德:愿拿十二万分诚意对谈

头条要闻

郑丽文返台穿中山装喊话赖清德:愿拿十二万分诚意对谈

体育要闻

三球准绝杀戴大金链:轰30+10自我救赎

娱乐要闻

谢娜现身环球影城,牵手女儿温馨有爱

财经要闻

业绩失速的Lululemon:"健康"人设崩塌?

汽车要闻

空间丝毫不用妥协 小鹏GX首发评测

态度原创

房产
家居
教育
数码
亲子

房产要闻

重磅调规!341亩商改住+中小学用地!宝龙城这把稳了?

家居要闻

简而不减 暖居之道

教育要闻

北京四中招聘退休教师!暗藏北京教改大动作!

数码要闻

小米再炸场!REDMI K Pad 2封神:天玑 9500+165Hz+9100mAh,8.8 英寸

亲子要闻

无痛分娩对母婴健康有没有影响?打无痛真的会腰痛吗?

无障碍浏览 进入关怀版