网易首页 > 网易号 > 正文 申请入驻

一张5090跑起34B实时世界模型,国产玩家拿下英伟达大奖!

0
分享至

来源:市场资讯

(来源:量子位)

一个从国内虚拟片场里成长出来的实时世界模型,在NVIDIA的舞台上拿了奖。

10月15日,2026 NVIDIA创业企业展示半程展示在苏州金鸡湖举行,来自重庆的达瓦科技凭借实时世界模型产品Scenes AI拿下「半程展示卓越企业奖」

本届赛事在全国办了11场分站活动,580多家科创企业报名,最终30家NVIDIA初创加速计划(Inception)会员进入半程展示。


和多数视频模型比拼“下一帧像不像”不同,Scenes AI走的是另一条路:

不预测下一帧画面,而是维护一个持续运行的世界状态——场景、人物、相机、灯光、物体和物理,各自是一组可以单独读写的变量。

世界里每发生一点变化,模型要做的不是把整段画面重画一遍,而是只更新发生变化的那部分状态,再把结果写回世界,让下一刻在此基础上继续演化。

于是它要回答的问题也变了:不是“下一帧长什么样”,而是如果改变世界里的一个变量,世界接下来会发生什么?

更关键的是,它的输入不是游戏引擎或代理画面,而是一台普通摄像头拍到的真实空间

用达瓦自己的话说:A video is an output. A world is a process.视频是一个结果,世界是一个过程。


先看效果:改掉一整个世界,也能只改一面墙

先来看最新一版Demo。

左上角是摄像头此刻拍到的真实房间:白墙、绿幕、一把铁艺椅子、墙角一只玩偶熊,一个人站在中间扶帽檐。

大画面是同一时刻的模型输出:房间变成了一片手绘风格的夏日草原,人变成了戴黄色棒球帽的动画少女,动作同步。

细看会发现,变的只是外观。椅子还在少女身后,小熊还坐在原来的“墙角”,右侧深色柜子的位置和透视都没动,草地上甚至还隐约留着两面墙交汇的折线。

考点一:全局重渲染,结构不能乱。

这一帧里,唯一被改写的变量,就是「画风」。

人物动作、家具位置、遮挡关系和空间透视,全部被当作保持条件锁住。模型得先认出人、椅子、玩偶和柜子各是什么,再在整屋换风格的同时把它们钉在原位,而且每一帧都要成立。


考点二:局部改写,还得记得住。

同一场景里,一个小朋友在墙上写下“DW未来”,随后抱起一只玩偶跑出了画面;男生起身,房间里长出了树,地上燃起一堆篝火;接着他又抬手控制天气,屋里先是飘雪,又下起了雨。

一连串事件下来,人来了又走,场景里长出了新东西,天气变了好几轮,墙上那四个字始终还在,位置和笔画都没变。

这考的是世界状态有没有被正确写回、并且持续保持。

对逐帧生成的模型来说,画面里的变化越多,之前留下的细节越容易被“冲掉”,每一次重画都可能把它悄悄改掉;而在Scenes AI里,“墙上有字”在写下的那一刻就成了世界状态的一部分。之后无论发生什么,只要没有事件去改它,它就一直留在那里。


9月首发演示里也是同一套逻辑:雪怪破土离开后,地上的坑一直留在原地;铁艺椅子连续两次被改写成狼首铁王座,主播还能坐回原位;窗帘下摆起火,紧挨着的玩偶和花盆没有被波及。


整套生成跑在本地一张RTX显卡上,画面右上角实时显示帧率。


一条不一样的路线:从“重画下一帧”到“更新世界状态”

Demo背后,是达瓦对世界模型的一个基本判断:

视频生成已经足够强大,但世界还没有开始运行。

主流视频生成的交付物是“一段结果”:给一个提示词,生成一段好看的视频,然后结束。

即便做成逐帧连续合成,关注的仍是“下一帧看起来像什么”,身份、几何、光照和物理上的误差,会随着时间一点点累积。

达瓦给世界模型下的定义不一样:改变一个状态变量之后,世界为何变化、又将如何演化。

举个最简单的例子,输入一句“把灯光变成夕阳”:

达瓦把这套思路浓缩成一句话:修改一个变量,保留住整个世界。


落到计算上,就是从“重画下一帧”转向“更新状态增量 ΔS”——只更新发生变化的局部,其余世界状态保持稳定、可查询、可预测。

按这个定义,一个持续运行的世界被拆成了五个部分:

Persistent World = World Memory + Neural Physics + Sparse Diffusion + Neural Rendering + AI Lighting

即世界记忆、神经物理、稀疏扩散、神经渲染和AI光照。


在达瓦看来,从生成一段视频走到运行一个可交互的世界,有五道关必须同时过:

跨帧记忆、局部可控、物理与因果、实时计算效率,以及能解释“世界为何这样变化”的数据。

用他们的话说,难点不是造一个更大的模型,而是状态、控制、物理与算力必须同时成立。


后面要讲的精准控制和实时渲染,正是这条路线在“控制”和“算力”两道关上交出的答卷。

技术架构:控制层做重,生成层做轻

把这条路线落成工程系统,达瓦的做法可以概括为一句话:控制层做重,生成层做轻。

Scenes AI没有把所有问题都交给一个大模型逐帧重画,而是在“创作意图”和“画面生成”之间,加了一层以世界状态为核心的控制系统,达瓦称之为视频生成的控制层


一条典型的运行链路是:

世界状态 → 行动或接触事件 → 状态更新 → 局部生成与合成 → 结果写回。

还是拿前面那段“DW未来”的Demo来看:

这里有个关键区分:哪些变化是“瞬态”的,哪些是“持久”的

前者交给渲染层处理完即可,后者必须进入世界状态。Demo里“坑还在”“字还在”,都是这一机制的外在表现。


放到行业里看,“状态维护与视觉渲染分开”正逐渐成为实时世界模型的共识,分歧在于状态从哪里来

一种做法由上游引擎或程序显式写出规则和状态,模型以参考画面为接口做渲染,适合规则明确的游戏与原型;

Scenes AI面向的是真实拍摄和直播空间,世界状态要由模型从摄像头画面里解析出来,再持续维护、推演并写回。


精准控制:改一个变量,其余全部保持

精准控制落在控制层,核心模块是Latent Stage

一是变量解耦。

Latent Stage在潜空间里把场景、人物、相机、光照、服装、道具和物理拆成一个个独立的“舞台”,可以单独演化,也可以联合约束。

每次编辑都有明确的“改动集”和“保持集”:改光照时,场景、人物和机位被锁定;换服装时,人物身份和身体动作继续约束生成。

截图里“画风全换、家具不动”,就是改动集和保持集分得足够干净的结果。


二是非线性视频矩阵。

达瓦提出的非线性视角矩阵融合方法,把影像从“线性时间”变成“可编辑矩阵”:角色、环境、相机、光照、物体和运动被拆成可以重新组合的视觉要素,方便控制层理解镜头运动、融合真实与生成内容。

相关演示论文《NVD: Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models》已被ACM UbiComp / ISWC 2026接收,并于10月13日在上海国际会议中心现场展示。该研究由达瓦AIGC研究院联合香港理工大学、伊利诺伊大学厄巴纳-香槟分校、纽卡斯尔大学共同完成。


三是世界记忆。

World Memory持久化缓存历史状态片段,为后续生成提供可查询、可更新的上下文。

镜头离开再回来时,模型读取的是这块区域的状态记录,而不是重新想象一面墙。

达瓦把长时序记忆看作当前最关键的挑战,即身份、空间、物理与故事状态都必须跨时间保持一致。

如果没有因果记忆,堆再多GPU也解决不了问题。

四是物理约束。

Neural Physics覆盖刚体、布料、流体和粒子,围绕碰撞与重力组织生成条件,决定火该烧到哪里为止、布料该怎么被推开;Neural Renderer再把几何、材质和光照转成画面。

物理状态由此成为生成、训练与评估的共同参照,而不是把视频本身当作答案。

在连续编辑测试中,Scenes AI的目标编辑成功率为98.2%人物身份保持率为93.3%


实时渲染:把算力留给正在变化的世界

渲染层由实时生成模型LiveStage承担。它要解决的问题很具体:

在一张消费级显卡的算力和显存预算里,让画面持续、低延迟地跟上真人。

第一,稀疏扩散自回归。

自回归负责沿时间持续演化,稀疏计算限定每一步的更新范围,这意味着,模型预测的是状态增量,而不是一整幅新画面。

基于对300多个真实商业拍摄项目数据的分析,达瓦发现,典型场景中每帧真正变化的区域只占画面的10%—20%

于是,墙面、地板等稳定区域通过潜空间缓存(Latent Cache)直接复用,算力集中给人物、面部、手部、布料、烟雾、光影和交互区域。


第二,因果化稀疏微扩散。

渲染层接收控制层下发的一组条件,包括事件类型、位置、速度、强度、对象身份、材质和局部历史,并只对变化区域做少步采样,再把局部结果合成回持久的世界画面。

“因果化”意味着每一步只依赖已经发生的历史,适合流式输出;

“微扩散”意味着每次只处理局部小区域,而不是整幅画面。

第三,稀疏激活。

模型总参数 34B,每一步只激活约 4B,激活比约 11.8%。

空间上的局部更新减少“要算多少”,模型内部的稀疏激活控制“每次用多少参数算”,以上共同构成了“大模型的容量,实时的计算路径”这一特点。


三者叠加的结果是:相较传统视频扩散方案,GPU消耗降低40%—60%,推理速度提升3—5倍


当画面需要整体切换,如截图里整屋变成草原,变化范围远超20%,系统会按变化范围动态分配计算,局部编辑和全场景转换共用同一条管线。

最终,在单张NVIDIA GeForce RTX消费级显卡上,Scenes AI实现了720P、25帧的实时输出。

底层算力:原生构建于NVIDIA技术栈。

达瓦与NVIDIA的技术合作始于 2018 年,那一年达瓦购入了第一套NVIDIA DGX-1。

今天,Scenes AI用CUDA做训练与推理加速,用TensorRT做推理优化,用NVENC支撑实时视频编码输出。

稀疏更新减少无效计算,Latent Cache利于显存复用,分层架构也天然适配分层部署,这套机制本身就是围绕GPU的并行计算与计算复用设计的。


核心壁垒:不是Video Dataset,是State Dataset

路线想清楚了,真正难的是把它训出来。达瓦的积累可以拆成三层。

第一层:状态数据

要学“世界怎么变”,光有视频不够。

互联网视频大多是剪辑后的成品,机位怎么走、灯怎么打、道具什么时候被拿起,这些过程信息几乎都被剪掉了,像素本身解释不了世界为何这样变化。

达瓦的说法是:不是Video Dataset,是State Dataset。

达瓦在重庆永川运营一座8.4万平方米的全流程数字化科技片场。

过去5年,团队从300多个真实商业项目中持续采集、标注和梳理数据,沉淀了约180TB结构化世界状态数据,覆盖相机轨迹、动作轨迹、对象状态、光照状态、物理状态与叙事状态六类核心维度。

单场戏会做300多个维度的结构化标注,让镜头、光学、空间、表演和动作对齐到同一条时间轴上。


片场还天然集中了实时生成最难处理的长尾样本:宽袖和裙摆随动作形变,手与道具反复接触,多角色互相遮挡,摄影机在表演中连续运动,灯光变化同时作用于人物和环境。


真实数据之外,达瓦用NVIDIA Omniverse和PhysX搭建仿真场景,批量生成带精确物理状态的标注数据;用NVIDIA Cosmos在H200上生成冰淇淋融化、树木生长、积雪消融等“过程型”数据。

三类数据分工明确:真实拍摄提供分布,仿真提供精确状态,生成数据补齐覆盖。


第二层:训练路线

达瓦训练的不是一个“视频生成器”,而是一个持续演化的世界系统,整体分五个阶段:


第三层:生产闭环

达瓦本身就在做真实的影视和短剧生产。客户的修改、交互中的反馈、模型出错的案例,会回流成下一轮数据筛选、补采和训练的入口,也就是说,模型在片场被检验,片场又反过来喂养模型。

“我们每天都在拍真实的电影和短剧,每一次打光、每一次运镜,都在告诉模型这个世界是如何运转的。”达瓦科技联合创始人陈亮表示,“世界模型的下一场竞争,属于拥有真实世界过程的团队。”


从“生成一段结果”到“运行一个世界”

世界模型不应该是个悬浮的概念,落到具体应用上,这套路线对应着几类明确的场景:

它们共享同一组要求:改动必须可控,输出必须及时,成本必须可估算。

一张消费级显卡、一台本地主机即可运行,不依赖云端算力,这才是从实验室演示走向更接近实际部署的真实环境。


“视频生成已经足够强大,但世界还没有开始运行。一个视频可以结束,一个世界必须持续运行。”在半程展示的路演上,达瓦科技首席产品官李宗兴这样概括Scenes AI的出发点。

“NVIDIA为实时世界模型提供了坚实的计算底座。”他表示,“我们希望和NVIDIA生态一起,让世界模型从实验室走进真实生产,让每一位创作者都能用一张显卡,实时构建、改写并走进一个持续运转的世界。”


△达瓦科技CPO李宗兴半程展示路演照

回头看达瓦这几年的路径,几块关键拼图已经各就各位。

数据有了,8.4万平方米片场、300多个真实项目、180TB世界状态数据,而且还在持续积累;

模型跑通了,34B世界模型在一张消费级显卡上实时运行,精准控制与实时渲染同时成立;

认可也来了,8月深圳站优秀企业,10月UbiComp论文亮相,同月拿下NVIDIA半程展示卓越企业奖。


当行业的注意力开始从“生成一段视频”转向“运行一个世界”,这条从片场里长出来的路线,正在被越来越多的人看见。

视频会结束,世界不会。对Scenes AI来说,这个世界才刚刚开始运转。

*本文系量子位获授权刊载,观点仅为原作者所有。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WTT官宣:王楚钦因伤退出蒙彼利埃冠军赛 连续退赛何时复出未知

WTT官宣:王楚钦因伤退出蒙彼利埃冠军赛 连续退赛何时复出未知

醉卧浮生
2026-10-23 18:29:25
据说,每天有3万人退场

据说,每天有3万人退场

一条要飞跃的咸鱼
2026-10-07 08:49:43
美日拉9国想逼中国低头?俄罗斯突然下场:不是帮忙,是来算账的

美日拉9国想逼中国低头?俄罗斯突然下场:不是帮忙,是来算账的

麓谷隐士
2026-10-23 00:10:04
一喝水,尿就多,这是说明肾脏好,还是不好呢?答案很简单

一喝水,尿就多,这是说明肾脏好,还是不好呢?答案很简单

普陀动物世界
2026-10-23 06:02:13
蔷琵已成“全球风王”,风力达75米-秒,也许成为10年来最强台风

蔷琵已成“全球风王”,风力达75米-秒,也许成为10年来最强台风

史之铭
2026-10-23 01:21:15
杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

大运河时空
2025-09-03 11:55:59
京沪高铁收支出炉:运行满 15 年,总投资约 2209 亿,回本了吗?

京沪高铁收支出炉:运行满 15 年,总投资约 2209 亿,回本了吗?

抽象派大师
2026-09-15 13:35:53
泡药水最多的5种海鲜,90%的人踩过坑,不少人还在买,要当心!

泡药水最多的5种海鲜,90%的人踩过坑,不少人还在买,要当心!

思思夜话
2026-10-22 12:54:09
外媒:伊朗最高领袖穆杰塔巴同议长会面

外媒:伊朗最高领袖穆杰塔巴同议长会面

参考消息
2026-10-22 12:31:12
重大信号!俄乌最后决战,已经打响了!

重大信号!俄乌最后决战,已经打响了!

大嘴说天下
2026-10-23 21:20:04
95美元一把伞,特斯拉把Model 3徽标印进了内衬

95美元一把伞,特斯拉把Model 3徽标印进了内衬

字节漫游指南
2026-10-23 10:15:10
极氪新车官宣:10月21日继续开售,均价53万

极氪新车官宣:10月21日继续开售,均价53万

科技阿维
2026-10-21 23:27:22
实习女幼师凌晨点外卖,餐送达后女子收到商家短信:千万不要去拿

实习女幼师凌晨点外卖,餐送达后女子收到商家短信:千万不要去拿

罪案洞察者
2025-09-12 14:41:34
中国为加纳打了1000口井,没料到修的太好,成50万人的“救命药”

中国为加纳打了1000口井,没料到修的太好,成50万人的“救命药”

云霄纪史观
2026-10-21 13:31:36
蒙古人全家睡在蒙古包,他们怎么洗澡上厕所?当地女孩说出了真相

蒙古人全家睡在蒙古包,他们怎么洗澡上厕所?当地女孩说出了真相

千秋文化
2026-09-22 19:19:36
美日九国亮剑,中国这招太硬了!

美日九国亮剑,中国这招太硬了!

有态度的何总
2026-10-20 08:50:39
北京美女的通货膨胀

北京美女的通货膨胀

微微热评
2026-10-23 19:26:09
11-0惨败!张本智和输球后扶桌跪地,回头一看队友教练都没走过来

11-0惨败!张本智和输球后扶桌跪地,回头一看队友教练都没走过来

刘哥谈体育
2026-10-23 09:06:17
统一台湾大势已定!中国为什么要尽快解决台湾问题?

统一台湾大势已定!中国为什么要尽快解决台湾问题?

勇士军武闲谈
2026-10-20 19:15:30
研究了二十年,美光说4F² DRAM是个神话

研究了二十年,美光说4F² DRAM是个神话

硅屿手记
2026-10-22 20:10:49
2026-10-23 21:51:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5175938文章数 9846关注度
往期回顾 全部

游戏要闻

英伟达引入黑科技!着色器加载大幅缩减 地平线6仅4秒

头条要闻

以总理还原邀特朗普对伊动武细节:你不来 我们自己炸

头条要闻

以总理还原邀特朗普对伊动武细节:你不来 我们自己炸

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

科技要闻

抢运营商饭碗!马斯克又有大动作

汽车要闻

700TOPS算力满血上车 风神L8+正式上市12.99万起

态度原创

家居
教育
艺术
房产
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

华南理工大学2027年博士研究生招生章程及招生专业目录

艺术要闻

康熙给法国国王列出的“必读书目”,当今可能没人能读完 !

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版