网易首页 > 网易号 > 正文 申请入驻

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

0
分享至


智东西
作者 杨京丽
编辑 李水青

智东西8月13日消息,近日,腾讯混元3D团队推出3D开放世界生成框架WorldClaw,相关论文已于8月5日公开。用户输入一句开放式文本描述,WorldClaw即可生成可自由探索、可继续编辑的大规模3D世界。


▲WorldClaw的生成案例

WorldClaw采用由粗到细的Agentic 3D世界生成方式。多个Agent协作完成用户意图分析、场景规划和全局地形构建,再根据各区域的功能和地形条件,逐区生成建筑、车辆、植被等内容,并将其转换为可单独编辑、替换和复用的3D资产。

初始场景完成后,Agent还会根据多视角渲染结果,持续检查并修正物体尺度、姿态、悬浮和穿模等问题。

腾讯混元团队展示了四季村落、热带海盗岛屿、沙漠战场等生成案例,并将WorldClaw与SynCity、Marble、MajutsuCity、WorldGen和GPT-5.6 Sol进行了定性对比。结果显示,基于WorldClaw生成的复杂地形具有明显高差、连续边界和清晰的语义分区。


论文链接:

https://arxiv.org/abs/2608.05248

项目网页:

https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/

Github地址:

https://github.com/Tencent-Hunyuan/Hunyuan3D-WorldClaw

一、先搭全局再填细节,四阶段完成3D开放世界生成

生成式模型已能根据文本生成图像、视频和3D对象,但生成一段“看起来像世界”的画面,与构建一个可进入、可继续编辑和使用的3D世界并不相同。后者还需要连续一致的空间结构,以及可独立编辑、替换和扩展的建筑、道路、植被等场景元素。

针对这一问题,WorldClaw采用Global-to-Regional(从全局到区域)的生成方式:先规划整体布局、搭建全局地形,再根据不同区域的功能和地形条件生成局部内容。

这套方法有三大技术亮点:一是先建全局地形、再逐区生成细节;二是通过语义布局控制山地、森林、沙漠等地貌的分布与组合;三是以真实3D地形的渲染结果为条件,生成与当地环境匹配的建筑、车辆和植被等内容。

WorldClaw生成世界的过程主要分成四个阶段。


▲Hunyuan3D-WorldClaw 场景生成的整体流程

第一阶段是意图分析和场景规划。WorldClaw首先理解用户想要的场景,将一句开放式描述整理为清晰的世界规划,明确场景包含哪些区域、采用什么地形、需要哪些物体,以及它们之间如何连接。

第二阶段是全局地形生成。系统根据规划生成整个世界的区域布局,并构建不同区域的地形、材质和环境资产,让山地、平原、森林和沙漠形成连续的三维空间。

第三阶段是区域对象生成。WorldClaw在全局地形上逐区生成建筑、车辆和植被等内容,并将图像中的物体转化为独立3D资产,再放置到相应的三维位置。

第四阶段是场景精修。初始场景完成后,Agent会从多个视角检查生成结果,识别物体尺度、姿态、几何质量,以及悬浮、穿模和地形接触等问题,并进行局部修改。

简单来说,这套流程就是先理解用户想要的世界,再搭建地形、填充内容,最后自动检查和精修。

二、多Agent协作完成,生成后还能自己找问题

一句文本通常只能描述世界的大致样貌,无法完整说明区域划分、地形参数和物体空间关系。WorldClaw首先使用两个Agent,将用户需求转化为可执行的场景规划。

其中,意图分析Agent负责提取用户已经明确给出的信息,如场景类型、视觉风格、关键区域、物体和空间关系,不主动补充用户没有提及的内容。场景规划Agent则在此基础上补全生成3D世界所需的信息,将区域、地形、物体及其关系整理成统一的场景规范。

生成地形时,WorldClaw会先准备一张划分不同区域的语义布局图、一套岩石和植被等可复用3D环境资产,以及一套草地、岩石、沙土等地表材质。后续生成过程均遵循同一套区域规划,避免地形、材质和场景资产各自生成、相互脱节。


▲地形生成与优化过程

系统随后通过PCG(程序化内容生成)构建3D高度场。不同区域采用相应的地貌规则,让山地形成自然起伏、沙漠产生连续沙丘、平原保持相对舒缓,并使不同地貌自然衔接。岩石、植被等环境资产的分布也会参考区域类型、局部高度和坡度,过滤过陡或不合理的位置。

地形生成完成后,地形优化Agent会重新渲染场景,检查地形形态、材质尺度、资产密度和区域过渡,再对局部问题进行修改,形成“程序化生成—渲染检查—Agent修正”的闭环。

填充区域内容时,WorldClaw不会一次将整个世界塞满,而是先挑选需要内容且地形条件合适的区域。系统将对应地形渲染成二维图像,并让图像生成模型在图中加入建筑、车辆和植被等内容,以此确定对象的外观和空间布局。

随后,系统利用SAM3分割图中的不同对象,再通过SAM3D将它们重建为独立3D网格,并校准每个对象的尺度、位置和朝向。每个独立生成的对象均可继续编辑、替换和复用。


▲对象精修原理

完成放置后,场景精修Agent会通过MCP接口连接Blender,根据多视角渲染结果检查对象。尺度或姿态不合理的对象会被重新调整,几何和纹理质量不足的对象则交由混元3D进一步优化。发现悬浮或穿模后,系统还可以调整对象位置,或在局部范围内抬升、平滑地形,让物体与地面稳定接触。


▲地形精修原理

三、可生成海盗岛、沙漠战场,场景对象均可单独编辑

腾讯混元团队还将WorldClaw与SynCity、Marble、MajutsuCity、WorldGen和GPT-5.6 Sol进行了定性对比。


▲WorldClaw与代表性3D场景生成方法定性对比

结果显示,WorldClaw能够生成具有明显高差、连续边界和清晰语义分区的复杂地形,保留全局地形与独立对象网格。同时,WorldClaw还支持自由探索及对象级编辑。

此外,腾讯混元团队展示了热带海盗岛屿和沙漠战场等代表性案例。

热带海盗岛屿案例中,WorldClaw生成了具有连续地形和明确区域划分的岛屿,并在其中布置了建筑、码头、植被和船只等场景元素。


▲热带海盗岛屿案例

沙漠战场案例中,WorldClaw在起伏的沙漠地形上生成了建筑、载具和环境设施等内容,形成了可自由探索的完整战场场景。


▲沙漠战场案例

结语:从生成3D资产走向构建3D世界

WorldClaw将全局规划、复杂地形生成、区域内容构建和渲染反馈串联起来,让大规模3D世界生成拥有了持续规划、生成、检查和修改的完整流程。最终产物由真实地形和独立3D资产组成,可以继续用于游戏引擎和内容生产。

随着基础模型的编程、空间理解和工具使用能力提升,Agent有望进入几何建模、材质与Shader构建、PCG、动画和交互逻辑等更多3D生产环节。3D生成也可能从“模型生成资产”逐步走向“Agent编程构建世界”,让创作者可以把更多精力放在定义想要创造的世界上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
被明确拒绝回英伟达后!特朗普在中国又谈黄仁勋:基调定了

被明确拒绝回英伟达后!特朗普在中国又谈黄仁勋:基调定了

游戏收藏指南
2026-11-19 17:27:13
特朗普说美国不支持“台独”

特朗普说美国不支持“台独”

每日经济新闻
2026-11-19 17:23:44
经济下行,中国股市开始不正常了

经济下行,中国股市开始不正常了

星语者056
2026-11-20 08:55:00
一个手势送走冠军,智哥要来收拾残局?媒体人:若郑智执教成都蓉城,应该能跟韦世豪之间有很好的协作!洋帅救不了蓉城!

一个手势送走冠军,智哥要来收拾残局?媒体人:若郑智执教成都蓉城,应该能跟韦世豪之间有很好的协作!洋帅救不了蓉城!

锐评利物浦
2026-11-19 18:50:57
马不停蹄!结束深圳APEC的行程,越南一把手苏林先生一行来到云南

马不停蹄!结束深圳APEC的行程,越南一把手苏林先生一行来到云南

经点星娱
2026-11-20 08:31:50
液氧乐队主唱张宇病逝,终年48岁

液氧乐队主唱张宇病逝,终年48岁

南方都市报
2026-11-20 07:51:45
姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

八怪娱
2026-11-18 09:29:26
《GTA6》性爱系统详解:教你怎么做爱做的事情!

《GTA6》性爱系统详解:教你怎么做爱做的事情!

游民星空
2026-11-20 10:05:15
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
被说"一堆白人"难夺冠,凯斯勒回应了

被说"一堆白人"难夺冠,凯斯勒回应了

温柔且自由
2026-11-20 10:02:06
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
李在明发文:感谢中国

李在明发文:感谢中国

极目新闻
2026-11-19 22:50:01
声援巴勒斯坦抗议者遭打压,美国最大穆斯林民权组织被佛州列为恐怖组织,机构停摆并起诉州政府官员

声援巴勒斯坦抗议者遭打压,美国最大穆斯林民权组织被佛州列为恐怖组织,机构停摆并起诉州政府官员

14号观星辰
2026-11-19 17:51:16
陈伟霆儿子近照曝光!何穗晒小win走路画面好温馨

陈伟霆儿子近照曝光!何穗晒小win走路画面好温馨

阿废冷眼观察所
2026-11-20 06:49:22
和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

澎湃新闻
2026-11-19 18:20:41
限制已解除,日本政府身份变了,高市早苗出席晚宴,请帖发往韩国

限制已解除,日本政府身份变了,高市早苗出席晚宴,请帖发往韩国

影孖看世界
2026-11-19 23:48:44
重磅!发卡了!民主党刚刚提出移民新法案,递解令满10年失效,2021年前入境者有望获身份

重磅!发卡了!民主党刚刚提出移民新法案,递解令满10年失效,2021年前入境者有望获身份

华人生活网
2026-11-20 05:38:22
何炅携任贤齐毛不易回归!这季不淘汰只唱歌,网友:终于不卷了

何炅携任贤齐毛不易回归!这季不淘汰只唱歌,网友:终于不卷了

君笙的拂兮
2026-11-19 08:03:44
高油价,把石油自己玩死了!

高油价,把石油自己玩死了!

小怪吃美食
2026-11-20 07:08:15
没等来续约,唐斯用场均14.1篮板联盟第一回应尼克斯

没等来续约,唐斯用场均14.1篮板联盟第一回应尼克斯

日常碎碎念啊
2026-11-20 09:50:10
2026-11-20 10:31:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12983文章数 117196关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

数码
健康
亲子
教育
房产

数码要闻

联想最便宜掌机!Legion Go Beam揭晓:取消触控板

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

这下山东人的身高又能往上窜一窜了

教育要闻

减学分、可免修……大学英语要变了?

房产要闻

2.5亿!丁村侨中,新动作来了!

无障碍浏览 进入关怀版