刚刚，腾讯最新世界模型开源！一句话造出3D世界，兼容游戏引擎

AI应用风向标（公众号：ZhidxcomAI）
作者｜江宇
编辑｜漠影

智东西4月16日报道，今日，腾讯正式发布并开源混元3D世界模型2.0（HY-World 2.0）。作为一款多模态的世界模型，HY-World 2.0支持文字、图片和视频等形式输入，可自动生成、重建并模拟完整的3D世界。

对于游戏行业，HY-World 2.0支持直接输出可二次编辑的Mesh、3DGS或点云等资产，可无缝导入Unity、UE等引擎，用于快速构建游戏地图和关卡原型。

相比此前的HY-World 1.5只能生成一分钟视频，HY-World 2.0不仅支持可漫游3D空间，还能生成完整角色、建筑和场景资产，实现可用、可玩。

▲输入“生成一个温馨的绘本风格小木屋”

一句话生成3D世界不再是难题，腾讯混元3D还新增了角色模式，用户可操作角色在街道、建筑、场景中自由探索，具备物理碰撞效果。就像在游戏里一样，游戏角色可以自由穿行在生成的3D场景中。

▲角色模式下，用户可以操作角色自由探索

与此同时，HY-World 2.0在场景完整度（物体侧面和背面）及对输入图片的遵循程度上表现更优，同样适合具身智能仿真等场景。

对此，智东西也体验了一番，一起来看看效果如何。

在线体验：https://3d.hunyuan.tencent.com/sceneTo3D
开源代码：https://github.com/Tencent-Hunyuan/HY-World-2.0
技术报告：https://3d-models.hunyuan.tencent.com/world/world2_0/HY_World_2_0.pdf

一、原神、生化危机双场景复刻，角色自由漫步实感十足

首先我对文生和图生场景这个功能进行了初步体验，在操作上非常简单，输入提示词或图片，点击“立即生成”即可。

提示词：“生成一个原神风格的空中花园迷宫，包含高低错落的平台、曲折的楼梯、藤蔓悬挂的桥梁，阳光透过彩色玻璃洒在花园中，中央有喷泉和小桥流水，整个空间充满幻想感。”

可以看到，无论是纵深场景的表现，还是楼梯、桥梁、彩色玻璃等细节，都有很好的还原。值得注意的是，我选定的角色还可以在生成的3D世界中自由漫步。

角色在楼梯和桥梁等区域，均具备物理碰撞感和移动形态，走上去或走下去都自然流畅，可以测试空间结构。

不过，受限于该场景可活动的区域过小，角色仅能在有限的范围内移动。当我选择将角色大小进行调整后，以第三人称的角色视角可以观察到该场景的更多细节。

紧接着，我们尝试以图片作为参考，生成的场景也大体保持整体一致。

但在画质和细节表现上与文字生成结果近似，不够细腻、质感不强，这可能与网页端显示和渲染分辨率有关。

带着这个问题，我们接着尝试了视频和多视角图片的输入。

在视频参考部分，我选用了一段《生化危机》的实况视频，主人公沿街道直行。

【视频】

▲《生化危机》的实况视频

可以看到，模型能捕捉角色的运动轨迹，以及街道两侧的布景，路过的路人也有所呈现，但整体对3D世界的还原仍不够完整。

相比之下，多视角图片测试表现更出色。我直接使用了自带的32张三层屋檐建筑素材，模型复刻建筑外型和层级结构的效果非常惊艳。

▲多视角图片素材

可以看到，建筑的细节和层次感都被很好保留，整体感很明显。

二、草图、文字、视频都能造世界，端到端生成360°全景

在HY-World 2.0中，输入一张草图、一段文字或一段视频，都可以快速生成连贯的3D世界。

而实现这一功能的技术要点在于，HY-World 2.0以3D为主轴，统一空间理解、生成和重建，将复杂的语义和结构自动转化为完整空间。

借助全新升级的HY-Pano-2.0端到端隐式学习方案，模型无需任何相机参数，也能从普通图片或视频生成360度全景映射。

混元团队还通过真实全景照片和UE合成数据进行混合训练，保证生成质量和泛化能力。

三、路径智能规划，让角色自由漫游

生成全景后，角色路径规划也是一大难题。模型结合自研空间Agent技术和Navmesh表征，实现了角色漫游路径的智能规划。

根据不同场景的语义，模型可规划出包括环绕物体、最大漫游在内的五类运镜轨迹，确保覆盖场景中关键区域，同时避免穿墙或跑飞。

借助规划好的轨迹和世界扩展，角色在生成的3D场景中能够自然漫游，路径流畅且符合空间逻辑。

四、新视角生成，保证空间衔接与画面连贯

在扩展场景时，模型是如何确保新生成区域与原有空间在几何和视觉上完美衔接、不出现“穿帮”的？

其核心创新包括精确的相机控制、细粒度视觉细节保持以及空间一致性记忆机制。

结合记忆力机制设计及体系化的中间训练与后训练，混元团队打造出迄今业内最强的HY-WorldStereo新视角生成（NVS）模型。

生成画面对输入相机实现精准跟随，多条运镜的生成结果保持空间一致、不产生冲突，并且后训练算法能够在快速扩展新区域的同时，保证画面质量不衰减。

最终，所有生成片段通过HY-WorldMirror 2.0整合为一个统一、可交互的3D世界。

借助定制的Depth Alignment和自适应Mask Gaussian优化算法，生成场景采用3D高斯泼溅（3DGS）表示，同时可导出高质量Mesh，直接无缝导入Unity、UE等主流游戏引擎，进行二次编辑和创作。

结语：AI造世界，更进一步

从首个开源的3D世界模型HY-World 1.0，到可实时在线交互的HY-World 1.5，再到HY-World 2.0的发布，这一系列迭代进一步拉近了AI在游戏开发、虚拟仿真等行业的落地距离。

相比过去只能生成短视频或静态模型，HY-World 2.0提供了真正可漫游、可交互、可二次编辑的3D世界，显著降低地图原型和关卡设计门槛。

随着国内外团队如李飞飞World Labs开源Spark 2.0渲染器等进展，AI世界模型正在从概念验证走向产业应用，未来在游戏、文化保护、城市规划、室内设计等场景的应用潜力巨大。