他们在一款申遗游戏里，重新理解AI

文 / 萧樱

AI的形态正从Chatbot转向Agent。

Agent让模型从对话框的限制中挣脱出来，获得了行动空间，但也带来一个更深的矛盾。模型在概率中寻找答案，工业生产却建立在约束之上。AI越深入真实流程，开放生成与稳定交付之间的矛盾越明显。

人类既需要AI有想象力，又期望新技术是可控的。游戏是把这组矛盾逼到极限的行业之一。AI能在制作阶段给出更多内容，也能在运行时回应无法预制的玩家行动。但前者要接受引擎和美术的要求，后者不能脱离规则和人设。

7月26日，中国“景德镇手工瓷业遗存”被列入《世界遗产名录》，腾讯助力申遗的游戏《数字景德镇·瓷都小匠》同期上线。这是全球首次运用AI技术与游戏体验“动态申遗”，也把上述那对矛盾推到了顶点。

景德镇的遗产是活态的，且许多历史空间早已消失。《瓷都小匠》的制作方腾讯游戏要让公众重新看见这些空间、理解制瓷如何承载起延续千年的知识体系与生活方式，要依赖AI技术的创造性。

这个游戏承载的又是申遗叙事。城市可以在游戏里被复原，但不能离开事实和文化语境。玩家走进这座城后，互动也不能沦为一个脱离角色和知识背景的聊天框。

那么，当AI开始参与一个游戏世界的建造，又开始介入这个世界对行动的回应，怎样让它释放可能性，同时又让可能性融入现实生产？

《瓷都小匠》技术支持者之一Harlan后来回顾，团队面对的难题很快超出了模型能力本身。文本和图像怎样变成游戏场景，AI生成的内容怎样经得起修改，怎样让模型理解一项专业工作该如何完成，都是很具体的难题。

这让他们在一款小游戏里，重新理解了AI。

1、过去不会发生的事情

接到项目后，Harlan和同事跑去买了一台新的工业级无人机。

扫描是当下制作写实模型最精确、也最高效的方式。从长城、敦煌莫高窟到北京中轴线，这支擅长做数字文保的团队一路“扫”过来，最初也准备沿用扫描与PCG结合这条熟悉的路线。

按照计划，他们会先扫描一栋栋建筑，得到一批高精度三维资产。但团队到了景德镇现场，却发现核心遗产点几乎都是考古遗址，且分布分散，历史环境支离破碎。

团队曾复原过长达7.8公里的建筑群，可面对一座找不到完整现实原型、又跨越多个历史时期的城市，也只能放弃扫描。

那要怎么复原一座不可见的千年瓷都？团队将注意力转向了另一类材料：历史文献、考古记录，以及零散留存的图像等。在过去，这些文本和图像很难直接进入建模流程。AI文生图和图生图能力的出现后，资产的来源得以拓宽。

他们将景德镇相关的历史文字和图片输入自研的AIGC平台，先批量生成2D建筑图例，然后用大模型把建筑拆成屋顶、墙体、门窗等2D组件。等3D模型把这些组件转化为3D资产后，他们再用PCG(程序化内容生成)完成拼装与布局。

在这套AI介入的流程里，单个3D资产生成大约需要三至五分钟。即使算上人工筛选、调整和标准化的时间，一百多个资产的生成也仅需约一周时间。而在之前，一个美术一天最快也只能完成2个资产。

提效只是结果的一部分。在商业世界里，技术进步常被放进一张成本表里衡量。但新技术更深的影响，或许在于打开此前人想不到、做不到的事情。

Harlan后来回顾，“如果没AI，这个前期快速验证的环节根本不会存在”。之前，策划阶段通常只有二维草图和简单白盒，精细三维资产要等方案相对确定后才进入流程。很少有团队愿意在前期投入大量人力，制作一批可能很快就被推翻的资产。

AI让团队能够承担这种“浪费”。AI可以在前中期生成大量建筑方案，甚至是团队之前"没想过"的内容，用来验证风格、布局和空间关系。即便方案还没定稿，团队和合作方也能站在接近成品的三维场景里做选择。

然器物之成，终系于人。景德镇手工瓷业遗存不只由建筑构成，它还包括制瓷工艺、原料体系、产业组织，以及代代相传的手艺。这些非物质文化散落在申遗文本、器物和匠人的经验里，还要进一步转化为公众可以理解的过程。

于是，当玩家进入瓷都后，会遇见一位慈眉善目的师傅。这是一个拟真AI数字人，玩家走到他面前，可以问器物的来历，瓷器怎么烧，也可以和他闲聊。

AI师傅给出回答时，手势和表情都会配合语音，给人真实感，甚至会有“嗯哼”这样的思考停顿。在等待玩家输入时，他也呈现出一个真人的聆听状态，会时不时眨眼，揉揉自己劳累的肩膀，或者拍拍衣服上的灰。

《瓷都小匠》游戏画面

长期以来，游戏NPC建立在预设逻辑之上。其行为由规则与脚本驱动，对话以分支结构展开，动作与情绪表达则依赖提前制作的动画资源。玩家选择或特定游戏条件，决定了这些内容在何时被触发。

大语言模型的能力跃迁把这个互动的边界向前推了一步。现在玩家可以直接与AI NPC对话，NPC能有人设，能根据问题即时生成回应。

但玩家期待的不只是一个披着角色外壳的聊天助手。现在不少游戏里的AI NPC实际上没有完整的面部表达。游戏需要的互动还要跨过语言层，再往前走。一个NPC说什么、怎样说，说话时如何注视玩家、做了哪些手势，共同构成互动的整体感。

“每个环节都不能掉链子。”AI 数字人团队成员蒋心为反复强调问答、声音、面部表情和手势动作，在一致性和实时性上必须做到高标准

他举例说，如果NPC的回答符合逻辑，声音缺乏起伏变化，就会显得机械化。如果NPC的声音已经透出惊讶，面部情绪却没跟上，互动的参与感就被破坏了。

互动要吸引人、要有沉浸感，就要求玩家面对的NPC越像一个“真人”。所以，蒋心为和同事选择了做拟真数字人。这是一条容错率最低的路，真就是真，假就是假。技术难度最高，评判标准也最严。

更为重要的是，“真”通向未来。“你首先就要理解什么是‘真’，才能create出更多样化的角色。“Volley说。除了真实感，互动还意味着更加个性化、更多选择。

通往千人千面的前提，是先把“真”这件最难的事做出来。这两年，语音模型、动画模型也在持续进步，让团队得以解决一些被卡住的环节，并向着打造多模态统一模型的方向走。“前几年的AI数字人导游很火，但你看它的动作、口型就很僵硬。”蒋心为说，受限于当时的技术水平，之前业内做出的数字人质量就比较粗糙。

新技术的进步，让“造城”和“造人”的两支团队都看见了此前难以进入游戏的能力，得以拓展人类能力、打开新生产边界。

但进入落地阶段，如何将这些被释放可能性与真实游戏生产结合，要比想象中复杂得多。

2、模型能力不等于产品能力

项目进入后期，一批AI生成的建筑被陆续换成了人工制作的资产。

问题出在最普通的制作细节里。 Harlan举例，游戏建筑上一块普通的砖，传统美术会把材质拆成好几层，先铺基础纹理，再一层层叠上污渍、青苔和磨损。AI能快速生成一整张贴图，却难以呈现这种叠加的质感，“比较有塑料感”。

AI在UV展开这一环也表现得不好。这一步要把三维模型的表面摊平成平面图，供美术画贴图。人工会尽量保持结构完整，AI 却常常拆得七零八碎。“比如AI会把一只手的五根手指头甚至指甲都拆得很碎。”资产看起来是做完了，一进精修反而让人无从下手。

现阶段，AI能快速生成和交付内容。但要直接搬进高水准、高要求的游戏生产，仍然很难。

要提高AI资产进入生产的可用性和可控性，需要加入人为因素。Harlan和同事换了一套思路，叫做模块化插入。AI只嵌进原有管线里最适合它的环节，能随时插入，也能随时抽出。

他们在Layout阶段验证了模块化联动的思路。团队先画出主路，再沿道路划分街区，PCG根据街区生成不同形状的白盒，再按白盒的尺寸和边界替换成相应的AI建筑。道路一加宽，白盒随之变化，建筑也会同步调整。

“新技术的使用一定是从最底层的需求慢慢推上来，然后才发生彻底改变。”在落地时，有策划和Harlan反馈，他对某片区域满意后，希望后面无论怎么改，这块都不动。美术那边则想要修改局部，甚至和AI形成往返式协作，人工改完导回AI，AI学习这个改法去调整其余部分。

团队为此提出了能锁住满意区域的“冻结”和“二次编辑”的想法。这些已经写进后续工具开发的方向，全部来自真实生产中遇到的具体问题。

AI还无法直接交付一座虚拟城市，资产进入后期，材质、贴图和特异化建筑仍要人工精细处理。现阶段，策划白盒是AI更合适进入的位置。这个阶段允许快速生成、推翻，也容得下模型穿插、细节不足等问题。

《瓷都小匠》游戏画面

AI 景德镇师傅的诞生也经历了类似的技术取舍。

数字人的面部要栩栩如生，语音、口型、眉眼和眨眼都得连贯起来。其中，口型和语音强相关，一个人发出怎样的音节，嘴部运动相对确定。早在2023年，腾讯游戏的AI数字人团队就在口型上做到中文世界第一梯队的水平。

技术负责人曾子骄表示，眉眼和语音的关系则要弱得多。同一句话有怀疑的感觉，也带着点愤怒的情绪，眉眼究竟该怎么动，很难推出标准解。眨眼更加稀疏，几秒钟才出现一次，统一训练时很容易被模型当作噪声抹掉。

几种信号混在一个模型里学，学出来的往往是一张缺乏变化的平均脸。团队为此首创了“三分流”架构，即同一个面部模型里分出三条stream，各自学口型、眉眼、眨眼，保持独立性的同时，用注意力机制关联起来。

手势对语义时机和可控性等要求更高，于是团队选择了相对可控的动捕动画库加 Motion Graph的方式。

面部与手势由此采用了不同路线，技术选择服从具体问题。但两套模型最终要合成一次表演，这带来了新的难题。

玩家问一句话，背后要过语言、声音、面部、手势四道关。团队曾调研过市面上表现最好的数字人，用户问完话通常要等7到8秒才有反应。

“对标全球最好的数字人。”Volley坦言，团队立下这条“军令状”后，压力是很大的。AI景德镇师傅最初走完全链路要十几秒，这会让对话冷场。团队在工程上做了大量的优化，让语言模型刚写出第一段，声音和动画就开始工作。面部推理和手势合成都压到了半秒级，全链路以5秒以内为目标，在持续迭代。

模型能力不直接等于产品能力。从模型进入真实场景，到它真正把事做成，中间要把AI的随机性一层层收进生产的确定性里。

3、AI能有老师傅的手艺吗？

“现在不是说模型能力不够，而是要知道如何指导它去做好事情，把我们的经验、知识让AI去学习。”在Harlan看来，外界常担忧模型迭代太快会颠覆产业，但他们面临的真实困境落在模型之外。

带队重建腾讯混元的姚顺雨反复强调，大模型已经是一把足够通用的“万能锤子”，接下来更稀缺的是值得解决的问题，以及问题发生时的真实context。

业内把模型之外的这套系统叫做Harness。前OpenAI安全副总裁翁荔最近撰文称，AI的自我改进路径未必从模型直接改写自身权重开始，更可能先发生在Harness层。

腾讯混元和WorkBuddy的Co-design就是如此。Hy3训练时，WorkBuddy暴露出的问题，经过授权、脱敏和质量筛选，部分真实反馈进入后训练和强化学习。新模型再回到WorkBuddy，处理更长、更复杂的任务。

Harlan认为，每家公司的数据来源和类型，会影响模型的优势方向。另一方面，“随着越来越多的训练数据喂给AI，它的能力会越来越接近我们想要的专业化水平。”

游戏业务积累的数据，为模型提供了理解三维世界和动态交互的材料。长期项目中形成的经验，则决定这些材料如何被整理、调用和验收。

《瓷都小匠》游戏画面

Harlan表示，景德镇项目产出的部分资产，后续会进入团队的 AI 资产库，做类似古建题材时可以复用。

为了让机器能理解和查找这些资产，团队要建立一套面向机器的检索标准。他们用模型的embedding能力为资产生成语义标签，把它们转化成可以通过文字、图片和风格搜索的向量。当团队搭建的Agent接到需求后，会先从资产库里寻找合适内容。库里没有对应资产时，系统才进入三维生成环节。

这套AI工作流是通用模型无法自行生成的，需要团队将长期积累的制作经验和知识拆解，一步步教给AI。

AI数字人团队要转化的是另一类更难被量化的经验，即让AI数字人更有“活人感”。

蒋心为举例，当真人听到一个消息时，可能同时张嘴、皱眉和摊手，自然又连贯。采集数据时，这些反应也统一发生在演员身上。但进入工程系统后，面部和肢体被拆进不同模型，各自生成，一个人身上浑然一体的反应，到了机器这里就散了架。

解决这个问题首先靠团队对“表演感”本身的理解，以及长期制作数字人的经验。团队回看整条链路后，他们要求语言模型除了生成回答，还要输出情绪标签和语义信息，文本、声音和动画因此共享同一次表达意图。动画作为最后一道关口，会统一核对前面各环节的情绪是否一致，TTS少了张力就补，文本偏离人设就拉回。

除了表演感，情绪也是另一大处理难点。“人的情绪很复杂，需要喂大量的数据才能做出来。”Volley介绍，通常做一个数字人会覆盖最基本的7种情绪，也就是喜怒哀乐憎恐悲，但他们想要AI师傅在对话过程中的情绪更有起伏感、有更多的变化。

”眼睛是一个角色真正的灵魂。“蒋心为说。受限于项目制作周期，他们在无法收集大量数据的情况下，判断应集中攻克眉眼和眼神。此外，AI师傅的角色设定，也需要团队去判断：他面对玩家的提问时会出现哪些情绪，怎样的动作符合他的身份，什么程度的表情变化会显得自然。团队一起梳理角色的高频对话场景，最后让AI师傅覆盖了9类情绪。

《瓷都小匠》游戏画面

“人在感知数字人的时候，大脑很容易判断出真假，所以必须要求每个环节都不能有短板。” 蒋心为说，尤其是和业内惯于打造的年轻女性数字人相比，一个中老男性角色是一个不太讨喜的形象，对“活人感”的要求更高。

腾讯游戏多年攒下的既有高质量的数据，还有怎么让资产进引擎、让角色符合人设、在质量、性能和成本之间做取舍等隐性知识。这些经验只存在于做过足够多真实项目的团队内部，是模型之外的能力。

4、一段更长探索的开头

“现在（和他）闲聊是没有恐怖谷效应的。”团队认为，AI师傅的表现还是超预期的。这位拟真数字人已经能面对玩家提出的问题，给出符合人设的回应，也把这段回应呈现为一场看上去成立的表演。

不过，这位AI师傅只是团队一段更长探索的开头。

他们从2023年开始投入面部动画、TTS 和大语言模型配套管线的研究，拥有自研TTS模型和动画模型。后来，3D数字人赛道经历了一轮降温，业内不少团队因为成本高、落地场景少而退出。

这段时间里，团队仍在持续跟进面部动画和动作生成的进展，也在研究如何把 2D 高质量视频中的表演数据迁移到3D模型上。景德镇项目重新启动后，这些预研顺势落在一个具体的角色和场景上。

接下来，团队关心的是角色获得行动之后会发生什么。

曾子骄提到，他们希望尝试让角色在游戏场景中完成指定的任务，并与场景、物品进行交互。也就是，AI NPC在玩家提问之外能有自主行为，甚至有自己的行为特征，去做出独特的表达，行动也成为角色的一部分。此外，“还希望与游戏世界的人与物充分地交互”。

再往前走，NPC 需要记住和玩家发生过什么，也理解自己所处的环境。这条路在腾讯游戏内部已经有了更大规模的产品验证。2025年，腾讯《和平精英》上线AI队友玩法绝地指挥，玩家可以通过语音指挥 AI 跟随、搜集物资、报点和救援。此后的版本迭代里，AI 队友逐渐拥有长期记忆、情绪表达和作战建议能力。

蒋心为认为，未来的AI NPC是要能感知环境，理解玩家的目标，并把这种理解落实为行动的。而当角色有了记忆和行为，多个角色之间才有机会形成群体互动。

曾子骄强调，游戏需要的仍然是好玩。角色知道得更多、说得更多，并不自动带来更好的体验。玩家需要目标，也需要及时得到反馈。

在传统游戏里，玩家进入的是开发者已经建好的世界，寻找任务、规则和反馈。 Harlan开始关心，AI 能不能让一部分玩家介入世界的建造？

他的团队正在打造一个面向非专业创作者的平台，为玩家准备 AI 工具和资产库。创作者可以用自然语言、图片和已有资产表达想法，尝试做出自己的场景、玩法和内容。

这类创作很可能会脱离专业团队熟悉的规范，但正是Harlan所期待的。“AI当然具备做出标准化和规范化内容的能力，但它更大的价值在于扩散性、不确定性和创造性。”

比如，玩家可能把建筑放在传统关卡设计里不合逻辑的位置，也可能把原本不会被放在一起的规则、道具和叙事拼到一起。专业团队起初会觉得这些内容奇怪，但如果玩家做出来后愿意在其中停留，这种变化会反过来影响开发者。

“原来还可以这样组织场景，原来还有这种玩法。”Harlan认为，玩家的试验能让团队看见原有经验之外的可能性。

新的问题随之出现。当AI让玩家可以无限制生成新的内容和玩法时，原来的游戏生产系统要怎么承接这么大量、高频、非标准的内容和玩法？

Harlan设想，也许完全由AI Agent驱动游戏生产的未来也可能出现。这还是一个处在摸索中的方向。他也知道，成熟游戏生产所需的可控性、编辑能力和质量标准等，并不会因为AI生成能力提升而自动解决。

空间是这类探索绕不开的一部分。 Harlan和同事正在尝试把历史资料、地貌信息和策划意图翻译成可以进入引擎的空间结构。

比如，现实地貌可以先转化为高度图，再进入游戏地图。但团队在研究另一件更复杂的事。一片现实里绵延百公里的地貌，放进游戏后可能需要被压缩到一公里范围内。山谷、道路和建筑密度都要重新安排，玩家才能在有限的行进距离里感到地形变化和空间节奏。

现实空间进入游戏前，要先经过一次取舍。AI 得理解地貌和建筑原本的关系，以及游戏为何要把一百公里的变化压缩进一段更短的路程。AI的能力因此要从能生成几栋建筑，升级到学会如何推演一片可以被玩家行走、观察和使用的空间。

这类空间推演，也把腾讯游戏带到同一个更大的问题前：AI到底是如何理解一个世界，并在其中持续行动的？

当AI开始生成可被玩家行走的空间，角色也需要理解自己所处的位置、环境中的对象和行动带来的后果。世界的生成与角色的行动，最终会在同一套多模态能力里相遇。

这条路还处在很早的阶段。文本模型已经形成相对稳定的训练范式，三维动画仍受数据和计算资源制约。行业还没有形成一套与大语言模型相当的统一路径。

蒋心为将角色动画看作一个合适的研究载体。“现在chatbot里也可以语音聊天，但只有把最后一环动画打通，才使得LLM和语音有机会以视觉的形式表现出来。”角色进入三维场景后，模型还要处理空间关系、动作节奏和环境反馈。

这与具身智能形成交集。机器人同样需要在仿真环境中学习动作和决策，因为真实环境中的数据有限。游戏本身就提供了一个可以反复运行的仿真世界。团队眼下也在研究四足、异形怪兽等不同形态的动作问题。这些探索会优先服务于游戏角色和玩法，也可能为多模态模型如何理解空间、生成动作和持续接收反馈，提供了经验。

拉长时间看，数字景德镇里的AI实践，只是腾讯游戏团队探索AI可能性的一个节点。角色如何行动，玩家如何参与创造，游戏世界如何记住每一次改变，仍有大量想象等待被激发、被创造。