Unite Shanghai 2025 | 团结AI：Assistant & Graph

Unite Shanghai 2025于 10 月 23-24 日圆满举办。在团结引擎专场中，Unity 中国软件工程师，团结引擎 AI 团队开发成员高尚、柴沛霖带来分享《团结AI：Assistant & Graph》，本文为演讲全文实录。点击阅读原文，可以访问 Unite Shanghai 2025 演讲录像，一起学习 Unite 分享的最新技术干货。

团结 AI Assistant

高尚：各位开发者大家下午好，我们今天来看一下团结 AI Assistant——深度集成于团结引擎的人工智能助手。我们在 1.7 版本中对团结 Muse Chat 进行了重新定位，正式更名为团结 AI Assistant，希望在未来能够带给各位开发者更好的体验。

今天在团结 AI Assistant 部分讲到的内容将包括知识问答、代码助手，并重点在 Agent 模式上做一些介绍。在 Agent 模式下，团结 AI Assistant 会根据具体情况选择合适的 Agent 工具进行调用，以便更好地分析当前项目，自动化操作流程。同时，我们也提供了自定义工具的接口，支持开发者进一步拓展团结 AI Assistant 的能力边界。最后，我会带大家一起看看团结 AI Assistant 在 Agent 模式上的未来方向——多智能体支持，我们将在后续的版本更新中陆续向大家开放这一功能。

我们首先来看看基础能力，团结 AI Assistant 支持关于团结引擎的知识问答，不仅具备深度思考能力，能更好地理解复杂的上下文，也支持通过联网搜索获取更多的相关信息。其中，联网搜索也包含网页浏览功能，可以直接读取开发者在提问中提供的外部链接并基于该网页内容进行回答。

在团结 1.7 的更新中，我们对代码助手的交互流程进行了优化。在上面的 demo 中，我们想让小球绕 z 轴圆周运动，提问然后生成代码。将代码保存并导入后，会自动挂载到已选中的小球的 GameObject 上。再次提问让 AI 修改代码，这时会自动将脚本 Attach 为附件，修改后保存可以自动覆盖，整个流程还是比较丝滑的。

我们现在已经支持了低代码的工作流，方便大家去做代码的生成、导入和自动挂载到选择的 GameObject。生成代码如果编译检查不通过，可以进行自动调试和修复，也支持像右边截图一样添加附件作为提问的上下文。为了方便交互，我们也提供了多个便捷入口，可以直接在 GameObject 和脚本文件的右键菜单进入，也可以像右下角截图中所示，针对 Console 报错一键提问，就能让团结 AI Assistant 自动进行问题分析和修复。

接下来，我们来看看 Agent 模式。之所以要引入 Agent 模式，是因为我们希望让 AI 不只是“回答问题”，而是真正理解实际项目。我们提供了一套 Agent 工具集，这些工具能帮助团结 AI Assistant 读取当前项目中的各种资源，比如 GameObject/Assets 等，为 LLM 提供丰富的上下文信息。当开发者提问时，AI Assistant 会自动根据问题的类型和上下文，调用最合适的 Agent 工具，去分析当前项目的状态，从而生成更准确、更有针对性的回答。实际使用也很简单，只需将鼠标移动到输入框左侧的机器人图标，就可以通过点击来选择是否启用，默认是启用的。同时也能看到 Agent 工具列表，可以选择是否启用某个具体的工具。此外，需要向大家说明的是，所有这些信息的读取，都仅用于当前问题的解答，不会被用于模型训练，各位开发者可以放心使用。

刚才我们介绍了内置的 Agent 工具，我们也提供了接口支持开发者进行自定义工具的实现。在上面示例中，我们将地形生成功能封装成了一个自定义 Agent 工具，并通过团结 AI Assistant 的自定义接口进行接入。现在，只需输入一条简单的指令，它会自动调用地形生成工具进行执行，在场景中创建所需地形，并可对已有地形进行调整与优化。通过这种方式，开发者可以将自己的工作流逻辑封装成工具，按照实际需求去拓展团结 AI Assistant 的能力边界。

自定义工具的创建流程也很简单，像上方 Demo 一样，只需点击 Agent 工具列表右上角的“＋”号，就能打开创建 Agent 工具的弹窗。在这个界面中，开发者对需要的自定义工具进行定义：包括工具的名字和描述，向大语言模型说明这个工具的用途；接下来是参数配置，用于定义每个参数的名称、类型和描述；最后一项是工具的执行脚本，可以点击脚本旁边的“创建”一键生成脚本模板，在生成的 C# 文件中编写执行逻辑。完成设置后，点击“保存工具”就创建好了。

自定义工具的执行脚本里，必须实现 IAgentToolExecutor 接口，需要选择调用的类型，再实现对应的函数接口，比如 Task 的异步调用就实现 ExecuteTask。需要说明的是，目前已发布的版本仅支持同步调用，异步调用功能会尽快发布。具体用法可以参考团结引擎的文档，这里就不过多展开了，或者大家也可以问问我们的团结 AI Assistant。

现在，我们来看看团结 AI Assistant 在 Agent 模式上的未来方向——多智能体支持。为了解决团结引擎在实际使用过程中面临的复杂任务，我们正在研发多智能体协作机制，目前这是一个内部预研阶段的功能，未来我们会在稳定后开放测试。我们希望让团结 AI Assistant 能够调用不同团结引擎模块的专家智能体（Expert Agent），从而更好地应对复杂任务。比如，我们可以为 ShaderGraph 模块实现一个专门服务于 Shader Graph 专家智能体，就叫做 ShaderGraph Agent，用来处理各类与 ShaderGraph 相关的任务。

我们已经实现了一个可用的 ShaderGraph Agent。提问一个和 Shader Graph 相关的问题，团结 AI Assistant 就会将任务分配给 ShaderGraph Agent 去执行。这些任务可能包括咨询某个 ShaderGraph 的使用方式，也可以是生成 Shader Graph 节点或 Custom Function 等。除此之外，它还可以根据生成的节点和 custom function 的需要去实际生成配置它的输出参数，以及把一些输入的 ShaderGraph 的节点进行自动连接。在使用过程中，只需将 Shader Graph 相关问题交给团结 AI Assistant，它就能够把任务转交给 ShaderGraph Agent 去处理，从而实现任务的分配和智能体的协作。

举个实际的例子，比如说我们有个生成水体效果的需求，我们做了个 Demo，基于团结 AI Assitant 对专家智能体的支持，分成 4 步让 ShaderGraph Agent 来实现。第一步，我们直接提问团结 AI Assitant，让它生成计算水体颜色的 Custom Function，判断到是跟 Shader Graph 相关的任务后，就会交给 ShaderGraph Agent 来处理。这里 ShaderGraph Agent 能根据我们的需求，生成对应的 Custom Function，并设置好需要用到的输入和输出，还可以找到并生成合适的节点直接帮我们连好。我们后面就只用检查一下生成的这个节点对不对，以及根据自己的需求进行一些微调。例如前面生成的边缘透明度、水体颜色、散射颜色等节点，都是美术可以用来调效果的，我们就可以把他们转化成 Property，暴露给材质球，方便我们进行后续的调整。

第二步也是一样，将任务提交给团结 AI Assitant，就会让 ShaderGraph Agent 去生成通过 NormalMap 动画来模拟水波纹效果的 Custom Function。我们对生成的节点进行一些微调，比如只保留 World Position 的 X/Z 轴坐标用于贴图采样。然后和刚才一样，将选择的输入节点转换为 Property，方便我们后续调整。

第三步生成折射 UV，和之前一样检查生成的节点，生成的 UV 节点默认连接到 UV 输入，但我们需要用于采样屏幕颜色的 UV，因此手动进行了替换。最后就是生成顶点动画，让水体网格动起来，得到有体积感的波浪效果，将新的位置、法线、切线信息连到顶点着色器上面。

对于这个 Expert Agent，未来我们也会继续优化，一方面是让它能更准确地理解需求并进行规划，从而减少手动操作，尽可能解放双手。另一方面也会继续丰富它的功能，挖掘他的潜力，让它能进一步得提高我们的开发效率，并且降低 Shader Graph 的使用门槛。

最后，我们来简单聊一下对于团结 AI Assistant 的未来规划。后续会围绕三个方向持续优化：一是深度融合团结引擎生态，我们会提供更丰富的内部工具调用支持，然后提供更多模块的 Expert Agent，同时也会对 Attaching 的交互进行优化，并支持更多附件类型，让 AI 模型能够获得充分的上下文。第二个是智能化任务理解与规划，刚才提到的优化 Agent 模式，提升 Planning 的能力，优化任务拆解和意图理解。最后是开放与生态建设，会在后面版本中提供 MCP 支持，支持更多的外部 AI 工具。

后面就把时间交给我的同事为大家介绍团结 AI Graph。

团结 AI Graph

柴沛霖：大家下午好，我是柴沛霖。我会带来关于团结 AI Graph 更详细的介绍。

我将更详细地介绍一下 AI Graph，目的是将资产制作流程可视化，易于编辑和协作，更符合美术使用习惯。大家使用的 ShaderGraph 以及一些 AI 工具都是类似的方式，适合大家自由调配。下图就是我们现在搭建的 AI Graph 流程图。

AI Graph 希望作为平台可以集成多种 AI 工具，如文生图，文生 3D，动画生成，骨骼绑定等。最后我们希望内嵌在引擎里，生成资产可以快速生用到场景里。

团结 AI Graph 的创建方式有三种：第一种是菜单栏创建，左上角通过 window 点开团结 AI，后面有一个 Graph template 和团结 AI Graph。选择团结 AI Graph 可以在当前资产的位置创建一个空的 AI Graph，选择 template 会提供可供使用的模板。第二种方式是 Inspector 创建，创建空的如动画、3D 物体、2D 图片等对象时，可以通过 Inspector 面板右上角 AI generate 去生成。如果想更新这些资产，点击一个图片、3D 模型或者动画，右上角也有 AI generate，可以使用它来替换当前的资产。第三种方式是 Assets 右键创建，这是大家常用的创建资产的方式。

上图是一个空的 AI Graph 文件，搭建它的管线跟大家使用的美术 Shader Graph 很像，是通过右键创建一个个的节点，并连线完善它们之间的相互关系。

为了方便大家使用，我们提供了一些模板，点击 AI Graph template 以后可以看到包括 2D、3D 的资产生成模板。这里的模型厂商有腾讯混元、影眸 Rodin、Tripo-VAST 等，未来会接入更多厂商。

打开模板右边的界面，左上角会有便签告诉大家这些是干什么用的，更详细的参数会在 menu 里面提供，欢迎大家尝试。

我们提供的模板框架包括 2D 的图生图、生成三视图、生成天空盒等，以及 3D 文/图生模型、3D 绑骨，图生动画等。

还有关于 2D 和 3D 资产修改的其他功能，比如 2D 图片上色、背景去除、风格转换等，3D 生成低面数模型、线稿生成模型、风格化角色等。同一种功能可能由不同的厂商提供，大家可以进行比对，选择最适合自己的使用。

同时我们还提供 group 群组和 Graph 子图两种比较特殊的方式供大家使用。group 群组是大家可以把觉得可以成为一个组合的节点拖入进一个 group 群组里面，方便更好地规划和修改 Graph 的组织架构。Graph 子图有点像套娃，右上角的图片示例中显示了两个简单节点，是通过 prompt 生成一个模型，然后我们希望给这个 prompt 一个 string 输入，右边给 model 一个输出。我们可以添加输入和输出节点，当前图片就可以作为子图导入到下面的 model 节点。Graph 本身是一个资产，可以把资产直接拖到另外一个 Graph 里面，作为子图使用，这样可以套娃去使用不同的子图来完成管线搭建。

最后再讲一下历史资产，生成完的结果我们会通过一个按纽保留到历史资产列表里面，比如上图是当前一些节点生成的不同资产。如果觉得现在生成的模型还不如上一个模型，可以将同样节点的上一个模型直接拖入到当前节点，就可以直接使用。同样也可以将历史资产里面之前生成的模型在右上角进行下载或者删除。

最后讲一下团结 AI Graph 未来的规划。第一个规划是支持 Sentis 包，Sentis 是 Unity 原生支持 AI 模型的能力，它支持推理框架，能将 AI 模型导入到游戏的应用程序中，用户可以使用这些 AI 模型进行物体识别、智能 NPC 等复杂功能。模型导入之后，它就可以支持在所有团结平台上运行，意味着大家可以在 runtime 下使用 AI Graph 完成自己的框架搭建、使用到游戏之中。团结 AI Graph 未来会基于 Sentis 提供三类节点：第一个输入节点，将项目资产编码为 AI 需要的张量输入；第二个推理节点可以运行 AI 模型获取张量输出；第三种是输出节点，将张量输出为项目资产。这样大家就可以通过团结 AI 以及 Sentis 的联动在 runtime 实现更多有创意的内容。

另外一个未来将会做的事是开放式框架，我们希望给用户提供可以使用的用户框架，用户只需要提供符合规格的 Json 文件，AI Graph 会自动解码编译成 C# 文件生成用户自己的用户节点。未来我们会搭建一个平台，用户自己创作的好用节点、节点流都可以上传到平台。如果上传用户允许，其他用户可以下载上传用户自制的节点或 Graph。

在未来的 2-3 个月里，AI Graph 是供大家免费使用的，每天都有一定数量的免费 token 用量，希望大家积极尝试，谢谢大家！

Unite Shanghai 2025演讲回放录像已上线 Unity 中文课堂，点击阅读原文即可访问，购票用户可免费观看。请持续关注，一起学习 Unite 分享的最新技术动向。

Unity 官方微信

第一时间了解Unity引擎动向，学习进阶开发技能

每一个“点赞”、“在看”，都是我们前进的动力