腾讯发布两大具身智能基座模型，VLM&RxBrain让机器人更懂现实世界

7 月 15 日，腾讯 Robotics X 实验室以及福田实验室联合腾讯混元推出两款具身智能基座模型 —— 具身 VLM 基座模型 Hy-Embodied-VLM-1.0 以及 具身世界认知基座模型 Hy-Embodied-RxBrain-1.0，不仅让具身大脑能够 “看” 懂现实世界，还学会同时推理和想象。

Hy-Embodied-VLM-1.0 是腾讯推出的第二代具身 VLM 基座模型，从物理空间状态理解、动作 - 变化理解、时序和自适应推理三个层次构建模型能力维度，增强了场景感知、行动分析规划、导航等面向具身 agent 的多模态理解能力。新版依托最新混元 A3B 基座开发，通过增训大规模具身数据，在扩充的 37 个评测任务上以 1/10 的计算量达到了和上一代 A32B 旗舰具身模型可比的效果，为高性能端侧模型的开发提供了新基座。

Hy-Embodied-RxBrain-1.0 是一个具身世界认知基座模型，对世界理解、推理规划、行动后果预测等统一建模，依托 Hy-Embodied-VLM 基座开发，基于 5w+ 小时高质量具身数据训练，在一个模型中实现文本、图像、视频以及图文交错形式的统一理解与生成，将具身认知推理、行动规划和目标状态想象转化为更清晰、更稠密的多模态 Condition，为下游动作模型提供高层指导。在同尺寸模型中形成差异化领先能力，为具身 Agent 的上层认知决策和下游动作生成都提供了新的基础模型支撑。

目前，这两个模型均已开源，开发者可以直接在开源社区下载部署。

模型开源地址：

【Hy-Embodied-VLM-1.0】

• https://github.com/Tencent-Hunyuan/HY-Embodied
• https://huggingface.co/tencent/Hy-Embodied-VLM-1.0

【Hy-Embodied-RxBrain-1.0】

• https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0
• https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0

一、Hy-Embodied-VLM-1.0：优化 “理解 — 行动 — 适应” 闭环

Hy-Embodied-VLM-1.0 的设计理念是优化具身智能体在真实物理世界中的 “理解 — 行动 — 适应” 闭环，构建分层递进的能力体系。

首先，模型能够识别物体、属性、深度与空间关系，理解机器人视角、功能部件、可操作区域及环境可供性，形成与当前任务相关的物理世界状态表征。进一步地，模型可结合人机交互语义、目标对象与任务约束，完成下一步动作选择、目标与轨迹定位，并判断空间前置条件、动作可执行性及其局部物理影响。面向长时程任务，模型还具备多步规划、视觉语言导航、历史与空间记忆、失败诊断、反事实分析和动态重规划能力，可依据目标、执行进度与环境反馈持续修正决策，实现从场景理解、局部因果推理到长期自适应执行的完整能力覆盖。

特别的是，基于这一能力类目体系，腾讯 Robotics X 实验室和混元团队构建了高质量的 mid-train 与 post-train 数据，系统增强基座模型面向物理世界智能体的核心能力。其中，mid-train 阶段汇聚超过 1800 万条问答数据，重点覆盖状态理解、动作转移与复杂推理；post-train 阶段进一步构建约 4.8 万条高质量指令数据，强化计数、空间关系、交互理解、动作可行性、目标定位、规划导航与反思纠错等能力。通过分阶段、分层次的数据训练，模型逐步形成从 “理解环境状态” 到 “预测动作影响”，再到 “长期规划与动态调整” 的完整智能体能力链路。

在覆盖 37 个评测任务的具身能力评测体系中，Hy-Embodied-VLM-1.0 在物理状态理解、动作 — 变化推理、时序与自适应推理三大维度分别取得 68.6、64.1 和 57.4 分，综合平均得分达到 65.6。仅采用 A3B 规模，模型整体性能已接近上一代 A32B 旗舰模型，并显著优于同等规模的 Qwen3.6-A3B、Cosmos 3-A8B、Embodied-R1 通用与具身模型；其中，在更具挑战的动作转移推理和长时序自适应推理任务上表现尤为突出，验证了分层能力体系与高质量 mid-train、post-train 数据对智能体能力的有效增强。

二、Hy-Embodied-RxBrain-1.0：让具身大脑同时 “会推理” 与 “会想象”

机器人进入开放环境后，不仅需要知道 “下一步做什么”，还需要理解 “为什么这样做” 以及 “完成后世界应该变成什么样”。

当前具身智能主要沿两条路线发展：

• 具身 VLM/VLA 擅长场景理解、任务分解与语言推理，但目标物理状态通常是隐式的，往往还需要额外的世界模型或价值模型判断执行结果
• 基于视频生成模型的 World Model 擅长预测未来观测和状态变化，但较难显式表达任务逻辑、约束条件与长程决策依据

Hy-Embodied-RxBrain-1.0 并非简单拼接语言模型与图像生成器，而是让文本推理与视觉想象围绕同一个任务目标，在一条连续认知序列中协同发生。

其中，语言负责表达任务分解、行动逻辑、约束与决策；视觉目标图像负责描述每一步应达到的中间状态和最终状态。二者共同为下游动作模型提供更完整的条件：

• 语言计划支持任务理解与动作选择
• 目标图像可作为 goal-conditioned policy、逆动力学模型或动作解码器的视觉目标
• 实际观测与目标图像之间的差异，可用于进度判断、失败检测与重规划

Hy-Embodied-RxBrain 在统一模型中支持多种具身任务，包括具身视觉问答、多帧视觉生成，以及结合视觉目标想象的文本推理。给定人类指令和视觉观测，模型能够对当前场景进行推理，想象未来状态或目标状态，并为具身交互生成逐步的视觉结果。

同样的，Hy-Embodied-RxBrain-1.0 的研发过程中，也构建了高质量的 pre-train 与 mid-train 数据：

• 超过 5 万小时高质量具身数据

在预训练阶段，RxBrain 使用共计 50,177 小时操作数据，包括： 第一视角及 UMI 数据：31,568 小时； 真实机器人数据：17,292 小时； 仿真数据：1,317 小时。

其中开源数据为 28,597 小时，占比约 57%。所有数据均经过质量筛选，过滤无意义动作、状态变化不明确及不适合做视觉想象的样本。

此外，团队进一步设计了自动视频分割与标注流水线，将无标注长视频转换为带有动作描述、起止状态和时间边界的原子动作序列。

基于标注后的动作序列，团队构建了约 2.1 亿条训练样本，覆盖四种粒度：

• L0：连续动作状态想象；
• L1：原子动作规划；
• L2：高层子任务规划；
• L3：最终目标状态想象。

在 mid-training 阶段，进一步加入 3,500 万条具身能力数据，覆盖空间推理、多视角理解、因果推断、视觉定位、行为规划、三维感知、错误分析和多模态生成等任务，并在推理过程中引入辅助视觉想象，使模型逐步获得从场景认知到长程规划的综合能力。

现有具身评测通常将视觉理解、具身推理和未来预测分别测试，但真正的具身规划需要模型同时表达 “做什么” 以及 “完成后应达到什么状态”。

为了更好的衡量模型能力，研究团队还与机器人行业合作伙伴构建了 RxBrain-Bench，包括三个递进任务：

• Embodied VQA：1,381 组问答，评价场景理解、任务规划、异常恢复和任务完成判断
• Embodied World State Prediction：1,116 个样本，评价短时未来状态预测
• Joint Subgoal Planning：3,640 个样本，评价模型自由滚动生成 “文本子任务 — 视觉目标状态” 交错序列的能力

在 RxBrain-Bench 的核心任务 —— 联合具身规划上，RxBrain 在完全自由滚动的评测设置中取得 0.68 的综合规划得分。相比之下，基于 Cosmos3-Nano 构建的 Agent 得分为 0.521，统一图文模型 BAGEL-7B-MoT 为 0.503，而由 Qwen3-VL-2B 与 Qwen-Image-Edit 组合而成的模块化 Qwen-Agent 得分为 0.431。

这一结果说明，将文本推理与视觉目标生成简单地串联起来，并不等于模型真正具备联合规划能力。模块化系统容易在多步执行过程中出现语言重复、图像与计划脱节以及视觉状态持续漂移等问题。RxBrain 则在同一个上下文中交替生成子任务文本和目标图像，并将上一轮生成结果重新纳入后续规划，因此在观察理解、子任务规划、文本 — 图像一致性和完整任务链生成等指标上均领先于对比模型。

从具体能力来看，RxBrain 在观察理解和子任务规划上的得分分别达到 0.83 和 0.78，说明模型能够较好地理解当前状态，并将长程目标拆解为合理步骤。目标图像正确性得分为 0.52，说明视觉想象仍是当前的主要性能瓶颈。且随着自由滚动步数增加，综合得分由两步规划时的 0.69 逐渐下降到八步时的 0.55。这表明，如何进一步提升目标图像的单帧质量，并降低长程视觉想象过程中的误差累积，是模型下一阶段重点优化的方向。

在短时未来视频生成任务上，RxBrain 获得 0.62 的综合得分，显著高于通用视频生成模型 Wan2.2-TI2V-5B 的 0.429，并与专门面向具身世界建模的 Cosmos3-Nano 的 0.591 接近。值得注意的是，Cosmos3-Nano 是基于更大规模视频数据训练的专用世界模型，而 RxBrain 需要在同一个模型中兼顾文本推理、视觉理解、图像生成和交错规划。结果说明，统一具身大脑不仅能够生成任务计划，也能够达到接近专用世界模型的短时未来预测能力。

具体来看，RxBrain 在动作正确性和观察连续性上的得分分别为 0.65 和 0.62，能够较好地保持场景布局，并表现出指令要求的物体状态变化；当前相对较弱的是时间与物理合理性，得分为 0.53。这也意味着，相比 “下一步应该发生什么”，模型对 “动作过程应该如何连续发生” 的建模仍有提升空间。

此外，开源 Benchmark 评测结果显示，RxBrain 在约 6.2B 参数规模下，兼具开放域图像生成与具身空间理解能力。

在文生图评测 GenEval 上，RxBrain 得分 82.4，与生成专用模型 BAGEL 的 82 分相当，高于 Cosmos3-Nano 的 71.68 分。

在具身与空间理解方面，RxBrain 在 CV-Bench 上取得 88.59、EmbSpatial 取得 82.3、DA-2k 上取得 83.4；在 3DRS-Bench、MMSI-Bench、MindCube 和 SITE-Bench-Image 等多视角与三维理解评测中取得最优结果，并在机器人轨迹预测及空间配置理解任务中保持领先。

这表明，RxBrain 并未以牺牲语言理解和具身推理为代价换取视觉生成能力，而是在统一模型中同时保留两类能力。

https://mp.weixin.qq.com/s/r3WWKJYJ7xH0QXCWhZXe1Q

研究团队进一步开展了真机验证，覆盖摆放餐具、折叠并收纳眼镜、丢垃圾等三个多阶段操作任务。这些任务同时涉及顺序执行、空间摆放、精细铰接物体操作、容器交互和跨平台部署，能够较为全面地验证模型在真实机器人系统中的执行能力。

在 DOBOT X-Trainer 和 方舟无限 A5 两类机械臂本体上，模型在 Set the Table 、Fold and Store Glasses 和 Pick Trash 上分别取得 97%、95% 和 68% 的成功率，平均成功率达到 87%；相比之下，π0 和 π0.5 的平均成功率分别为 68% 和 82%。结果表明，从视觉生成专家中复用世界状态预测和规划表征，能够有效提升动作分支在多阶段机器人操作中的执行可靠性。

这项实验也进一步验证了 RxBrain 的核心设计：视觉想象并不是模型最终输出中的附加展示内容，而是可以被动作模型实际利用的中间认知表示。通过语言步骤、视觉目标与动作预测之间的联合建模，模型开始形成从场景理解、任务规划、目标状态想象到动作执行的完整链路。

三、推动具身智能大脑持续进化

从数字世界到物理世界，我们正在教会机器如何理解并感知这个复杂的世界。Hy-Embodied-VLM-1.0 和 Hy-Embodied-RxBrain-1.0 的发布，标志着腾讯 Robotics X、福田实验室与混元团队的深度融合迈入新阶段 —— 这不仅是模型的迭代，更是对具身智能 “皇冠上的明珠” 的一次有力叩击。

回首过往半年，我们在 VLM/VLA 及具身智能体的研发征途上步履不停，不断探索智能的边界。2026 WAIC 在即，我们将揭开更多关于 “物理 AI” 的未来想象，让技术不仅有深度，更有温度。