把策略从checkpoint送上真机，FluxVLA技术报告解读

在具身智能领域，VLA、WAM与离线强化学习正在快速扩展机器人策略的设计空间，但一个算法checkpoint并不等于一个能跑的机器人系统。数据格式、训练栈、评测协议、推理运行时与本体接口的碎片化，让"从策略到真机"的路径远比跑模型本身更难，甚至让人分不清一次性能提升究竟来自算法创新还是外围系统的差异。

本文介绍逐际动力（LimX Dynamics）FluxVLA团队发布的技术报告FluxVLA Engine。FluxVLA Engine不是又一个VLA模型，而是一个面向具身智能科研创新、应用开发与落地的标准化VLA工程底座，以统一配置、标准接口、模块解耦、加速部署为核心设计理念，将数据处理、模型训练、仿真评测到真机部署的每个环节标准化，把异构的具身策略组件整合为一条可复现的"数据到部署"工作流。平台以注册表机制打通数据集、视觉-语言骨干、动作头、奖励加权学习、分布式训练、仿真评测、优化推理与机器人操作符之间的标准化接口，并结合Real-Time Chunking（RTC）、推理加速后端与轨迹后处理支撑响应式真机执行。

实验表明，14个策略集成在同一管线完成LIBERO闭环评测——其中包括以inference-only方式接入的GPT-6 API策略，13个checkpoint策略中11个平均成功率超过95%；推理加速在数据中心、桌面与边缘GPU上带来2.3–9.6倍的推理速度提升；真机侧，GR00T N1.5与π0.5经同一部署路径完成ALOHA五任务与Oli三任务闭环benchmark，配套ARM研究进一步将真机毛巾折叠成功率从62.1%提升至99.4%，验证了"数据-奖励-训练-部署"的完整闭环。

论文题目：
FluxVLA Engine: A One-Stop VLA Engineering Platform for Embodied Intelligence
论文链接：
https://arxiv.org/abs/2609.17210
代码仓库：
https://github.com/FluxVLA/FluxVLA
项目主页：
https://www.limxdynamics.com/zh/products/fluxvla

一、引言

当前具身策略学习横跨多个互补范式：VLA模型将视觉观测、语言与机器人状态直接映射为动作；WAM进一步利用预测的视觉动力学与时序世界表征；离线强化学习则从历史经验中改进策略。然而，把研究成果转化为可重复的物理行为，需要在模型架构之外做大量工程决策，而这些决策往往埋藏在项目专属的代码里。在具身智能落地的研发链路中，三类结构性工程瓶颈普遍存在：

（1）数据格式碎片化：训练、仿真与部署阶段通常依赖不同的数据格式与处理逻辑，不同方法之间缺乏统一数据规范，数据格式需要反复转换与适配，工程成本远高于算法本身。更进一步，不同实现对相机顺序、坐标系、动作表征、归一化统计的假设各不相同，通过不同预处理管线或评测协议得到的结果难以比较。

（2）代码架构高耦合：数据处理、模型定义与训练评测逻辑往往深度绑定。无论是替换视觉编码器，还是接入新任务或新数据集，均需对现有框架代码进行深入修改，既耗费时间，也容易引入新的错误，造成"换个模型就要重新造轮子"的困境。

（3）仿真到真机的迁移鸿沟：仿真环境中的理想条件无法覆盖真实系统中的延迟、噪声与硬件约束，导致模型在真实机器人上的性能显著下降。对action-chunking策略而言，模型推理可能慢于机器人控制回路，异步执行一个chunk的同时预测下一个chunk，还会在chunk边界产生动作不连续。

弥合这些瓶颈需要一个闭环工程回路：采集并标准化数据、训练可互换的策略、在仿真中验证、经优化的本地或远程推理执行、捕获失败与人类纠正、并将经验回流训练。FluxVLA Engine正是围绕这个回路设计的——以统一配置与标准化接口，将数据、训练、仿真到真机部署的每个环节规范化，为开发者提供可自由替换和组合的模块，无需每次从头适配。

二、本文方法

FluxVLA Engine的整体架构如下图所示。平台以统一配置、标准接口、模块解耦、加速部署为核心设计理念，对应报告中的四条工程原则：

•统一配置（Unified）把数据、模型、优化、评测与部署决策放进同一份实验描述，用户无需维护多套脚本即可切换各类模型；

•模块解耦（Modular）把数据处理、模型调用与部署相关模块隔离在显式的构造与运行时接口之后，以标准化输入输出贯穿全流程，更换数据集、替换模型或从仿真切换到真机时格式与接口保持一致；

•加速部署（Deployable）保留模型与预处理路径、只替换面向环境或机器人的执行层，训练完成的模型可直接导出并经标准化流程部署到真实机器人平台；

•可复现（Reproducibility）记录解析后的实验状态，并导出评测与部署所需的全部artifact。

2.1 配置即实验规格：All-in-one配置、注册表与自包含artifact

FluxVLA Engine采用All-in-one配置机制，通过单一配置文件统一管理数据、模型、训练、评测、推理与部署参数，并以类型键控的注册表作为配置与实现之间的构造边界：从tokenizer、transform、数据集，到骨干网络、动作头、runner、机器人操作符，各类组件都在配置中以type字段声明、由注册表解析构造。

这一机制把模型选择从训练与推理入口中剥离：launcher只请求构造数据集或runner，而不为每个策略家族保留分支。新增一个实现只需注册组件并提供满足约定的配置，而不是复制整套工作流。需要注意的是，注册建立的是构造接口而非任意互换性——组件之间仍需在张量形状、时序与动作语义上达成一致。

机器人学习系统的一个常见部署失败是：训练checkpoint只包含任务相关的参数更新，却隐式依赖原始预训练权重与预处理资产。FluxVLA将完整的训练后模型状态、解析后的配置与推理所需元数据打包为自包含的artifact，评测与部署可以直接从运行artifact重建策略，无需找回原始预训练权重，从而减少配置与版本错配。

2.2 数据管线与模型层约定

数据管线承担两个容易混淆的职责：接入不同来源的轨迹，以及向每个模型呈现其假定的观测、语言、状态与动作语义。FluxVLA把两者拆分为面向存储的数据集层与配置定义的transform层：原始轨迹统一转换为兼容LeRobot格式的Parquet表示，训练样本从episode一致的时序窗口构造，transform列表完全通过配置组合与重排；归一化统计随模型artifact保存，保证训练侧预处理与推理侧动作恢复的一致性。

模型层的设计目标是保留差异巨大的VLA算法的原生结构，同时向系统其余部分暴露一个小接口。平台已集成Qwen、GR00T、π系列以及DreamZero等主流VLM/VLA/WAM模型架构：可自由组合的模型走BaseVLA定义的插槽（视觉骨干、语言骨干、集成VLM、projector、动作头）；像π0这样包含耦合action expert的架构、包含video VAE与多个DiT流的WAM，则由模型专属的原生wrapper持有。以flow-matching策略为例，在π0采用的约定下，对干净动作块 、噪声 与采样时间 ，插值输入与目标速度为：

模型学习预测速度场，训练在有效时间步与动作维度上施加掩码的均方误差；推理时从噪声出发数值积分学习到的速度场，即可得到干净的动作块。

2.3 闭环仿真评测：从checkpoint重建实验

仿真评测不是孤立地调用模型，而是闭环重建一个训练好的实验：每次rollout都从选定的checkpoint与运行artifact恢复策略和预处理状态，将benchmark重置到受控状态，协调推理与动作执行并记录episode结果。执行调度上，评测器从每个H步预测中执行可配置的前K步——较小的前缀提升反应性，较长的前缀摊薄推理开销。该调度保持在模型之外，同一个训练好的策略可以在不同闭环调度下评测，并经由真机执行路径直接部署。

目前支持LIBERO与RoboCasa GR-1两个评测器，差异在仿真器语义而非策略调用方式：LIBERO加载套件任务及其官方初始状态；RoboCasa GR-1 Tabletop使用覆盖双臂、双手与腰部的29维动作接口，并兼容GR00T N1.5官方路径的动作顺序。benchmark专属的逻辑被隔离在评测器内，不渗入模型与数据层；评测同时保留task、trial、rollout三个粒度的证据与可选的rollout视频——聚合成功率因此可以追溯到个体行为，而不是一个无法审计的数字。评测器阵容也在持续扩充，RoboDojo、RoboTwin等更多仿真评测器将在近期更新中加入。

值得一提的是，这套评测面向所有满足接口的策略开放，而非只服务本地训练的checkpoint：报告中GPT-6即以inference-only的API策略身份接入同一套LIBERO闭环评测——不提供权重、不参与训练，评测器照常完成策略接入、闭环调度与证据记录。这意味着第三方API模型与自训练checkpoint可以在同一协议、同一证据粒度下接受审计与比较。

2.4 推理加速：替换执行图，而非重训策略

VLA的训练实现为清晰度、梯度计算与架构灵活性而优化，这些优先级并不产生高效的部署图；flow-based策略进一步放大了这种错配，因为每次动作查询都要执行视觉-语言编码器并反复评估动作去噪器。FluxVLA允许配置定义一个inference_model，它与训练模型结构兼容，但用面向推理的实现替换选定模块乃至完整预测路径——checkpoint保持不变，加速是同一组已学参数上的另一种执行图，而不是单独训练的策略。

具体而言，GR00T路径替换为推理专用的骨干与flow-matching头；π0.5路径则把视觉编码、语言条件、action expert与去噪循环整条管线展开进一张CUDA Graph，消除视觉-语言前缀与反复动作解码之间的主机边界。实现上，平台用Triton融合算子与定制CUDA算子消化跨transformer层与去噪迭代中反复出现的小算子开销，并配合静态buffer在首次预测时完成预热与图捕获，后续预测只需更新输入并重放同一张图。

2.5 Real-Time Chunking：让异步执行的块与块对齐

动作分块减少了VLA的查询频率，但引入了时序协调问题：当预测与执行重叠，新生成chunk的一部分在可用时可能已经过时。RTC把上一个chunk中尚未执行的部分变成下一次预测的显式条件，有效规避模型输出的动作轨迹抖动，确保真机部署后机器人执行动作稳定、流畅。runner首先做时间对齐：设上一个chunk首个样本的时间原点为 ，控制周期为 ，则已流逝的偏移（可以是小数）为：

runner从 处对剩余轨迹重采样，得到的前缀对应控制时间线上仍然相关的命令，而不是数组里已经过时的位置。在此之上，报告提供两条路线：

•Training-time RTC：训练时采样模拟延迟，让模型见到干净的已知前缀、只预测未知后缀；推理时把对齐后的历史动作固定在前 个位置，并在每一步去噪更新后恢复，保证返回的重叠段与前缀精确一致。

•Test-time RTC：不改动训练，仅在推理时对前缀误差施加引导。原始方法需要沿去噪器反向传播，FluxVLA额外提供了一种更低成本的直接近似——把加权前缀误差直接加到预测速度上，无需对去噪器求导。

两条路线都已兼容加速推理路径。

2.6 轨迹后处理：从"预测一致"到"可以执行"

预测时的一致性本身并不保证可执行的运动：反归一化之后，一个chunk仍可能包含局部振荡、隐含过大的速度/加速度/jerk，或以不理想的高阶运动变化衔接上一个chunk。FluxVLA把轨迹后处理作为反归一化与命令执行之间可选的runner级阶段，提供两种后端：

•关节空间MPC：把策略输出视为参考轨迹，对每个关节在固定时域上优化位置、速度、加速度与jerk，在跟踪误差、终端状态与高阶运动约束之间求解折中（OSQP求解，逐关节可分离、可并行）；

•Ruckig jerk限制滤波：让一条jerk受限的在线轨迹朝相继的策略目标前进，高阶约束直接且计算量小，代价是可能引入参考滞后。

配置将三个决策正交分离：轨迹如何生成（后端）、期望什么终端行为（tracking或settle模式）、是否需要与仍在执行的旧轨迹缝合（stitching）。RTC与轨迹后处理是顺序协作而非竞争的机制：RTC减少新chunk带来的变化，后处理把命令正则化到机器人可执行的运动包络内。

2.7 真机推理：runner与operator各司其职

物理执行把目标从"预测动作"变成"以稳定控制频率交付安全、时序一致的命令"。FluxVLA把这一过程拆为观测预处理、动作预测、动作后处理、命令执行四个阶段，并把职责划给两侧：推理runner持有模型恢复、在线数据管线、动作块调度与RTC、轨迹后处理等时序状态；operator持有传感器采集、按时间戳的观测同步与命令传输。机器人通信代码因此不会成为模型的隐藏依赖，仿真与物理执行共享同一个面向策略的接口——同一套模型与预处理配置，只需替换最后的观测与执行边界即可从仿真切换到真机。个别集成还会暴露本体专属的安全钩子，例如Tron2的operator会转发急停请求，Franka在夹爪action server不可用时回退到publisher接口。

对于算力受限的机器人侧，平台提供基于ZeroMQ的远程GPU服务：机器人侧runner保留传感器采集与命令发布，观测序列化后发给GPU服务器，由服务器完成预处理、预测与动作恢复。客户端分段记录序列化、网络往返、服务端推理等各项延迟——模型吞吐并不直接决定机器人的有效控制频率，这段分解让端到端链路的瓶颈清晰可见。远程路径与本地推理共享同一套观测与动作语义。

三、实验结果 3.1 仿真基准结果

上表报告了当前LIBERO评测面上的十四个集成：十三个checkpoint策略覆盖紧凑型VLA、预训练flow-matching、模块化VLM+动作头与WAM四大家族，外加一个inference-only的GPT-6 API策略。十三个checkpoint策略的平均成功率从SmolVLA的84.70到DiT4DiT的98.65，其中十一个超过95%，最强的Long套件数值达98.0（Cosmos3-Nano）。这些结果说明共同的数据、runner、checkpoint与评测器路径能够支撑内部结构截然不同的策略。

GPT-6一行值得单独说明：它以纯API调用的方式接入评测，受资源限制每任务仅评测5条episode（每个套件50条、共200条），平均成功率37.50%，报告将其与checkpoint结果分开报告，不假设对等的评测预算。这一行的意义不在分数本身，而在于证明FluxVLA的评测面对API策略同样开放——不掌握权重的外部模型，也能进入与本地checkpoint完全相同的闭环协议与三级证据体系。

RoboCasa GR-1的结果把评测扩展到LIBERO之外、更具挑战性的区间：八个已报告集成的平均成功率从SmolVLA的8.75%到DiT4DiT的57.25%。数据预算的差异直观体现在数字上——GR00T N1.5以每任务30条演示训练达到44.30%，使用全量数据训练的GR00T N1.7为46.42%；FastWAM整体达到49.92%，且在考察未见任务的Generalization组上达到50.00%。这些数值同样不能跨行归因于架构优劣，但展示了同一评测面对不同数据规模与策略家族的容纳能力。

3.2 推理加速与数值对齐

运行时评估在相同模型、硬件、精度与输入配置下对比普通模型路径与推理专用实现。在全部八组设备/模型组合中，加速将模型频率提升了2.31×到9.64×：A100上GR00T从5.96Hz升至32.6Hz、π0.5从2.2Hz升至21.2Hz；RTX 5090上优化路径达到GR00T 42.6Hz、GR00T+Training-time RTC 47.6Hz、π0.5 31.6Hz；边缘端同样具有实际意义——AGX Orin 64GB上GR00T从3.2Hz升至7.4Hz、π0.5从1.4Hz升至4.4Hz。

加速只有在保持策略计算不变时才有用。已发布的GR00T测试把匹配的随机权重拷贝进基线与加速头，固定输入与采样种子比较预测动作：普通路径与Training-time RTC prefix-conditioning路径的余弦相似度分别为0.99999237与0.99999380（均超过0.99999），最大绝对差约0.02。这与bf16算子、融合与运算顺序带来的小变化一致，验证了被测头级路径的数值对齐。报告同时坦承局限：当前尚未完整规定预热迭代、测量重复次数、同步点与时序边界，这些频率支持"存在显著的路径专属加速"这一结论，但不构成硬件归一化的模型间对比；模型频率也不等于端到端控制频率。

3.3 轨迹后处理与真机证据

后处理延迟基准独立于策略推理测量：对一条12自由度、50步的合成轨迹，关节MPC的tracking延迟为4.90ms，Ruckig为1.17ms（约快4.19倍）。相对于许多大模型推理调用，这一主机侧开销很小，但对高频率控制并非可以忽略。真机运行时轨迹进一步显示，Training-time RTC输出的chunk经后处理后，能够在异步交接处接上仍在执行的处理后轨迹。

真机层面，报告给出了两组闭环benchmark。ALOHA基准覆盖两项柔性物折叠与三项抓取放置共五个任务，每个策略评测110条trial——GR00T N1.5成功36条（32.73%），π0.5成功70条（63.64%），且π0.5在每个任务上的观测成功率都更高。

在逐际动力自研机器人Oli上，同一对策略进一步接受定点与移动操作检验：以四阶段箱子搬运任务为例，两者完成前三个阶段的比率几乎相同（60.0%对60.7%），但全程完成率分别为6.7%与32.8%；π0.5在糖果抓取上更高，GR00T N1.5则在篮子玩具抓取上反超。

两组benchmark的共同价值在于：仿真中验证过的策略经同一套部署路径直接送上不同形态的真机，用逐trial的成功率与分阶段的完成度说话——既证明runner–operator架构能够容纳异构本体，也让策略在真机上的真实水位清晰可见。

另一组定量证据来自配套的ARM研究：在八阶段ALOHA毛巾折叠任务上，成功率从行为克隆的62.1%升至SARM-based RA-BC的78.5%、再升至ARM-based AW-BC的99.4%，episode吞吐与折叠精度同步提升（报告注明该研究未披露评测trial数，因此保留点估计而不推导置信区间）。这表明FluxVLA能够参与横跨真机数据、奖励建模、重加权策略训练与部署的闭环。

四、总结与展望

FluxVLA把完整的策略生命周期当作一个可重建的工作流来处理：共同的Parquet数据层与有序transform流水线把存储与策略语义分离；注册表构造的模型容纳集成VLM、可组合骨干与动作头、时序/世界模型组件以及奖励加权目标；runner持有分布式训练、评测、服务与checkpoint状态，operator隔离仿真器与机器人通信；RTC协调异步预测与进行中的执行，轨迹后处理把反归一化的chunk适配到本体专属的运动要求。在此之上，平台还集成了组合式双臂仿真、可扩展的自动化数据生成，以及模型解耦的人在环rollout、接管、纠正采集与奖励标注能力——部署中捕获的失败与人类纠正，可以回流为下一轮训练的经验。

对开发者而言，我们把常见集成收敛为三条有界配方：新增数据集，转换到统一的episode布局、定义字段映射与transform列表，验证归一化-反归一化能还原预期的物理动作约定即可，训练循环无需改动；新增模型，注册相应组件并提供满足约定的配置；新增机器人，实现对应operator，并在闭环执行前校验观测新鲜度、命令单位、轨迹取消与安全互锁。扩展并不意味着任意组件可以随意组合，而是让不兼容暴露在少数可审查的边界上。

展望部分，团队计划把FluxVLA Engine从统一学习框架发展为开放的具身智能技术生态平台——这一方向与逐际动力"以企业级资源与服务持续维护迭代、构建全球开发者社群"的开源承诺一致，各子系统围绕同一套接口约定分工：FluxMimir负责离线数据工程与版本化发布，FluxBisim负责可扩展仿真与数据生成，FluxDAgger负责人在环的rollout、接管与纠正采集并保留完整谱系，FluxThemis负责仿真与真机评测编排，FluxHermes负责模型导出、优化与部署打包。各子系统独立演化、通过共享约定交换版本化artifact，构成"生成数据→训练策略→编译部署→评测回流"的闭环改进周期。

参考文献

[1] Kim M J, Pertsch K, Karamcheti S, et al. OpenVLA: An open-source vision-language-action model[J]. arXiv preprint arXiv:2406.09246, 2024.

[2] NVIDIA, Bjorck J, Castañeda F, et al. GR00T N1: An open foundation model for generalist humanoid robots, 2025.

[3] Ye S, Ge Y, Zheng K, et al. World action models are zero-shot policies[J]. arXiv preprint arXiv:2602.15922, 2026.

[4] Ma T, Zheng J, Wang Z, et al. DiT4DiT: Jointly modeling video dynamics and actions for generalizable robot control[J]. arXiv preprint arXiv:2603.10448, 2026.

[5] Liu B, Zhu Y, Gao C, et al. LIBERO: Benchmarking knowledge transfer for lifelong robot learning[J]. Advances in Neural Information Processing Systems, 2023, 36: 44776-44791.

[6] Nasiriany S, et al. RoboCasa: Large-scale simulation of everyday tasks for generalist robots, 2024.

[7] Black K, et al. Real-Time Chunking (RTC): Inference-time guidance for asynchronous action-chunk execution, 2025.

[8] Stellato B, Banjac G, Goulart P, et al. OSQP: An operator splitting solver for quadratic programs[J]. Mathematical Programming Computation, 2020, 12(4): 637-672.

[9] Berscheid L, Kröger T. Jerk-limited real-time trajectory generation with arbitrary target states (Ruckig)[C]//Robotics: Science and Systems, 2021.

[10] Cadene S, Alibert S, Soare A, et al. LeRobot: State-of-the-art machine learning for real-world robotics, 2024.

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈