重磅！图灵奖得主杨立昆团队JEPA首登无人机：纯仿真训练、零样本实机迁移，硬件改动误差降低30%

来源：市场资讯

（来源：图灵人工智能）

您想知道的人工智能干货，第一时间送达

「让JEPA首次飞上无人机」

图灵奖得主杨立昆提出的JEPA世界模型理论，终于在敏捷无人机机载高频控制场景完成工程落地了。

伯克利、纽约大学、布朗大学联合发布SkyJEPA，由杨立昆作为核心作者参与，是业内首套适配四旋翼闭环控制的JEPA完整框架。

整套方案避开传统自回归动力学固有的长时序误差漂移问题，搭配物理映射探针与全域随机仿真数据集，仅依靠仿真数据就能直接在室外实机完成复杂轨迹跟踪；

更换桨、加装载荷等硬件失配场景下，轨迹跟踪误差较主流神经网络基线降低30%以上，补齐无人机世界模型长时序稳定、物理可解释、机载实时、零样本泛化四大核心短板，为低成本、低风险无人机自主飞行提供全新技术路线。

三类主流自监督学习架构对比示意图（最后一个为JEPA）©【深蓝 AI】编译

行业固有技术路线的三重先天缺陷

想要看懂SkyJEPA的创新价值，先要理清目前主流无人机动力学建模三条路线各自的短板，这也是论文全部设计的出发点。

1. 第一性物理解析模型

依靠刚体、空气阻力、电机力矩方程搭建理论模型，计算速度快、完全可解释，但现实容错极低。更换螺旋桨、加装货物、电机老化、阵风扰动都会改变动力学参数，每次硬件改动都要重新系统辨识、人工调参，高机动飞行下气动力、桨机耦合等非线性效应无法精准建模，长距离飞行轨迹偏移严重，仅能支撑低速悬停场景。

2. 自回归神经网络动力学（当前行业主流）

离线采集飞行轨迹训练网络，单步预测表现尚可，但底层逻辑存在致命缺陷：每一步预测结果循环作为下一帧输入，微小误差会持续累积。论文实验数据显示，传统自回归模型推演60步后复合误差比值达到2.4，姿态误差突破50度，轨迹彻底违背物理规律。即便叠加物理正则、在线微调，也只能小幅缓解漂移，无法根除迭代带来的误差放大问题，且模型绑定训练时的无人机硬件，改装后精度断崖下跌。

3. 早期JEPA机器人方案（机械臂/地面导航）

四旋翼世界模型四大核心性能需求示意图©【深蓝 AI】编译

三类方案各有局限，且无法同时解决“长时序推演不漂移、无需大量高危实机试飞、硬件改装不用重新训练、边缘板卡实时运行”四大工程诉求，SkyJEPA正是杨立昆团队将JEPA理论适配机载控制场景的针对性解法。

深蓝AI

2

潜态预测+物理探针+仿真数据流水线

整套系统由JEPA潜态动力学、物理启发探针、自动化域随机仿真管线三大模块组成，配套轻量化MPPI控制器，网络总参数量仅9K，可流畅运行在Jetson Orin NX这类低成本机载嵌入式设备。

SkyJEPA 完整框架总览图©【深蓝 AI】编译

2.1 JEPA潜态动力学模型：从根源切断误差累积链路

模型两阶段训练流程图©【深蓝 AI】编译

时序拉直指标©【深蓝 AI】编译

时序平滑、复合误差仅代表离线无校正纯推演效果，真实飞行中控制器会持续修正偏差，离线误差差距不会完全复刻，但能大幅削减控制器修正幅度，减少电机频繁满负荷运转。

2.2 物理启发探针（PI Prober）：JEPA落地机载控制关键桥梁

多模型开环推演误差对比曲线©【深蓝 AI】编译

2.3 域随机自动仿真数据集：摆脱高危实机采集依赖

无人机野外高机动试飞成本高、炸机风险大，SkyJEPA搭建全自动仿真数据生成管线，整套训练数据完全在虚拟环境生成，无需人工操控实机采集样本。

仿真数据集所用域随机化参数表©【深蓝 AI】编译

室外闭环实机测试三类工况示意图©【深蓝 AI】编译

论文提出TDQ轨迹分布质量分数，量化数据集状态覆盖、动力学多样性；数据集规模提升时TDQ同步上涨、预测误差持续下降，百万样本后性能趋于饱和，证明该管线可高效复刻真实飞行器动力学特征。

数据集 TDQ 分数与状态预测误差关系图©【深蓝 AI】编译

客观局限：仿真无法完全复刻极端湍流、机身微小形变、传感器杂波，大风环境下零样本精度会明显下滑，极致鲁棒场景仍需少量实机数据补充微调。

2.4 轻量化机载MPPI控制器适配

MPPI 控制器超参数配置表©【深蓝 AI】编译

深蓝AI

3

SkyJEPA差异化优势与短板

当前无人机动力学建模分为三类主流路线，结合JEPA原生技术特点，从长时序稳定性、sim2real零样本泛化、机载实时性、硬件容错四个维度横向对比，客观定位该工作行业位置。

Orin NX 机载推理耗时曲线©【深蓝 AI】编译

1. 残差自回归神经网络（NeuroBem等）

2. 在线自适应动力学模型

3. 普通重建类潜态模型

深蓝AI

4

实机闭环实验

实验分为离线开环推演、室外标准轨迹零样本跟踪、硬件改动鲁棒性三大板块，全部数据来自60×70米室外空域真实试飞，区分指标纸面数值与实际落地意义，不单纯堆砌SOTA结果。

4.1 离线开环误差实验

递归推演误差分析图©【深蓝 AI】编译

补充噪声鲁棒测试：逐步给观测叠加高斯噪声，基线误差涨幅远高于SkyJEPA，适配机载IMU、GPS自带常规噪声，野外飞行稳定性更强。

4.2 室外标准轨迹零样本跟踪

真实场景零样本轨迹跟踪效果图©【深蓝 AI】编译

飞行速度、机动幅度越高，仿真与现实域间隙越明显，李萨茹高速轨迹下两类方案误差差距小幅收窄，但SkyJEPA依旧保持稳定领先。

真实场景多轨迹闭环跟踪定量结果表©【深蓝 AI】编译

4.3 硬件改动鲁棒实验（核心工程价值）

行业多数动力学模型更换桨、加装载荷后性能断崖下跌，本实验不做任何重训、微调，分别测试换螺旋桨、加装300g载荷两类常见改装工况：

硬件改动场景跟踪效果图©【深蓝 AI】编译

更换螺旋、加装载荷场景闭环跟踪定量表©【深蓝 AI】编译

深蓝AI

5

落地价值与现存局限

工程落地实际收益

各类神经网络动力学框架开环预测消融结果表©【深蓝 AI】编译

当前无法忽视的短板

深蓝AI

6