网易首页 > 网易号 > 正文 申请入驻

融合7万小时具身数据,蚂蚁灵波开源具身视频基础模型LingBot-Video

0
分享至

7 月 9 日,蚂蚁灵波开源 LingBot-Video,这是全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型。该模型围绕机器人和具身智能的核心需求重新设计视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度等方面取得系统性提升,为视频基础模型从数字内容创作走向具身智能提供了新的开源底座。

在北京大学联合字节跳动发布的基准 RBench 上,LingBot-Video 的总分是 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench 作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。



(图说:LingBot-Video 在 RBench 上性能最优)

为进一步验证 LingBot-Video 对物理世界变化的建模能力,蚂蚁灵波在内部 benchmark 中从通用质量和具身领域两个维度进行评估。结果显示,对比 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等五个开源模型,LingBot-Video 在具身领域表现优于主要基线模型。


(图说:综合评测显示,LingBot-Video在具身相关场景中展现出更强的物理理解和动作一致性)

过去几年,视频生成模型在画质、流畅度和创意表达上快速进步,但对于具身智能来说,一个看起来逼真、动作流畅的视频,却无法反映真实的物理规律,难以支撑机器人连续预测、规划和执行任务。与此同时,具身智能还要求模型具备更高推理效率,以适应实时交互和控制闭环。

这也让视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是蚂蚁灵波面向具身智能开辟视频生成新路线的重要探索。

LingBot-Video 从架构、数据和训练三方面进行了系统创新。

在架构上,LingBot-Video 采用 DiT + MoE 设计,以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本。其 30B 总参数模型在生成时仅激活约 3B 参数,相比同等参数规模 Dense 架构拥有约 3 倍推理效率。这一设计使模型既能获得大规模参数带来的视觉表达能力,又更适合具身智能对高效推理的要求。

在数据上,LingBot-Video 构建了数据画像引擎,在海量互联网视频的基础上进一步引入 VLA、VLN、Ego 等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时的具身数据。这些数据帮助模型学习动作与环境变化之间的关系,而不只是学习视频的表面纹理和视觉风格。

在训练上,LingBot-Video 引入多维强化学习奖励系统。除美学、prompt 跟随和运动一致性等常规指标外,模型进一步围绕物理合理性和任务完成度进行对齐,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。

据介绍,LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前,LingBot-Video 已正式开源。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
长沙对“彭某曦事件”的通报,用词有些不妥!

长沙对“彭某曦事件”的通报,用词有些不妥!

麦杰逊
2026-07-11 22:05:44
善恶到头终有报!央媒表态才6天,韩红再迎“噩耗”,孙浩曝黑幕

善恶到头终有报!央媒表态才6天,韩红再迎“噩耗”,孙浩曝黑幕

可乐爱微笑
2026-07-11 01:38:08
哈梅内伊刚落葬完毕,特朗普表态尊重中国,以色列完全没料到。

哈梅内伊刚落葬完毕,特朗普表态尊重中国,以色列完全没料到。

健身狂人
2026-07-12 05:50:21
长沙霸占车位女子被停职,其男友也参与了堵车,六次调节详情曝光

长沙霸占车位女子被停职,其男友也参与了堵车,六次调节详情曝光

汉史趣闻
2026-07-11 21:13:19
后续!霸占车位的长沙女干部,离谱履历被扒,网传老公级别更高

后续!霸占车位的长沙女干部,离谱履历被扒,网传老公级别更高

谭谈社会
2026-07-11 17:53:47
LV告遍全中国没人敢吭声,周大福直接把柜台搬脸上:你告一个试试

LV告遍全中国没人敢吭声,周大福直接把柜台搬脸上:你告一个试试

小虎新车推荐员
2026-07-12 03:32:12
今天没能力挽狂澜,哈兰德在本届世界杯首次被换下

今天没能力挽狂澜,哈兰德在本届世界杯首次被换下

懂球帝
2026-07-12 07:54:22
姐,跑吧,咱就只剩一个嫖没有被扒出来啦。

姐,跑吧,咱就只剩一个嫖没有被扒出来啦。

问道求真
2026-07-12 00:05:45
世界杯重大误判!贝林厄姆扳平球引争议 回放画面曝光 挪威投诉无果

世界杯重大误判!贝林厄姆扳平球引争议 回放画面曝光 挪威投诉无果

侃球熊弟
2026-07-12 08:18:44
世界杯早参丨挪威1比2英格兰,哈兰德被冻结贝林厄姆双响;因凡蒂诺:扩军至64队仍在讨论

世界杯早参丨挪威1比2英格兰,哈兰德被冻结贝林厄姆双响;因凡蒂诺:扩军至64队仍在讨论

红星新闻
2026-07-12 07:58:09
长沙占车位女子彭某身份被证实!车主再曝新细节,眼镜男才是关键

长沙占车位女子彭某身份被证实!车主再曝新细节,眼镜男才是关键

社会日日鲜
2026-07-11 06:13:56
又天神下凡,贝林厄姆梅开二度+过人成功3次、对抗成功8次

又天神下凡,贝林厄姆梅开二度+过人成功3次、对抗成功8次

懂球帝
2026-07-12 07:54:22
大局已定!世界杯冠军基本锁死2队,今年决赛又是宿命对决!

大局已定!世界杯冠军基本锁死2队,今年决赛又是宿命对决!

童叔不飙车
2026-07-11 22:54:04
马斯克听到中国火箭回收成功,是什么反应?

马斯克听到中国火箭回收成功,是什么反应?

江平舟
2026-07-11 18:11:05
闵先生曝光调解内幕!女车主领导陪同,拱火眼镜男缺席,身份成谜

闵先生曝光调解内幕!女车主领导陪同,拱火眼镜男缺席,身份成谜

奇思妙想草叶君
2026-07-11 23:47:33
著名专家预言:试管婴儿寿命仅40年,那首例试管婴儿如今怎样了?

著名专家预言:试管婴儿寿命仅40年,那首例试管婴儿如今怎样了?

福建睿平
2026-07-10 06:26:38
贝林厄姆进球存疑?回放显示安德森拿球前皮球击中了飞猫线缆

贝林厄姆进球存疑?回放显示安德森拿球前皮球击中了飞猫线缆

懂球帝
2026-07-12 07:13:15
台风“巴威”在浙江玉环登陆

台风“巴威”在浙江玉环登陆

上观新闻
2026-07-11 23:37:40
6月新增新冠确诊7.9万例,其中重症130例

6月新增新冠确诊7.9万例,其中重症130例

极目新闻
2026-07-11 22:56:56
长沙市联合调查组通报来了!占车位事件的关键人物雷某某,成舆论焦点

长沙市联合调查组通报来了!占车位事件的关键人物雷某某,成舆论焦点

火山詩话
2026-07-12 06:11:05
2026-07-12 10:47:00
驱动中国 incentive-icons
驱动中国
国内知名的IT专业站点
94668文章数 138667关注度
往期回顾 全部

科技要闻

Meta又闯祸了,新AI图像功能被喷到下线

头条要闻

游客在深圳梧桐山突发不适离世 气象部门发布安全提示

头条要闻

游客在深圳梧桐山突发不适离世 气象部门发布安全提示

体育要闻

贝林厄姆送走哈兰德:英格兰天命之子!

娱乐要闻

迪丽热巴估计都无语了 亲自下场辟

财经要闻

美联储和市场将走向何方?

汽车要闻

预售权益价11.78万起 五菱星光L将于7月16日上市

态度原创

时尚
教育
本地
亲子
公开课

伊姐周六热推:电视剧《百花杀》;电影《后室》......

教育要闻

分类讨论,一个视频学明白!

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

亲子要闻

睡得好和睡不好,孩子的区别有多大!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版