网易首页 > 网易号 > 正文 申请入驻

全球首个面向具身智能的开源视频生成基础模型来了

0
分享至

7月9日,蚂蚁灵波开源LingBot-Video,这是全球首个基于Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型。该模型围绕机器人和具身智能的核心需求重新设计视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度等方面取得系统性提升,为视频基础模型从数字内容创作走向具身智能提供了新的开源底座。

在北京大学联合字节跳动发布的基准RBench上,LingBot-Video的总分是0.620,超越了Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。

过去几年,视频生成模型在画质、流畅度和创意表达上快速进步,但对于具身智能来说,一个看起来逼真、动作流畅的视频,却无法反映真实的物理规律,难以支撑机器人连续预测、规划和执行任务。与此同时,具身智能还要求模型具备更高推理效率,以适应实时交互和控制闭环。

这也让视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video正是面向具身智能开辟视频生成新路线的重要探索,可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。

记者了解到,LingBot-Video从架构、数据和训练三方面进行了系统创新。在架构上,LingBot-Video采用 DiT+MoE设计,以MoE替代传统Dense架构,在扩大模型容量的同时控制单次推理成本。其30B总参数模型在生成时仅激活约3B参数,相比同等参数规模Dense架构拥有约3倍推理效率。这一设计使模型既能获得大规模参数带来的视觉表达能力,又更适合具身智能对高效推理的要求。

在数据上,LingBot-Video构建了数据画像引擎,在海量互联网视频的基础上进一步引入VLA、VLN、Ego等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达7万小时的具身数据。这些数据帮助模型学习动作与环境变化之间的关系,而不只是学习视频的表面纹理和视觉风格。

在训练上,LingBot-Video引入多维强化学习奖励系统。除美学、prompt跟随和运动一致性等常规指标外,模型进一步围绕物理合理性和任务完成度进行对齐,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。

本文源自:国际金融报

作者:余继超

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
即便已晋级,比利时就取消美国球员巴洛贡红牌要求国际足联解释

即便已晋级,比利时就取消美国球员巴洛贡红牌要求国际足联解释

我知道你的眼泪只是一种无奈
2026-07-09 00:44:33
四川继续发布高温蓝色预警:未来6天,部分地方最高气温可达38°C及以上

四川继续发布高温蓝色预警:未来6天,部分地方最高气温可达38°C及以上

鲁中晨报
2026-07-09 18:14:09
伊朗国葬第四天,美军不宣而战,普京已介入,中方也早就留了一手

伊朗国葬第四天,美军不宣而战,普京已介入,中方也早就留了一手

共工之锚
2026-07-09 00:20:51
哇哦!身材好不好?认识吗?

哇哦!身材好不好?认识吗?

太急张三疯
2026-07-08 14:25:09
越南谈中越战争:中国不是给越南1个教训,而是摧毁,他们做到了

越南谈中越战争:中国不是给越南1个教训,而是摧毁,他们做到了

蜉蝣说
2026-07-09 11:49:50
开国上将黄永胜,被判17年,出狱后分三套房子并告诉他五个安排

开国上将黄永胜,被判17年,出狱后分三套房子并告诉他五个安排

莫地方
2026-05-06 00:25:03
台风“巴威”将至,这些地区出现山洪、地质灾害等风险极高

台风“巴威”将至,这些地区出现山洪、地质灾害等风险极高

齐鲁壹点
2026-07-09 17:49:22
都体:尤文和国米在同一谈判桌上碰面了

都体:尤文和国米在同一谈判桌上碰面了

懂球帝
2026-07-09 16:26:22
200万白菜价!掘金裁掉1000万中锋,湖人成头号下家,冲冠再捡漏

200万白菜价!掘金裁掉1000万中锋,湖人成头号下家,冲冠再捡漏

夜溟聊体育
2026-07-09 13:33:53
扎心的问题:这个社会那么多人失业、没工作,他们是怎么活下去的

扎心的问题:这个社会那么多人失业、没工作,他们是怎么活下去的

慧翔百科
2026-06-29 11:30:42
再一再二不再三!摇摇欲坠的阿根廷,能否闯过瑞士生死关?

再一再二不再三!摇摇欲坠的阿根廷,能否闯过瑞士生死关?

体育全天候
2026-07-09 11:20:26
出手了,许家印的保护伞被正式起诉,索赔金额高达570亿

出手了,许家印的保护伞被正式起诉,索赔金额高达570亿

雨诺翛翛
2026-05-28 19:28:22
为什么很多人10年都不换车?我问了两个人,一个有钱,一个没钱

为什么很多人10年都不换车?我问了两个人,一个有钱,一个没钱

李子橱
2025-12-15 19:47:42
河南一女子车祸成植物人,婆家悉心照顾15年,婆婆:冬天怕她冷,夏天怕她热,空调24小时开着,15年用坏4台

河南一女子车祸成植物人,婆家悉心照顾15年,婆婆:冬天怕她冷,夏天怕她热,空调24小时开着,15年用坏4台

极目新闻
2026-07-08 11:22:21
如果俄罗斯解体,对中国是好事还是坏事?

如果俄罗斯解体,对中国是好事还是坏事?

名人苟或
2026-07-09 07:03:21
赔光2亿仅冰山一角,冉莹颖再爆猛料,亲手撕下邹市明仅剩的体面

赔光2亿仅冰山一角,冉莹颖再爆猛料,亲手撕下邹市明仅剩的体面

暖心萌阿菇凉
2026-07-08 12:14:12
周星驰的《功夫女足》,是一场必输的豪赌

周星驰的《功夫女足》,是一场必输的豪赌

浪子说
2026-07-07 00:05:03
千亿民企被曝全员停薪,公司已遭强制执行

千亿民企被曝全员停薪,公司已遭强制执行

财闻
2026-07-09 12:04:54
专家:梅西年轻时饮食无节制,导致常在场上呕吐,现在控制住了

专家:梅西年轻时饮食无节制,导致常在场上呕吐,现在控制住了

云隐南山
2026-07-09 18:19:03
网红峰哥亏数百万清仓销户,折射亿万股民心声

网红峰哥亏数百万清仓销户,折射亿万股民心声

磐石之心
2026-07-09 09:25:56
2026-07-09 18:59:01
金融界 incentive-icons
金融界
投资者信赖的财经金融门户网站
9194706文章数 546615关注度
往期回顾 全部

科技要闻

字节杀回来了!深度实测Seedream 5.0 Pro

头条要闻

媒体:一家三口被大风卷走身亡 事后的细节更让人不安

头条要闻

媒体:一家三口被大风卷走身亡 事后的细节更让人不安

体育要闻

王楚谈埃及判罚争议:足球没有绝对公平

娱乐要闻

陈翔发文“苍天饶过谁”登热搜,旧事再引关注

财经要闻

中国房地产十年

汽车要闻

理想纯电旗舰i9官宣 9系旗舰再添新车

态度原创

亲子
时尚
家居
数码
公开课

亲子要闻

长胎不长肉,孕中期应该如何控体重?

“长+长穿法”今夏又火了!这样穿时髦又显高

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

都是内存涨价惹的祸:英伟达Shield TV或已停产

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版