网易首页 > 网易号 > 正文 申请入驻

北京人形开源最新VLM模型,推动具身智能再迈关键一步 !

0
分享至

11月13日,北京人形机器人创新中心全面开源具身智能VLM模型——Pelican-VL 1.0。该模型覆盖7B、72B参数规模,是迄今为止“最大规模的开源具身多模态大模型”,同时,也是迄今为止全球性能最强大的具身智能VLM模型,根据测试,其性能超越GPT-5 同类模型15.79% ,与Google gemini 系列模型相比提升19.25%,同时也超越通义千问、书生万象等国内模型,成为了目前最强的开源具身多模态大模型 。



另外值得注意的是,Pelican-VL的核心主创团队都是由女性组成,这也充分体现了女性力量在我国科技研发中的重要贡献。该团队还提出了一套全新的DPPO(刻意训练)训练范式,是全球首创的具身多模态大模型后训练自进化算法框架。凭借DPPO,Pelican-VL 实现【性能最强】这一目标使用的数据量为200K,仅仅是其他大模型的1/10甚至1/50,是名副其实的开源VLM性价比之王。

Pelican-VL 1.0 的开源,能够大幅提升具身智能在商业服务、工业泛工业、高危特种作业、家庭服务等多种真实场景中,通过视觉-语言感知辅助多步任务规划的能力。而VLM作为目前实现机器人全自主的核心,Pelican的开源也将推动我国具身智能全自主发展。



本次开源的Pelican-VL 1.0的核心优势在于深度整合海量数据与自适应学习机制,在由 1000+ A800 GPU 组成的集群上训练,单次检查点训练耗费超过 50,000 A800 GPU-小时;团队从原始数据中蒸馏出的包含数亿 token 的高质量元数据以做训练基石。基于上述优势,Pelican-VL 1.0实现了在基线基础上性能提升20.3%,平均超过Qwen3-VL系列、InternVL3.5系列等同级别开源模型10.6%。

得益于“刻意练习”DPPO(Deliberate Practice Policy Optimization)训练范式,Pelican-VL 就像一名刻苦钻研的学生:每次训练循环都会“看视频—自主练习—发现错误—纠正提升”。通过DPPO 模仿人类元认知的学习方式,通过强化学习(RL)探索弱点、生成失败样本,再进行有针对性的监督微调(SFT),让模型不断自我纠错和迭代进步。

就像学生做错题后总结经验一样,Pelican-VL 能在训练中发现“薄弱知识点”并补齐,从而持续提高在视觉-语言和具身任务上的能力。通过这种机制,Pelican-VL 能够更准确地理解图像内容、语言指令和物理常识,最终在决策和操作执行环节中,实现了具身智能在空间-时间推理和动作规划方面的大幅突破。

VLM,让具身拥有智能

人形机器人无疑是目前AI技术在普通人认知里最具象的展现,而让机器人真正能够做到服务人类,一直都是全球研发团队所追求的目标,但这并不容易,背后是具身智能体对于空间-时间的理解不足,以及多步骤长线程复杂决策的能力缺失造成的困境。

在典型的Vision–Language–Action (VLA) 系统里,Pelican-VL 扮演着“视觉语言大脑”的角色,为机器人提供强大的环境感知和指令理解能力。它将摄像头所见与自然语言指令结合,构建起对场景的多模态表征,然后输出可供后续决策单元使用的结构化信息。也就是说,Pelican-VL负责“看图听话”,理解指令和环境,VLA负责跨机器人应用;简而言之,Pelican-VL 构成了VLA系统的认知前端,为长期规划和指令执行提供跨模态的信息支持,使机器人能够像人类一样将复杂任务拆解并落地操作。

而由于端到端VLA直出的模型存在黑箱性,机器人虽然可以理解人类指令,但最终执行的动作却不可控,而分层的模型则是先建模、再规划、最后执行,虽然解决了黑箱风险,但也产生了新的信息传导误差问题,信息随着每一层模型的传递,可能会在某一层产生微小误差,这一误差会在后续环节呈现指数级的扩散。

北京人形的解法是让VLM和世界模型相互纠偏作为大脑,再与VLA等构建的技能库模型协作。通过将VLM部署在云端,用于理解指令、规划任务与生成策略,世界模型则对物理世界进行建模与预测,VLM规划的策略在世界模型中进行预演,预测执行策略后的结果。二者通过反馈机制相互作用,具象化的理解策略的后果,根据好坏精进能力,VLM能力提升后又反向修正和提升世界模型的预测准确性,以此帮助机器人实现能力跃迁的关键。

以下面这个复合指令为例:“把鞋子放到鞋架上、将桌上的垃圾扔到垃圾桶,再把衣服放入洗衣机”。Pelican-VL 首先将会感知房间物体和布局,构建出整个环境的语义表示;接着根据指令自动生成行动序列:依次移动到鞋架、垃圾桶和洗衣机位置并进行抓取和放置操作。



作为创造全球首个人形机器人马拉松冠军的团队,北京人形致力于让具身智能体从最能跑到最聪明、最好用的演进,本次Pelican-VL的开源也代表着北京人形在具身智能领域的又一重大突破。

而Pelican-VL代表了国内具身智能的一种端到端解法,它和Google提出的RT-2有着相似特点,都是追求单模型解决感知到执行,但不同于RT-2基于PaLM-E、PaLI-X等预训练模型微调的思路,Pelican-VL是从零开始构建大规模具身训练集并使用DPPO循环自我演练,而与SayCan、GPT-5相比,它则更强调开放性和端到端的控制输出,为不同机器人提供统一的智能“大脑”解决方案。

因此,Pelican-VL不仅具备目前具身智能大模型里最大的规模、最强的性能,也能够帮助人形机器人更好的感知空间-时间、实现具身交互,并且在训练中进行自我纠错与迭代。

开源当天,北京人形进行了直播演示和技术解读,邀请了《商业漫谈 Jane’s Talk》创始人、科技媒体人卫诗婕与主创成员深度对话,不仅详细展现了具身智能大脑Pelican-VL全面领先的性能,并拆解Pelican-VL创新的技术架构,还充分展示了女性研发成员在具身智能模型领域的创新力量。



用“最低”的门槛,激发“最高”的产业活力

北京人形希望通过Pelican-VL 的开放为产业落地提供更良好土壤,让广大机器人厂商和开发者可以自由使用与定制这一模型,加速研发进程。例如,北京人形机器人创新中心还在推进“千台机器人真实场景数据采集计划”,让上千台机器人在工厂、仓库、酒店等场景中执行任务并采集数据。而这些规模化的多模态数据与Pelican-VL结合,将推动其在制造业自动化、智能物流、零售无人化和家居服务等多领域的快速适配和优化。

Pelican-VL 的开源特点和多场景覆盖能力可以视作机器人生态的“开放型大脑”,作为具身智能的基础软件平台,厂商可以基于它快速开发特定场景下的应用方案,大大降低开发成本和难度。长期来看,Pelican-VL 及其后续版本将促进国内形成完善的通用机器人智能平台,推动更多种类的机器人像安装“通用智能操作系统”一样迅速获取新能力。

Pelican-VL 1.0 的开源标志着具身智能进入了一个以数据驱动、开放协同为核心的新阶段。它不仅在技术上实现了视觉、语言和行动的深度融合,也为产业链带来了全新的合作模式。随着更多研究机构和企业参与生态建设,北京人形致力于通过通用机器人“大脑”市场的发展,让更多机器人在可见的未来中具备“通用智能”、灵活自适应的能力。

VLM模型——Pelican-VL 1.0主页

https://pelican-vl.github.io/

Github

GitHub - Open-X-Humanoid/pelican-vl: Pelican-VL 1.0 is a new family of open-source embodied brain mo

Huggingface

https://huggingface.co/X-Humanoid/Pelican1.0-VL-72B

Modelscope

https://modelscope.cn/models/X-Humanoid/Pelican1.0-VL-72B

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
烟草开门红变开门雷,仓库堆满高档烟谁来买单?

烟草开门红变开门雷,仓库堆满高档烟谁来买单?

诗意世界
2025-11-13 09:42:21
52年后,78岁丁佩终于说出真相:李小龙在我床上倒了12分钟!

52年后,78岁丁佩终于说出真相:李小龙在我床上倒了12分钟!

温读史
2025-11-13 18:12:36
副院长与门诊副主任不雅照,背后的警示?

副院长与门诊副主任不雅照,背后的警示?

小小一米月儿
2025-11-08 08:57:20
陈露颖获十五运女子200米蝶泳金牌

陈露颖获十五运女子200米蝶泳金牌

体坛周报
2025-11-14 19:17:10
西班牙王后访问中国,美得国色天香,雍容华贵,引发全网热议

西班牙王后访问中国,美得国色天香,雍容华贵,引发全网热议

魔都姐姐杂谈
2025-11-14 06:59:23
美媒公开中国轰炸计划:日本敢走错半步,我们万枚导弹雨包大饺子

美媒公开中国轰炸计划:日本敢走错半步,我们万枚导弹雨包大饺子

文史旺旺旺
2025-11-13 21:42:09
喜讯!神舟20号14日回家 将发射神舟22号升空维修 为神舟21号备份

喜讯!神舟20号14日回家 将发射神舟22号升空维修 为神舟21号备份

军评陈光文
2025-11-14 10:18:17
54万人的江苏小县,又要跑出一个IPO

54万人的江苏小县,又要跑出一个IPO

融资中国
2025-11-14 13:15:19
沈伯洋在德国叫嚣“来抓我啊”,不料国台办再出手,当场杀鸡儆猴

沈伯洋在德国叫嚣“来抓我啊”,不料国台办再出手,当场杀鸡儆猴

揽星河的笔记
2025-11-14 17:10:46
王晶谈万梓良晚年凄凉!称其不懂江湖规矩,演戏夸张对手很难接

王晶谈万梓良晚年凄凉!称其不懂江湖规矩,演戏夸张对手很难接

一盅情怀
2025-11-08 18:08:56
男子网购50条观赏鱼,到货只有一袋水!商家:怕鱼被冻死,放了加热包,路太远鱼被煮熟后分解了

男子网购50条观赏鱼,到货只有一袋水!商家:怕鱼被冻死,放了加热包,路太远鱼被煮熟后分解了

掌上春城
2025-11-14 12:38:41
领先15分被翻盘!山东输得真窝囊,老将空砍30+12,彭华倩25+6

领先15分被翻盘!山东输得真窝囊,老将空砍30+12,彭华倩25+6

萌兰聊个球
2025-11-14 15:46:01
大四儿子4000生活费哭穷,要涨到6000,我降回2000儿子女友破防3

大四儿子4000生活费哭穷,要涨到6000,我降回2000儿子女友破防3

半夏解语
2025-11-14 07:00:03
湖南省纪委监委驻湖南建设投资集团纪检监察组副组长雷海标被查

湖南省纪委监委驻湖南建设投资集团纪检监察组副组长雷海标被查

三湘都市报
2025-11-14 10:51:01
孙思邈:睡醒后若出现这3种反常现象,说明阳气足,是长寿的征兆

孙思邈:睡醒后若出现这3种反常现象,说明阳气足,是长寿的征兆

古怪奇谈录
2025-11-10 17:05:00
凯特王妃接孩子放学被拍,植发痕迹太明显,抗癌后沧桑许多!

凯特王妃接孩子放学被拍,植发痕迹太明显,抗癌后沧桑许多!

古希腊掌管松饼的神
2025-11-13 11:28:44
果然不出大陆所料,郑丽文摊牌直指红线,台独:老蒋若知又会心寒

果然不出大陆所料,郑丽文摊牌直指红线,台独:老蒋若知又会心寒

特特农村生活
2025-11-14 13:08:20
刘若英懵了!爷爷凭《沉默的荣耀》爆火,这波祖上荣光藏多少硬气

刘若英懵了!爷爷凭《沉默的荣耀》爆火,这波祖上荣光藏多少硬气

东方不败然多多
2025-11-03 11:42:09
NBA开拓者官宣:杨瀚森被下放至发展联盟,将出战两场比赛

NBA开拓者官宣:杨瀚森被下放至发展联盟,将出战两场比赛

鲁中晨报
2025-11-14 08:59:03
年薪650万 魔笛买17欧元机票回国家队!乘客沸腾 官方调侃

年薪650万 魔笛买17欧元机票回国家队!乘客沸腾 官方调侃

叶青足球世界
2025-11-13 21:12:18
2025-11-14 21:56:49
量子位 incentive-icons
量子位
追踪人工智能动态
11676文章数 176330关注度
往期回顾 全部

科技要闻

京东“失去的五年”后,找到新增长了吗?

头条要闻

警告高市早苗涉台言行 外交部账号用日英双语连发六帖

头条要闻

警告高市早苗涉台言行 外交部账号用日英双语连发六帖

体育要闻

7-0狂胜!15万人口小岛离世界杯只差1分

娱乐要闻

王家卫让古二替秦雯写剧情主线?

财经要闻

财政部:加强逆周期和跨周期调节

汽车要闻

小鹏X9超级增程动态评测全网首发 高速实测车内65分贝

态度原创

时尚
教育
房产
健康
本地

这样的“恶女”人设,真太爽了!

教育要闻

重磅!2026高考英语听力重大变化!

房产要闻

共话产业变革下的投资新思维与新机遇|蓝湾财富论坛精华

金振口服液助力科学应对呼吸道疾病

本地新闻

云游安徽 | 江声浩荡阅千年,文脉相承看芜湖

无障碍浏览 进入关怀版