网易首页 > 网易号 > 正文 申请入驻

北京人形开源最新VLM模型,推动具身智能再迈关键一步 !

0
分享至

11月13日,北京人形机器人创新中心全面开源具身智能VLM模型——Pelican-VL 1.0。该模型覆盖7B、72B参数规模,是迄今为止“最大规模的开源具身多模态大模型”,同时,也是迄今为止全球性能最强大的具身智能VLM模型,根据测试,其性能超越GPT-5 同类模型15.79% ,与Google gemini 系列模型相比提升19.25%,同时也超越通义千问、书生万象等国内模型,成为了目前最强的开源具身多模态大模型 。



另外值得注意的是,Pelican-VL的核心主创团队都是由女性组成,这也充分体现了女性力量在我国科技研发中的重要贡献。该团队还提出了一套全新的DPPO(刻意训练)训练范式,是全球首创的具身多模态大模型后训练自进化算法框架。凭借DPPO,Pelican-VL 实现【性能最强】这一目标使用的数据量为200K,仅仅是其他大模型的1/10甚至1/50,是名副其实的开源VLM性价比之王。

Pelican-VL 1.0 的开源,能够大幅提升具身智能在商业服务、工业泛工业、高危特种作业、家庭服务等多种真实场景中,通过视觉-语言感知辅助多步任务规划的能力。而VLM作为目前实现机器人全自主的核心,Pelican的开源也将推动我国具身智能全自主发展。



本次开源的Pelican-VL 1.0的核心优势在于深度整合海量数据与自适应学习机制,在由 1000+ A800 GPU 组成的集群上训练,单次检查点训练耗费超过 50,000 A800 GPU-小时;团队从原始数据中蒸馏出的包含数亿 token 的高质量元数据以做训练基石。基于上述优势,Pelican-VL 1.0实现了在基线基础上性能提升20.3%,平均超过Qwen3-VL系列、InternVL3.5系列等同级别开源模型10.6%。

得益于“刻意练习”DPPO(Deliberate Practice Policy Optimization)训练范式,Pelican-VL 就像一名刻苦钻研的学生:每次训练循环都会“看视频—自主练习—发现错误—纠正提升”。通过DPPO 模仿人类元认知的学习方式,通过强化学习(RL)探索弱点、生成失败样本,再进行有针对性的监督微调(SFT),让模型不断自我纠错和迭代进步。

就像学生做错题后总结经验一样,Pelican-VL 能在训练中发现“薄弱知识点”并补齐,从而持续提高在视觉-语言和具身任务上的能力。通过这种机制,Pelican-VL 能够更准确地理解图像内容、语言指令和物理常识,最终在决策和操作执行环节中,实现了具身智能在空间-时间推理和动作规划方面的大幅突破。

VLM,让具身拥有智能

人形机器人无疑是目前AI技术在普通人认知里最具象的展现,而让机器人真正能够做到服务人类,一直都是全球研发团队所追求的目标,但这并不容易,背后是具身智能体对于空间-时间的理解不足,以及多步骤长线程复杂决策的能力缺失造成的困境。

在典型的Vision–Language–Action (VLA) 系统里,Pelican-VL 扮演着“视觉语言大脑”的角色,为机器人提供强大的环境感知和指令理解能力。它将摄像头所见与自然语言指令结合,构建起对场景的多模态表征,然后输出可供后续决策单元使用的结构化信息。也就是说,Pelican-VL负责“看图听话”,理解指令和环境,VLA负责跨机器人应用;简而言之,Pelican-VL 构成了VLA系统的认知前端,为长期规划和指令执行提供跨模态的信息支持,使机器人能够像人类一样将复杂任务拆解并落地操作。

而由于端到端VLA直出的模型存在黑箱性,机器人虽然可以理解人类指令,但最终执行的动作却不可控,而分层的模型则是先建模、再规划、最后执行,虽然解决了黑箱风险,但也产生了新的信息传导误差问题,信息随着每一层模型的传递,可能会在某一层产生微小误差,这一误差会在后续环节呈现指数级的扩散。

北京人形的解法是让VLM和世界模型相互纠偏作为大脑,再与VLA等构建的技能库模型协作。通过将VLM部署在云端,用于理解指令、规划任务与生成策略,世界模型则对物理世界进行建模与预测,VLM规划的策略在世界模型中进行预演,预测执行策略后的结果。二者通过反馈机制相互作用,具象化的理解策略的后果,根据好坏精进能力,VLM能力提升后又反向修正和提升世界模型的预测准确性,以此帮助机器人实现能力跃迁的关键。

以下面这个复合指令为例:“把鞋子放到鞋架上、将桌上的垃圾扔到垃圾桶,再把衣服放入洗衣机”。Pelican-VL 首先将会感知房间物体和布局,构建出整个环境的语义表示;接着根据指令自动生成行动序列:依次移动到鞋架、垃圾桶和洗衣机位置并进行抓取和放置操作。



作为创造全球首个人形机器人马拉松冠军的团队,北京人形致力于让具身智能体从最能跑到最聪明、最好用的演进,本次Pelican-VL的开源也代表着北京人形在具身智能领域的又一重大突破。

而Pelican-VL代表了国内具身智能的一种端到端解法,它和Google提出的RT-2有着相似特点,都是追求单模型解决感知到执行,但不同于RT-2基于PaLM-E、PaLI-X等预训练模型微调的思路,Pelican-VL是从零开始构建大规模具身训练集并使用DPPO循环自我演练,而与SayCan、GPT-5相比,它则更强调开放性和端到端的控制输出,为不同机器人提供统一的智能“大脑”解决方案。

因此,Pelican-VL不仅具备目前具身智能大模型里最大的规模、最强的性能,也能够帮助人形机器人更好的感知空间-时间、实现具身交互,并且在训练中进行自我纠错与迭代。

开源当天,北京人形进行了直播演示和技术解读,邀请了《商业漫谈 Jane’s Talk》创始人、科技媒体人卫诗婕与主创成员深度对话,不仅详细展现了具身智能大脑Pelican-VL全面领先的性能,并拆解Pelican-VL创新的技术架构,还充分展示了女性研发成员在具身智能模型领域的创新力量。



用“最低”的门槛,激发“最高”的产业活力

北京人形希望通过Pelican-VL 的开放为产业落地提供更良好土壤,让广大机器人厂商和开发者可以自由使用与定制这一模型,加速研发进程。例如,北京人形机器人创新中心还在推进“千台机器人真实场景数据采集计划”,让上千台机器人在工厂、仓库、酒店等场景中执行任务并采集数据。而这些规模化的多模态数据与Pelican-VL结合,将推动其在制造业自动化、智能物流、零售无人化和家居服务等多领域的快速适配和优化。

Pelican-VL 的开源特点和多场景覆盖能力可以视作机器人生态的“开放型大脑”,作为具身智能的基础软件平台,厂商可以基于它快速开发特定场景下的应用方案,大大降低开发成本和难度。长期来看,Pelican-VL 及其后续版本将促进国内形成完善的通用机器人智能平台,推动更多种类的机器人像安装“通用智能操作系统”一样迅速获取新能力。

Pelican-VL 1.0 的开源标志着具身智能进入了一个以数据驱动、开放协同为核心的新阶段。它不仅在技术上实现了视觉、语言和行动的深度融合,也为产业链带来了全新的合作模式。随着更多研究机构和企业参与生态建设,北京人形致力于通过通用机器人“大脑”市场的发展,让更多机器人在可见的未来中具备“通用智能”、灵活自适应的能力。

VLM模型——Pelican-VL 1.0主页

https://pelican-vl.github.io/

Github

GitHub - Open-X-Humanoid/pelican-vl: Pelican-VL 1.0 is a new family of open-source embodied brain mo

Huggingface

https://huggingface.co/X-Humanoid/Pelican1.0-VL-72B

Modelscope

https://modelscope.cn/models/X-Humanoid/Pelican1.0-VL-72B

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
富婆女主持被气进医院的瓜

富婆女主持被气进医院的瓜

热闹吃瓜大姐
2025-11-12 21:00:02
河北一家五口遇害案未当庭宣判,被害人家属身穿印有遇害者照片T恤走出法院,律师:被告认罪认罚

河北一家五口遇害案未当庭宣判,被害人家属身穿印有遇害者照片T恤走出法院,律师:被告认罪认罚

极目新闻
2025-11-14 13:54:58
x欲最强的星座!

x欲最强的星座!

同道大叔
2025-11-14 22:37:32
悬着的心终于放下,滞留太空的中国航天员,带来意想不到的惊喜

悬着的心终于放下,滞留太空的中国航天员,带来意想不到的惊喜

混沌录
2025-11-12 21:27:15
普贤菩萨曾言:无名指超过食指的人,这一生注定有6件事躲不过

普贤菩萨曾言:无名指超过食指的人,这一生注定有6件事躲不过

卡西莫多的故事
2025-11-13 09:54:48
退役移居美国,三个孩子三个爹,52岁“东方神鹿”王军霞现状如何

退役移居美国,三个孩子三个爹,52岁“东方神鹿”王军霞现状如何

春秋论娱
2025-10-20 07:21:29
14号收评:三大指数集体回调!所有人都注意,大盘下周开始这样看

14号收评:三大指数集体回调!所有人都注意,大盘下周开始这样看

春江财富
2025-11-14 15:32:52
国际乒联执行委员会公布候选人名单,刘国梁、柳承敏在列

国际乒联执行委员会公布候选人名单,刘国梁、柳承敏在列

懂球帝
2025-11-14 17:01:11
外交部:再次敦促七国集团停止操弄涉华议题、干涉中国内政

外交部:再次敦促七国集团停止操弄涉华议题、干涉中国内政

新京报
2025-11-13 23:07:04
日本为啥跳出来?

日本为啥跳出来?

虚声
2025-11-13 20:48:37
国王超市开张,萨博尼斯有多队咨询,拉文却无人问津!

国王超市开张,萨博尼斯有多队咨询,拉文却无人问津!

爱体育
2025-11-14 23:18:27
下半年首场寒潮来袭!昆明新一轮冷空气将在……

下半年首场寒潮来袭!昆明新一轮冷空气将在……

昆明信息港
2025-11-14 23:04:39
中方召见日本大使,石破茂紧急灭火,绍伊古对高市早苗称呼变了

中方召见日本大使,石破茂紧急灭火,绍伊古对高市早苗称呼变了

时尚的弄潮
2025-11-14 15:30:17
人到晚年,这3种晚辈别给压岁钱!不是小气,是自己的清醒

人到晚年,这3种晚辈别给压岁钱!不是小气,是自己的清醒

雪雪呀
2025-11-14 10:49:16
PGone出现了心理状态问题!目前定居在深圳!

PGone出现了心理状态问题!目前定居在深圳!

喜欢历史的阿繁
2025-11-14 08:31:08
看哭了!92岁母亲被儿子殴打后续:儿子被刑拘,母亲却用500元赎儿子欲“私了”,网友炸锅了

看哭了!92岁母亲被儿子殴打后续:儿子被刑拘,母亲却用500元赎儿子欲“私了”,网友炸锅了

文字里拾光
2025-11-14 20:29:48
马伊琍都要五十了,这松弛感一般人真比不了,大上海的靓女

马伊琍都要五十了,这松弛感一般人真比不了,大上海的靓女

科学发掘
2025-11-12 13:58:37
阿里对标ChatGPT项目来了?通义App正式更名“千问”

阿里对标ChatGPT项目来了?通义App正式更名“千问”

IT之家
2025-11-14 13:08:04
红星新闻批影视飓风Tim相亲掩不住傲慢,后者回怼:已取证!

红星新闻批影视飓风Tim相亲掩不住傲慢,后者回怼:已取证!

超角度
2025-11-13 23:15:43
刚开播就骂声一片!央八力挺却差评如潮,戏混子扎堆撑不起场面

刚开播就骂声一片!央八力挺却差评如潮,戏混子扎堆撑不起场面

白面书誏
2025-11-12 17:39:34
2025-11-15 00:24:49
量子位 incentive-icons
量子位
追踪人工智能动态
11676文章数 176330关注度
往期回顾 全部

科技要闻

京东“失去的五年”后,找到新增长了吗?

头条要闻

贵州盘州花亿元建"世界最大人造月亮"项目 已停运5年

头条要闻

贵州盘州花亿元建"世界最大人造月亮"项目 已停运5年

体育要闻

7-0狂胜!15万人口小岛离世界杯只差1分

娱乐要闻

王家卫让古二替秦雯写剧情主线?

财经要闻

财政部:加强逆周期和跨周期调节

汽车要闻

小鹏X9超级增程动态评测全网首发 高速实测车内65分贝

态度原创

本地
旅游
教育
健康
亲子

本地新闻

云游安徽 | 江声浩荡阅千年,文脉相承看芜湖

旅游要闻

千年石窟秒变顶流秀场!这场“衣脉相承”的大秀让“宋韵”美出圈

教育要闻

重磅!西城老牌重点校获授“钱学森创新班”!

金振口服液助力科学应对呼吸道疾病

亲子要闻

儿童健康展与童书展同步启幕 全产业链赋能孩子身心成长

无障碍浏览 进入关怀版