网易首页 > 网易号 > 正文 申请入驻

NEO‑VLA 推出原生视觉‑语言‑动作机器人策略

0
分享至

11月16日消息,近日,南洋理工大学 S‑Lab、商汤研究院与 Ropedia 的研究团队发布 NEO‑VLA,一款无独立视觉编码器的原生视觉‑语言‑动作(VLA)机器人策略模型。

它打破主流 VLA 模型依赖外置预训练视觉编码器的范式,像素直接输入主干网络,在仿真与真实机器人任务中取得突出表现,为通用机器人操控提供全新技术思路。

传统 VLA 模型普遍采用 “图像先经过独立视觉编码器压缩提取特征,再送入语言大模型” 的架构。但编码器在抽象特征的过程中,会丢失局部几何、边缘、深度等机器人操控至关重要的底层视觉信息,制约机器人精细操作与泛化能力。

NEO‑VLA 彻底移除外置视觉编码器,像素经由轻量化卷积 Patch 嵌入层直接送入原生视觉‑语言主干 NEO‑2B,图像 Patch 与语言指令在每一层中同步处理;配套 Flow‑Matching 动作专家模块,可以读取主干网络任意层的缓存特征,输出连续机器人动作,实现 “像素输入,连续动作输出” 端到端链路。

三大核心研究发现,刷新 VLA 认知

研究通过大量消融实验,得到三项关键结论,揭示机器人视觉运动学习的内在规律:

第一,操控相关视觉信息分布在模型多层,并非仅存在最后输出层。

冻结主干网络时,读取模型浅层特征的策略效果最优;完整微调后,跨多层读取特征的方案性能最佳。干预实验证明,模型 0‑10 浅层对预测动作影响最大;几何信息、图像外观、语言指令分别在网络不同深度产生最强作用,证明机器人控制不能只依赖顶层输出特征。

第二,性能提升来自原生联合预训练,而非单纯开放编码器中间特征。

团队将 Qwen3‑VL 的中间视觉特征直接开放给动作专家,非但没有提升效果,反而使冻结主干下 LIBERO 任务成功率从 79.5% 跌到 64.9%;而 NEO‑2B 冻结主干即可达到 90.9% 成功率。这说明:简单复用现成多模态模型的编码器中间特征无效,只有视觉、语言从底层联合预训练,才能产出适配机器人控制的表征,并非单纯开放中间层就可以解决问题。

第三,后训练阶段保留多模态理解能力至关重要,不能只拿动作数据微调。

实验显示,如果仅使用机器人动作数据微调,模型会丧失文本理解与生成能力,RoboTwin 2.0 跨场景 Clean2Rand 任务成功率仅 10.7%;而采用理解数据与机器人数据协同训练,多模态理解指标几乎不下降,同时 Clean2Rand 成功率提升至 69.4%。证明机器人策略训练不能牺牲大模型原本的理解能力,协同训练是更优方案。

仿真与真机双重验证,小体量实现强操控

NEO‑VLA 主干仅 2B 参数量,在仿真基准 LIBERO 完整微调后平均成功率95.3%;在 LIBERO‑Plus 分布偏移测试中,对相机变化、噪声扰动表现优异,加权总分 89.7%;RoboTwin2.0 随机场景泛化达到 69.4%,优于不少更大参数量竞品。

真实机器人设置三项实操任务:网球放置罐顶、胶带与球两级摆放、将易拉罐直立卡入胶带卷,每项任务仅提供 50 条演示数据。2B 规模的 NEO‑VLA 在多数任务中表现优于 StarVLA、与 π0.5 基本持平,完成精细放置、多步骤执行、物体姿态调整等真实物理操作,验证架构在现实世界的可行性。研究还展示倒水、寿司分拣等定性演示案例。

数据处理与训练方案

研究汇集 9 大公开机器人数据集,合计 223 万条 episode、约 9900 小时机器人数据。上线完整数据清洗流水线,过滤不合理关节读数、死通道、动作异常值、损坏片段,校验相机标定,最大限度保留有效样本。训练分为三阶段:先冻结主干训练动作专家;随后解冻全部权重,机器人数据与多模态理解数据协同训练;最后继续使用自有机器人数据微调,得到最终策略。

该项目已经开源论文、代码、模型权重与数据集,为具身智能领域提供新架构范式。研究表明,具身机器人控制应当充分利用模型全层级视觉表征,而不是仅依赖编码器输出的顶层特征,原生无编码器 VLA 架构,是通向通用机器人策略的一条可行路径。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
詹姆斯再创记录,历史第一近在咫尺,76人却收坏消息

詹姆斯再创记录,历史第一近在咫尺,76人却收坏消息

宗介说体育
2026-11-16 09:44:27
A股唯一机器人破净妖龙,竟是国资委亲儿子,手握33亿现金只是开胃菜?

A股唯一机器人破净妖龙,竟是国资委亲儿子,手握33亿现金只是开胃菜?

财报翻译官
2026-11-16 07:14:45
美国觉得纳闷,这么好的车装备全球60国,为何中国没看上?

美国觉得纳闷,这么好的车装备全球60国,为何中国没看上?

南风不及你温柔
2026-11-16 13:24:07
原来这就是留痕的重要性!网友:给我爸带的节礼,他说是继妹送的

原来这就是留痕的重要性!网友:给我爸带的节礼,他说是继妹送的

另子维爱读史
2026-11-13 21:51:25
"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

一丝不苟的法律人
2026-11-04 15:22:28
攻击-11批量列装空军,美国难受的不是造得快,而是看不明白

攻击-11批量列装空军,美国难受的不是造得快,而是看不明白

巅峰高地
2026-11-11 15:32:56
发现没,任何关系走到最后,本质就三件事:1、看的是良心。2、拼的是人品。3、留的是信任

发现没,任何关系走到最后,本质就三件事:1、看的是良心。2、拼的是人品。3、留的是信任

富书
2026-11-15 21:20:08
别看以色列和伊朗打的热火朝天,伊朗可是犹太人千年之前的救世主

别看以色列和伊朗打的热火朝天,伊朗可是犹太人千年之前的救世主

老达子
2026-11-14 06:40:04
土耳其的女子确实漂亮,兼具典雅容貌与异域风情

土耳其的女子确实漂亮,兼具典雅容貌与异域风情

娱你同欢
2026-10-07 11:06:22
黄仁勋辞职后,英伟达工程师宣布离职:没等到解释

黄仁勋辞职后,英伟达工程师宣布离职:没等到解释

像素与芯片
2026-11-16 01:58:50
CCTV5直播足协杯京沪大战!年度四番战,低温对抗+国脚疲态存偶然

CCTV5直播足协杯京沪大战!年度四番战,低温对抗+国脚疲态存偶然

刀锋体育
2026-11-16 11:55:56
字节员工:怎样判断自己会不会被裁呢?默默干活儿党,不是嫡

字节员工:怎样判断自己会不会被裁呢?默默干活儿党,不是嫡

蚂蚁大喇叭
2026-11-15 17:29:00
炸裂!阿森纳争议巨星国家队封神!阿尔特塔爱将打脸质疑

炸裂!阿森纳争议巨星国家队封神!阿尔特塔爱将打脸质疑

澜归序
2026-11-16 09:55:02
封疆大吏蒋超良被判死缓:身家7.46亿,曾与许家印深度合作

封疆大吏蒋超良被判死缓:身家7.46亿,曾与许家印深度合作

一点沸
2026-08-28 19:43:46
不出意外,2027年开始:要做好"潮水暴涨"的准备,房价或将超乎想象!

不出意外,2027年开始:要做好"潮水暴涨"的准备,房价或将超乎想象!

巢客HOME
2026-11-16 04:10:04
币圈已经不存在了

币圈已经不存在了

刘红林律师
2026-11-15 11:39:10
住建部原副部长仇保兴提议:2000年以前预制板房,都应逐步拆除

住建部原副部长仇保兴提议:2000年以前预制板房,都应逐步拆除

巢客HOME
2026-11-13 04:35:03
上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

青科新闻
2026-11-08 11:25:23
12岁小糯米在英国留学,刘恺威被曝陪读了一年半,签证到期才离开

12岁小糯米在英国留学,刘恺威被曝陪读了一年半,签证到期才离开

钟厨娘
2026-11-15 22:38:11
“老人味”祸根被揪出!医生提醒:60岁后要少碰,老了或也没味

“老人味”祸根被揪出!医生提醒:60岁后要少碰,老了或也没味

新时代的两性情感
2026-11-16 01:12:44
2026-11-16 14:16:49
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
110555文章数 26967关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

女副部王峻被公诉 曾被批泄露工作秘密、大搞权钱交易

头条要闻

女副部王峻被公诉 曾被批泄露工作秘密、大搞权钱交易

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

报道:黄仁勋考虑回归英伟达CEO

汽车要闻

吉利星越L PLUS预售价15.77万起 燃油车也能如此智能

态度原创

艺术
本地
家居
游戏
公开课

艺术要闻

他把园子当情人,10年,钱全花在了这座山水上

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

推上全是《GTA6》成人向视频:杰森露西娅提前被玩坏

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版