网易首页 > 网易号 > 正文 申请入驻

模型跑得快、评测跟不上?具身智能“本领”亟待统一“标尺”

0
分享至

《科创板日报》8月18日讯(记者 李佳怡)2026年过半,具身智能模型正在快速涌现。但模型数量的增长并未让行业变得更清晰,恰恰相反,可选方案越多,横向能力对标反而越缺乏统一参照。

过去一年,国内外多家机构陆续发布了具身基座模型和VLA(视觉-语言-动作模型),演示视频中的抓取、放置、倒水、叠衣等操作愈加“丝滑”。

然而,当前具身智能行业始终面临一个现实困境:模型跑得快,评测跟不上。模型的真实能力边界在哪、短板集中在何处,全行业仍缺少一套系统、可信的衡量标尺。

《科创板日报》记者获悉,日前,高校、科研机构、开源社区、机器人企业和模型公司多方共建的常态化具身智能仿真评测平台RoboColiseum正式上线,试图为具身模型建立一套结果可信、过程可复现、且与真机表现高度一致的仿真评测体系。

RoboColiseum项目负责人吴墨在接受《科创板日报》记者采访时披露了两项核心验证数据:平台仿真评测与实机部署的相关性达到89.5%,相同模型在仿真环境与真实世界中的评测差异小于10%。

这一结论并非凭空而来,吴墨介绍,团队基于十几个从简单到复杂的评测任务,每个任务均在真机和仿真环境中各进行了50到100次对照实验,最后通过线性拟合得出89.5%这一相关性。


RoboColiseum平台 Sim2Real实验对比

与传统评测以单一综合成功率概括模型能力的方式不同,RoboColiseum围绕不同能力维度设置多个任务集,考察模型在各个维度中的表现。据了解,RoboColiseum已上线指令跟随、空间理解、扰动适应、通用操作4类能力子榜,以及78个高保真仿真评测任务、覆盖3000 多个泛化的case。

“我们是基于考察机器人在真实世界中完成一系列任务,需要具备哪些不同维度的能力,最终总结出的4类能力子榜。”吴墨向记者解释了这一设计逻辑,“这个评测维度会去考验模型能否听懂指令、能否理解空间世界、能否去抵抗真实世界的扰动,最后完成指令操作的相关任务。”

与此同时,平台还对每项任务做了子步骤拆解,实现失败原因可追溯。评测过程中,系统不仅判定任务最终成败,还会全程记录模型完成的步骤、失败节点,以及在不同场景下的泛化表现。

自内测以来,RoboColiseum已有海内外40多支队伍在平台开展模型训练与评测。吴墨透露,泛化性、长程精细操作等是目前多数模型的短板,后续将补充相关评测维度更新至平台。

事实上,试图补上评测标准短板的并非只有 RoboColiseum。事实上,今年以来,从官方机构到企业,再到学术社区,多方力量正在加速规范具身智能评测标准。

2026年6月1日,由工业和信息化部批准发布的《YD/T 6770-2026 人工智能 关键基础技术 具身智能基准测试方法》正式实施,为具身智能领域首份行业标准。据介绍,该标准规范了在仿真环境和真实环境下,开展具身智能基准测试的环境设置、任务库构建、测试过程和指标计算方法。

在行业标准落地的同时,多家企业也推出了评测平台。光轮智能在北京人工智能创新高地建设推进会上正式发布RoboFinals,基于100项高难度任务构建标准化评测体系;Dexmal原力灵机与Hugging Face共同发起开放式基准测试平台RoboChallenge,平台累计执行的真机测试总量已突破4万次。

国际上,加州大学伯克利分校、斯坦福大学、英伟达等机构联合发起国际公开性具身智能机器人策略评测平台。该平台采用分布式、众包的真实世界评估网络,通过超过600次双盲真实机器人评估对比验证方法有效性。

尽管各方力量加速入局,但具身智能评测领域距离形成像大模型领域MMLU、GSM8K那样的统一基准,仍有很长的路要走。

具身评测为何如此之难?本质差异在于评测对象的属性不同。大模型的评测以静态的问答数据集为主,跑一遍就能对比得分。但具身模型的评测需在动态的物理世界中进行,难以压缩成一组标准问答。真机测试虽是最可靠的方式,但成本极高,一台人形机器人动辄几十万,还需配套测试场地、运维工程师与长期调试周期等。

此外,仿真评测最大的痛点还在于Sim2Real gap(仿真到现实鸿沟)。光照变化、物体位置偏移、材质差异等现实因素,都可能让一个在仿真测试中表现良好的模型,在实际部署时出现“水土不服”。

吴墨同样指出,具身行业对模型还没有一个统一的、权威的评测榜单。主要由于行业和模型发展太快,大部分评测基准推出后不再更新,无法跟上模型迭代的节奏;同时,仿真与真机之间的gap如果过大,评测结果也难以真实反映模型表现。

具身智能正处于从实验室演示迈向规模化落地的关键节点,评测体系作为产业发展的核心基础设施,重要性正日益凸显。从官方标准落地到多方平台相继入场,行业正在共识形成的路上加速探索,《科创板日报》将持续关注。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人社部紧急提醒:2026年这3类人养老金停发,家有老人的注意了

人社部紧急提醒:2026年这3类人养老金停发,家有老人的注意了

白米饭怎么吃
2026-08-17 21:33:17
被注射不明物、三年没来例假、耳朵失聪长霉,为何没一人为她说话

被注射不明物、三年没来例假、耳朵失聪长霉,为何没一人为她说话

叨唠
2026-07-18 03:28:57
17项罪名、71人涉案、8亿黑金……山西前首富张新明涉黑案公诉!

17项罪名、71人涉案、8亿黑金……山西前首富张新明涉黑案公诉!

听心堂
2026-08-18 16:58:44
10万入场费的“换妻”盛宴:记者冒死暗访,组织者3年狂赚2亿

10万入场费的“换妻”盛宴:记者冒死暗访,组织者3年狂赚2亿

说点事
2026-07-16 11:29:11
离谱!皇马新援首秀惨遭狂嘘!一碰球就漫天口哨

离谱!皇马新援首秀惨遭狂嘘!一碰球就漫天口哨

一隅非生
2026-08-18 10:18:37
莫斯科告急!乌克兰,抛出最狠王炸!

莫斯科告急!乌克兰,抛出最狠王炸!

大嘴说天下
2026-08-16 23:05:03
熬了14年终于等来!北京车牌大变局,普通人上牌迎来新机遇

熬了14年终于等来!北京车牌大变局,普通人上牌迎来新机遇

音乐时光的娱乐
2026-08-17 11:21:30
当今有4个国家最危险,一是印度,二是土耳其,另外两个才是重点

当今有4个国家最危险,一是印度,二是土耳其,另外两个才是重点

书写传奇
2026-08-18 22:27:18
养老金调整在即,今年养老调整工作,有两个万万没想到

养老金调整在即,今年养老调整工作,有两个万万没想到

虎哥闲聊
2026-08-14 11:30:41
大的要来了?美日政府签字,就等废掉中国王牌,中方先断货金属钇

大的要来了?美日政府签字,就等废掉中国王牌,中方先断货金属钇

娱乐小可爱蛙
2026-08-19 00:18:58
男子负债后,烧炭企图杀害家人并自杀,最终于心不忍,香港法官:已获妻女原谅

男子负债后,烧炭企图杀害家人并自杀,最终于心不忍,香港法官:已获妻女原谅

南方都市报
2026-08-18 14:35:29
童年游戏在4K电视上变丑了?不是记忆问题,是CRT在作祟

童年游戏在4K电视上变丑了?不是记忆问题,是CRT在作祟

Ping值焦虑
2026-08-17 02:43:28
两个店主发现“投诉者竟是同一人”后果断报警,牵出跨省敲诈案:涉案资金超百万,专坑药店和医美诊所

两个店主发现“投诉者竟是同一人”后果断报警,牵出跨省敲诈案:涉案资金超百万,专坑药店和医美诊所

极目新闻
2026-08-18 11:13:31
《重器》陈一众要抓徐钊,于三花现身,才看懂梅芳自私、英杰善良

《重器》陈一众要抓徐钊,于三花现身,才看懂梅芳自私、英杰善良

雨中山果落
2026-08-17 21:40:54
俄罗斯遭到重创!

俄罗斯遭到重创!

种花岛
2026-08-18 09:29:51
长期感受不到快乐的人,可能不是抑郁,不是消极,而是……

长期感受不到快乐的人,可能不是抑郁,不是消极,而是……

木言观
2026-07-30 22:59:24
45岁邹市明复出打拳,泰森39岁退役,网友:查他有没有天价保险?

45岁邹市明复出打拳,泰森39岁退役,网友:查他有没有天价保险?

五四观娱
2026-08-13 21:41:20
朱雀三号挑战成为中国支腿回收第一箭!

朱雀三号挑战成为中国支腿回收第一箭!

轻舟一号
2026-08-18 16:44:57
《牛来》豆瓣剧照区,已被网友“接管”

《牛来》豆瓣剧照区,已被网友“接管”

设计癖
2026-08-18 18:48:26
北京男篮最新训练动态!曾凡博合练,周琦赵睿状态回来了,范子铭留队

北京男篮最新训练动态!曾凡博合练,周琦赵睿状态回来了,范子铭留队

萌兰聊个球
2026-08-18 20:23:17
2026-08-19 04:27:00
科创板日报 incentive-icons
科创板日报
上海报业集团主管主办
77310文章数 44620关注度
往期回顾 全部

科技要闻

英伟达的资本局:从AI卖铲人到AI央行

头条要闻

女子称住民宿被员工打开房门看光:我全裸在擦身体

头条要闻

女子称住民宿被员工打开房门看光:我全裸在擦身体

体育要闻

中国男篮,一直被质疑,永远被期待

娱乐要闻

蓝盈莹官宣新恋情

财经要闻

一场酒局献祭,掀开了杭州地产潜规则

汽车要闻

满配华为乾崑智能科技 奕境X9预售价29.98万-37.98万

态度原创

旅游
本地
亲子
时尚
艺术

旅游要闻

泰国清迈山洪暴发:游客进瀑布拍照被冲走,一度只露出脚

本地新闻

邂逅活珊瑚的西沙,感受独属于国人的浪漫

亲子要闻

工程车小故事 #每天必玩的玩具

松弛感白衬衫,要配牛仔裤才时髦啊

艺术要闻

这才是真正的“降维打击”!当他们的仙女图一出,所有古风美女都黯然失色!

无障碍浏览 进入关怀版