机器人领域ImageNet，Pieter Abbeel领衔国内外高校共建RoboVerse

大规模数据集和标准化评估基准显著促进了自然语言处理和计算机视觉领域的发展。然而，机器人领域在如何构建大规模数据集并建立可靠的评估体系方面仍面临巨大挑战。

一方面，采集真实世界的机器人数据需要消耗大量资源（如时间、硬件成本），且效率低下；另一方面，在现实场景中测试机器人性能面临复杂的环境配置，难以控制变量并标准化。

虽然合成数据和仿真模拟被视为潜在解决方案，但目前仍存在数据质量不足、多样性有限，缺乏统一的评估标准等问题。

目前，机器人仿真领域还处于相对碎片化的状态 —— 不同的仿真器标准不一、接口割裂，极大限制了研究集成与社区协作的效率。

为了应对这些挑战，一个致力于跨越隔阂、统一标准的全新平台应运而生。来自 UC 伯克利、北京大学等机构的研究人员打造了 RoboVerse，一个统一的平台、数据集与评测体系，专为可扩展、可泛化的机器人学习而生。

• 论文标题：RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning
• 论文主页：https://roboverseorg.github.io/
• Github 链接: https://github.com/RoboVerseOrg/RoboVerse

团队作者有我们熟悉的机器人和强化学习领域大牛、UC 伯克利教授 Pieter Abbeel，以及同样来自 UC 伯克利的计算机视觉与机器人领域泰斗 Jitendra Malik 教授。

这项研究在 X 上引起了广泛讨论：「机器人需要 MMLU 基准时刻，打造真实高质量的机器人仿真极端困难，RoboVerse 令人激动地提供了统一的仿真平台，数据集和测试基准！」

「RoboVerse 解决了机器人仿真领域长期存在的分散化，发展缓慢的问题，使得构建，测试，scale up 都变得更容易！」

RoboVerse 介绍

核心亮点一：MetaSim —— 让仿真不再 “各说各话”

RoboVerse 团队设计了 MetaSim：一个通用的配置系统 (configuration system) 与标准接口 (standard interface)，能够无缝对接目前主流的机器人仿真器。

这意味着，同一段代码，可以在多个仿真平台上运行！无论你用的是 MuJoCo、IsaacLab、Genesis 还是其他平台，都可以在 MetaSim 的框架下顺畅集成。整个社区的努力，从此可以更好地整合到统一的框架。

核心亮点二：统一的大规模数据集与标准评测体系

RoboVerse 还构建了一个前所未有的大规模合成数据集，涵盖多种任务类型，兼具数据质量和多样性，是目前最具代表性的大规模仿真数据集之一。

同时，平台也提出了适用于模仿学习与强化学习的标准化评测体系，实现跨平台、跨基准的可比性 —— 让算法的性能得到更完整的展现。

核心亮点三：混合仿真 —— 真正 “强强联合”，实现更高保真度

得益于统一的接口，RoboVerse 还解锁了一个 “超能力”：混合仿真（Hybrid Simulation）。

基于 RoboVerse, 你可以用 MuJoCo 提供精准的物理引擎，同时搭配 Isaac Lab 实现高质量的图像渲染 —— 实现物理与视觉的强强组合。它不仅让仿真看起来更像现实世界，更极大提升了真实环境中的迁移效果，让机器人从仿真走进现实。

遥操作 (Teleoperation) 也不再复杂：RoboVerse 支持多种遥操作方式，并实现了高度的可拓展性与易用性。团队专门开发了一款移动端 App，借助手机内置传感器，让用户可以直接通过手机进行机器人远程控制，操作自然流畅、毫无障碍。

此外，RoboVerse 还支持多种其他遥操作设备，包括 Mocap 动作捕捉系统、VR 头显、键盘、手柄等，最大程度上兼顾了不同用户的控制习惯与实验需求。

Real2Sim 工具链：RoboVerse 支持从现实世界单目视频中重建可用于仿真的 3D 资产，基于 3DGS（3D Gaussian Splatting）等先进技术，打通从现实到仿真的通道，大大降低了仿真环境构建的门槛。

AI 自动生成任务（AI-Generate Tasks）：借助 MetaSim 的统一任务配置能力，RoboVerse 还探索了利用大语言模型（LLM）进行任务创作。它能够自动组合数据集中的资产并生成全新任务，展现出 LLM 在机器人任务生成上的巨大潜力。

原生支持 GPU 并行训练：RoboVerse 对任务和基准系统进行了深度优化，让过去难以并行扩展的仿真任务，可以轻松迁移到 GPU 上进行大规模并行强化学习训练，大大提高了研究效率与实验规模。

RoboVerse 平台和数据集在模型训练上展现了强大的能力。使用 RoboVerse 提供的大规模高质量数据集，训练 Vision-Language-Action (VLA) Model 可以无需真机样本直接泛化到未见过的真机场景:

RoboVerse 跨模拟器的能力进一步支持了 Sim2Sim2Real 的 humanoid 部署。在 RoboVerse 平台上训练的机器人，可以实现无缝仿真切换，支持训练，验证，部署全流程。

注：以上部分视频，GIF有倍速

在 AI 与机器人技术飞速发展的今天，RoboVerse 的出现，无疑为机器人社区带来了更好的资源整合机会和更大的协同发展潜力。无论你是研究者、开发者，还是对机器人充满好奇的探索者，都值得关注这个正在快速成型的 “机器人宇宙”！