北京
【CNMO科技消息】7月15日，小米机器人事业部正式对外发布Xiaomi-Robotics-U0，一款拥有380亿参数的多模态自回归具身生成基础模型，同时完成代码、模型权重全量开源。该模型是全球具身领域首款可统一覆盖四大核心生成任务的基础模型，彻底解决行业长期存在的模型割裂、仿真数据几何不一致、生成效率低下三大痛点，通过可控大规模合成数据生成，打通机器人图像、视频数据生成与编辑全链路，标志具身智能正式迈入规模化数据生成新阶段。项目完整资源已同步上线官网、GitHub、HuggingFace、魔搭社区，面向全球具身智能开发者开放使用。
小米机器人
长久以来，具身生成领域存在明显技术割裂问题：场景生成、轨迹迁移、交互视频、图像编辑需分别搭建独立模型，多框架运维成本高、数据无法互通，难以支撑大规模机器人训练数据扩增。
Xiaomi-Robotics-U0 采用统一多模态自回归架构，实现四大任务一体化处理，无需多模型切换：
具身场景生成：依托文本描述生成适配指定机器人本体的多视角仿真场景，覆盖厨房、仓库、海底、赛博城市等常规、极端、长尾环境；当前原生兼容方舟无限、智元 G1/G2、松灵 PiPER 四类机器人硬件。
具身迁移：在保留机械臂位姿、原始场景轨迹布局的前提下，自由更换光照、工作台、目标物体、背景风格，实现真机数据低成本增强。
机器人交互视频生成：基于初始画面 + 操作指令输出长时序交互视频，兼顾动作连贯性、物理动力学一致性，支持虚拟相机仿真推演。
通用文生图 / 图像编辑：打通互联网视觉知识与机器人任务，支持任意图像修改、多参考图复合编辑。
区别于通用文生模型只追求画面美观，机器人仿真数据对跨视角几何对齐、物体空间位置、机械臂姿态有硬性精准要求，通用模型极易出现物体错位、空间畸变，无法用于机器人策略训练。
小米自研五维解耦结构化控制范式，以自然语言独立调控五大维度，修改单一要素不破坏全局空间一致性：
工作台布局：工作区结构、材质、色彩、空间排布；
前景操作物体：任务目标物品种类、摆放姿态；
前景无关杂物：环境中非目标道具形态、位置；
光照条件：强光、漫射日光、彩色特殊光源等；
全局背景：室内外远景、环境风格、远景物体布局。
依托该技术，模型可稳定输出多视角匹配的仿真画面，迁移后的画面完全匹配原始机器人运动轨迹，生成数据可直接用于下游机器人策略训练。
在清华、北大联合打造的WorldArena具身视频评测基准中，Xiaomi-Robotics-U0（匿名代号 UNIS）斩获总分榜首，指令遵循、交互真实度、多视角一致性三项细分指标全部第一。模型可生成连贯抓取、折叠、装箱等长时序交互画面，背景人物、物体具备自然动态逻辑，内置完整物理、动力学常识，形成开放世界专用具身序列生成引擎。
在 300 份难易分层标准化测试样本中，Xiaomi-Robotics-U0在深度一致性、结构保真、语义对齐三大核心指标全面领先GPT-Image-2.0。闭源模型普遍存在跨视角物体偏移、机械臂姿态错位问题，生成结果无法匹配原始机器人轨迹；小米U0可完整保留空间布局与动作信息，是业内首个可稳定产出可复用机器人扩增数据的统一生成模型。
团队针对精细耳机收纳、毛巾折叠、长程物品装箱三类典型机器人任务开展真机测试，在未知光照、陌生背景、反光、彩色杂光等OOD（分布外）干扰环境下，使用U0生成数据扩充训练集后，机器人策略任务完成进度平均提升26.3%。面对极端视觉干扰，机器人不会出现运行卡死，具备自主视觉校正能力，大幅提升机器人在真实复杂环境的泛化性能。
传统自回归（AR）模型逐 Token 生成高分辨率图像耗时极长，严重限制工程批量生成效率。小米推出FlashAR + 专属推理加速方案，在原生 FlashAR 文生图加速基础上，适配图像编辑、具身迁移全场景，叠加 vLLM 分页 KV 缓存、对角并行解码批量调度技术：
1024×1024分辨率单张图像生成耗时从450.77秒压缩至5.44秒；
整体生成效率较原始自回归架构提升82.9倍；
原生支持多参考图复合编辑，兼顾生成画质与工业批量落地需求。
模型底层采用IBQ图像分词器，统一图像、文本多模态表征空间，以标准Next Token Prediction范式完成联合训练，兼顾通用视觉知识与机器人具身动力学约束。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
