网易首页 > 网易号 > 正文 申请入驻

小米机器人开源38B统一具身世界模型,弥合图像与机器人鸿沟

0
分享至

①项目:Xiaomi-Robotics-U0


Xiaomi-Robotics-U0是由小米机器人团队推出的统一具身合成世界基础模型。它是一个38B参数的自回归模型,基于EMU3.5初始化,旨在弥合基础图像生成与以机器人为中心的场景、迁移和视频生成之间的差距。该模型采用统一的离散视觉分词器和单一的下一个标记预测目标,能够处理文本、图像和具身观察等多种模态。项目开放了模型权重、推理代码和在线演示,支持文生图、图像编辑、多视图场景生成、场景迁移及具身视频生成等多种任务。

②项目:MOSS-VL-Realtime



MOSS-VL-Realtime是OpenMOSS生态系统中的一个实时流式视频理解模型。与传统模型不同,它专为连续视频流设计,能并行感知输入帧并生成文本,支持在视频流的任意时刻提问,并能在视觉证据不足时选择保持静默观察。该模型延续了MOSS-VL的交叉注意力设计和256K文本上下文窗口,并增加了实时流数据和逐帧时间戳推理接口,能根据新画面动态修正之前的判断。

③项目:UniVR


UniVR是首个无需依赖密集图文对或特定任务启发式方法,直接从纯视觉演示中同时学习复杂推理、细粒度物理动态和长期规划的框架。它基于Emu3.5(34B)模型构建,采用统一的下一个token预测目标,给定图像和指令后直接生成视觉推理轨迹。训练分两阶段:在VR-X数据集上进行监督冷启动初始化,随后采用结合全局奖励与步骤聚焦奖励的VR-GRPO强化学习方法。在VR-X基准测试中,UniVR相比基座模型提升高达25%,性能接近参数量远超其的顶级组合模型,且在标准多模态基准测试上表现不降反升。

④项目:CoLT


CoLT是一种潜在推理模型,通过链式潜在思维(Chain of Latent Thoughts)大幅降低推理时间,在多个视觉任务上表现优于或相当于传统文本链式思维推理。与以往需要辅助图像监督的方法不同,CoLT仅利用纯文本思维链注释进行训练,显著减少标注成本。项目基于Qwen3-VL-8B,完全开源模型、训练数据与代码流水线。

️ 框架平台、必备工具

①项目:Bun


Bun是一个专为JavaScript与TypeScript应用打造的一体化工具包,以单一可执行文件提供。其核心是Bun运行时,可作为Node.js的直接替代品,由Rust编写并基于JavaScriptCore引擎,启动速度与内存占用显著优化。除运行时外,它还集成了打包器、测试运行器、脚本运行器以及兼容Node.js的包管理器,开发者只需一个bun命令即可完成开发工作,无需安装大量依赖。Bun内置工具的性能大幅领先现有方案,且几乎无需修改即可在现有Node.js项目中使用。支持Linux、macOS与Windows系统。

②项目:predict-before-execute


本项目提出了FOREAGENT,一个通过预测解决方案性能来加速机器学习智能体的新范式。传统智能体依赖“生成-执行-反馈”循环,受到严重的物理执行瓶颈限制。作者提出数据驱动的解决方案偏好,利用大语言模型的“隐式执行先验”在逻辑推理中预测不同方案的优劣,从而将探索与执行解耦。项目基于AIDE与AutoMind在MLE‑bench上的真实执行轨迹,构建了包含18,438对对比的大规模偏好数据集,并证明LLM具备显著的预测能力。集成该机制的FOREAGENT实现了6倍加速、3.2倍搜索空间扩展和+6%的性能提升,在多个AI4Science任务中优于基线方法。代码、数据集与运行时轨迹均已开源。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
要不了多久,中国最值钱的不是房子车子,而是这四样

要不了多久,中国最值钱的不是房子车子,而是这四样

巢客HOME
2026-07-16 06:00:08
熬过低谷的人,早已悄悄换了一副灵魂

熬过低谷的人,早已悄悄换了一副灵魂

青苹果sht
2026-07-15 05:11:16
杜特尔特被关一年多,能救他的竟是特朗普?国际刑事法院摊上大事

杜特尔特被关一年多,能救他的竟是特朗普?国际刑事法院摊上大事

把喜欢都给他
2026-07-15 09:47:58
裁判评议:费利佩有借接触顺势倒地的成分,不判罚点球正确

裁判评议:费利佩有借接触顺势倒地的成分,不判罚点球正确

懂球帝
2026-07-16 08:32:19
恩佐女友谈英阿大战:英国给了我们很多,这场比赛会很特别

恩佐女友谈英阿大战:英国给了我们很多,这场比赛会很特别

懂球帝
2026-07-15 16:46:18
A股:人民日报权威发布,释放一重要信号!周四将迎来新的变化

A股:人民日报权威发布,释放一重要信号!周四将迎来新的变化

虎哥闲聊
2026-07-16 00:00:04
已致6死11伤!一中巴车在雅安坠入河滩酿惨剧!事故调查及善后展开

已致6死11伤!一中巴车在雅安坠入河滩酿惨剧!事故调查及善后展开

声情专递
2026-07-16 09:31:04
004航母与福建舰俯视对比图,福建舰的短板不会在004航母上出现了

004航母与福建舰俯视对比图,福建舰的短板不会在004航母上出现了

爱迷彩的老虎
2026-07-16 07:24:03
7月17日换片源!周星驰《功夫女足》罕见升级,不止修bug还有硬核用意

7月17日换片源!周星驰《功夫女足》罕见升级,不止修bug还有硬核用意

露珠聊影视
2026-07-16 01:32:55
四川中巴车坠崖瞬间,车身翻滚几圈卡在半山腰,现场画面让人揪心

四川中巴车坠崖瞬间,车身翻滚几圈卡在半山腰,现场画面让人揪心

凡知
2026-07-16 10:02:41
史上首次!2026年一季度全国无一省份实现财政自平衡

史上首次!2026年一季度全国无一省份实现财政自平衡

大江看潮
2026-07-09 08:13:10
穆帅眼光封神!6000 万新援世界杯打服法国,皇马这买卖血赚

穆帅眼光封神!6000 万新援世界杯打服法国,皇马这买卖血赚

澜归序
2026-07-16 00:29:46
印媒:在“辛杜尔行动”中,布拉莫斯导弹100%命中巴基斯坦全部9个目标,巴总理此后承认

印媒:在“辛杜尔行动”中,布拉莫斯导弹100%命中巴基斯坦全部9个目标,巴总理此后承认

止戈军是我
2026-07-15 08:57:35
澳大利亚终于出手了,冻结中方在稀土矿企权益,这一下彻底闹大了

澳大利亚终于出手了,冻结中方在稀土矿企权益,这一下彻底闹大了

小马姨
2026-07-16 08:46:33
菲律宾媒体终于说了句实话:10年前那场仲裁,把南沙亲手送给中国

菲律宾媒体终于说了句实话:10年前那场仲裁,把南沙亲手送给中国

墨道荣
2026-07-14 11:25:17
1-2惨遭逆转,英格兰输在哪?詹俊精准点评,最大败笔曝光

1-2惨遭逆转,英格兰输在哪?詹俊精准点评,最大败笔曝光

体育见习官
2026-07-16 06:49:57
封神换天!美加墨世界杯大结局提前剧透:旧豪门落幕,新时代王者诞生

封神换天!美加墨世界杯大结局提前剧透:旧豪门落幕,新时代王者诞生

浪子说
2026-07-16 09:17:21
狗交配时屁股为什么会连在一起?是母狗不让,还是公狗不想?

狗交配时屁股为什么会连在一起?是母狗不让,还是公狗不想?

宇宙时空
2026-05-25 12:57:36
俩8旬老人都有痴呆症,却从养老院私奔了?!跑路32小时,可算找到了...

俩8旬老人都有痴呆症,却从养老院私奔了?!跑路32小时,可算找到了...

英国那些事儿
2026-07-15 01:34:40
欧洲十国宣布组建新联盟

欧洲十国宣布组建新联盟

财联社
2026-07-14 16:09:06
2026-07-16 11:00:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
690文章数 8989关注度
往期回顾 全部

科技要闻

SpaceX一度跌破发行价,较高点回落约40%

头条要闻

阿根廷击败英格兰后 球员举横幅宣示马岛主权或遭处罚

头条要闻

阿根廷击败英格兰后 球员举横幅宣示马岛主权或遭处罚

体育要闻

世界杯两大巨星,加一起22岁

娱乐要闻

黄晓明回应赈灾车辆发生交通意外

财经要闻

长鑫科技批量造富:8名高管身家过亿

汽车要闻

零百加速1.96秒 腾势Z国内预售价68万起/四季度上市

态度原创

教育
健康
本地
家居
公开课

教育要闻

2026年忻州一中、忻州十中指标到校计划分配表

如何管控血压才能预防中风?

本地新闻

一脚踢进宋朝?来开封解锁宋式快乐

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版