随手先关注,不错过每日AI热讯速递
①
给机器人录像打标签,一直是具身智能最贵的一环。10 月 25 日,英伟达 GEAR 研究实验室开源了Flora,一套专门做这件事的模型套件,三份权重已经上线 Hugging Face[1][2]。
按英伟达自己的测算,标注一小时机器人视频要约0.72 美元;同样的活交给GPT-6 Astra,按同一套假设测算要88.50 美元,两者差出约125 倍[1]。
这套系统不是演示品。英伟达说它已经在 GR00T 模型训练中实际运行,每天在512 块 GB300上标注20 万小时视频[2]。
Flora由三个微调过的Qwen3.5模型拼起来:9B的那个负责把视频切成动作片段,27B的负责描述动作并照顾前后文,另一个27BFlora-Rewarder按提示词切换评分角色[1]。
![]()
图:机械手在木纹桌面上操作一个灰色小邮箱,左上角标签写着 Dexterous hands(灵巧手)(来源:The Decoder[1])
②
机器人模型要学的标签其实有三种:判断任务成没成的结果奖励、判断每一步好不好的过程奖励(机器人每走一步时的中间评分,用来告诉它哪里做偏了)、以及带时间戳的动作描述。多数现成工具只覆盖其中一种,通用大模型能一起做,但单价撑不住海量视频[2]。
Flora的强项在动作切分。公开基准 WGO-Bench 上,它的边界检测 F1@0.75 是50.3,GPT-6 Astra 为46.0,GPT-5.6 Sol 为33.7,Claude Opus 5 只有25.5[2]。
但整体判断并不全面领先。同一个 WGO-Bench 的金窗口准确率,Flora 是64.7,落后 Astra 的77.4[2]。
自有基准 DenseCaptionBench 上,真人录像子集 Flora 三项全赢,机器人录像子集 Astra 反超,57.9 对 51.0[2]。
奖励评分才是它真正拉开距离的地方。RoboRewardBench 上平均绝对误差(预测分数与人工参考分数之间的平均偏差幅度,数值越低越准)为40.0,Astra 是55.4,GPT-5.6 Sol 是78.0[2]。
![]()
图:Temporal segmentation(时间分段)与 Contextual action captioning(上下文动作描述),多张连续照片配秒数标签与时间刻度(来源:The Decoder[1])
③
最能说明问题的是失败检测。一段视频里机器人中途做错了,Flora-Rewarder 能抓住53.3%的失败步骤;同一张表里其他模型最高11.7%,GPT-6 Astra 更是一个都没抓到[1][2]。
切分精度也很直观。一段手势频繁的视频里有37 个参考动作,Flora 认出34 个,GPT-6 Astra 只抓到4 个[1]。
英伟达把 Flora 定位成 Scale AI 那类商业数据服务的开源替代。同一段流程上,Google 的 Gemini 4 Argon 也在做工序识别与失败标记,这个方向已经挤进来两家[1]。
开源的意图写在论文摘要里:让研究者扩展自有的机器人数据集,并探索物理自动科研、人到机器人技能迁移这类新方向[2]。
![]()
图:An Open Model Suite for Scaling Robotics Data Engines(一套用于扩展机器人数据引擎的开放模型套件)(来源:NVIDIA 研究页[2])
④
当然,0.72 美元是测算,不是账单:英伟达按每 GPU 每小时10 美元的租金假设推算,换成自建集群或囤卡折旧,125 倍会明显缩水[1]。
评测方法也有一处循环。DenseCaptionBench 的描述由 GPT-6 Astra 打分,而 Astra 同时是被测模型之一,研究者在论文里承认了这个方法学问题[1]。
误报的代价写在同一份结果里:约11%的正常步骤被标成错误。对强化学习是噪声奖励,对线上监控是误报警[1]。
定性错误同样存在。一段机械手用布擦盘子的视频,Flora 把它描述成折叠餐巾[1]。
宁可错杀,也不放过——这套取舍适合批量生成训练数据,不适合当唯一裁判。真正值得关注的不是 125 倍这个数字,而是失败步骤召回率从几乎为零跳到 53.3%:机器人训练里最贵的从来不是正常样本,而是那些没人标出来的错误[1][2]。
参考来源:
[1] Nvidia open-sources Flora to make robot video labeling 125x cheaper than GPT-6 Astrahttps://the-decoder.com/nvidia-open-sources-flora-to-make-robot-video-labeling-125x-cheaper-than-gpt-6-astra/
[2] Flora: An Open Model Suite for Scaling Robotics Data Engineshttps://research.nvidia.com/labs/gear/flora/
欢迎点赞、分享、推荐
一起拥抱AI
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.