瑞士的物理AI公司Mimic Robotics发布了FLUX-mimic,这是一款与Black Forest Labs共同开发的新一代视频-动作模型,使机器人能够通过视频演示学习复杂、高灵巧度的工业任务。
该公司表示,该系统需要的演示数据只有现有方法的零头,从而使工厂环境中的机器人训练更快、更高效,包括在奥迪工厂的落地应用。
FLUX-mimic将Mimic Robotics在机器人学习、灵巧操作和工业自动化方面的专业知识与Black Forest Labs的FLUX 3视频模型相结合。
据团队介绍,FLUX-mimic 是在 mimic 此前视频-动作模型研究的基础上构建的,其架构专门面向真实物理场景中的 AI 应用。
视频模型在进化
FLUX-mimic 主打的是下一代视频-动作模型,由 Black Forest Labs 合作开发,让工业机器人能从视频演示里学会复杂的操作任务,而且需要的训练数据比现有方法少得多。
与大多数依赖视觉-语言-动作(VLA)模型的机器人学习系统不同,FLUX-mimic 构建于生成式视频基础模型之上。传统的 VLA 系统通常是在静态图像和文本数据集上进行预训练,并且几乎完全依赖昂贵的机器人演示数据来学习物理交互。而 FLUX-mimic 用的则是一个视频模型——这个模型已经通过大规模视频预训练,掌握了物体、运动以及物理交互的规律,然后再被适配用于机器人控制。
该系统通过将视频模型和一个动作解码器结合起来预测机器人动作,该解码器将视觉预测转换为可执行的机器人运动。这种架构使机器人能够更高效地学习物理技能,同时减少部署阶段对特定任务数据的需求量。
据 Mimic Robotics 称,FLUX-mimic 可以使用少至 30 分钟的机器人演示数据针对某些操作任务进行微调,而传统学习流程通常需要 30 个小时甚至更多,具体取决于任务的复杂程度。训练数据的大幅减少有望把部署周期从好几个月缩短到几周。
工厂 AI 加速
这项技术基于 Mimic Robotics 早先的视频-动作模型研究,该研究让预训练的视频生成模型具备了预测机器人动作的能力。FLUX-mimic 则更进一步,采用专为工业环境中物理 AI 应用设计的架构,让机器人在执行任务前更好地理解运动和物体的行为方式。
该公司正在与汽车制造商奥迪合作部署这项技术,来评估它在真实工厂环境中的表现。这次合作重点是在高灵巧度任务上实现自动化,涉及柔性材料和精细操作——这类应用对传统工业机器人来说一直很难搞定,因为需要大量编程,还得频繁重新设计。
奥迪的生产设施本身已经高度自动化,这为基于学习的机器人系统提供了一个测试环境,这类系统能够适应不断变化的生产需求。双方正在探索视频-动作模型如何减少工程量、加速机器人部署,并把自动化推广到更多制造和物流环节中去。
该公司表示,通过将大规模视频理解与机器人动作预测相结合,FLUX-mimic 标志着机器人技术的一次转型:让机器人能从相对少量的示范数据中学习新的工业技能,而不必再依赖人工编程的工作流程。这一方法旨在提升制造业的灵活性,同时让机器人自动化在复杂多变的生产环境中更加实用。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.