网易首页 > 网易号 > 正文 申请入驻

从“听懂”到“做到”,物理AI如何破解机器人落地难题?

0
分享至

机器人听懂了“拿起杯子”,接下来该怎么做?从理解一句话,到让机械手稳稳拿起杯子,中间还要跨过哪些难题?

近日,新网银行联合清华大学工会读书创作社(筹)、三境书屋,在清华大学三境书屋举办《新网银行AI构造力》专题直播,上海松应科技有限公司创始人兼CEO聂凯旋受邀做客,以“具身机器人爆火背后:物理AI到底是个啥?”为主题,围绕物理AI的技术原理、机器人仿真训练、国产基础软件研发及产业应用等话题,结合松应科技的产品与实践展开交流。


松应科技创始人兼CEO聂凯旋在新网银行直播间(新网银行提供)

从理解指令到走向完成动作

近年来,大语言模型快速发展,人形机器人也频频亮相。人工智能正在从数字空间向现实世界延伸,但让机器人理解指令,与让机器人准确完成动作,是两个不同的技术问题。

聂凯旋在直播中介绍,大语言模型在知识理解、信息处理和内容生成等方面展现出能力,具身智能进一步关注智能体如何通过身体与环境交互,完成具体任务。物理AI涉及对物理环境的建模、计算和预测,以及智能系统与现实世界的交互,为机器人等智能设备理解环境、执行任务提供支撑。

以机器人拿杯子为例,它要找到杯子,判断从哪里抓、用多大的力。力气小了,杯子可能滑落。力气大了,又可能把杯子捏坏。杯子的重量、材质和摩擦力,都会影响这个动作。一个人习以为常的动作,对机器人来说,需要感知、判断和控制共同配合。

“物理世界是一个非常耦合的环境。”聂凯旋表示,现实环境中的一个变化,可能引发一系列相互关联的物理反应。因此,人工智能不仅需要识别环境,还需要通过建模和计算,预测动作可能产生的结果,并在执行过程中不断调整。

在他看来,物理AI的应用并不局限于人形机器人。自动驾驶、工业装备、能源设施以及其他需要自主感知、决策和执行任务的系统,都可能成为物理AI的应用场景。

聂凯旋曾任华为云鲲鹏解决方案副总指挥、云产品总经理,拥有AI、云计算与芯片系统研发管理经验。

在数字世界训练 在真实世界行动

让机器人在真实环境中反复学习,往往面临成本、安全和效率等限制。尤其在高压电力作业、复杂工业生产等场景中,一次操作失误就可能造成设备损坏甚至人员伤害,难以完全依靠真实环境进行试错。

仿真技术因此成为物理AI研发的重要环节。

聂凯旋介绍,通过构建包含物理规律的数字环境,研发人员可以改变物体的位置、材质和摩擦条件,观察机器人在不同情况下如何完成同一个动作,再据此调整训练。杯子换了位置,机器人还能找到吗?接触条件变了,原来的抓取动作还能奏效吗?这些变化,都需要在训练与验证中逐步检验,再结合真机表现继续调整。

用于机器人训练的数字环境,需要模拟重力、碰撞、摩擦、物体形变等物理现象,让机器人的动作与环境变化产生相应反馈,为训练和任务验证提供计算环境。


机器人搬运任务的仿真画面(松应科技提供)

直播中,聂凯旋重点介绍了松应科技提出的“1∶8∶1”混合数据策略:10%的专家示教数据提供基础行为参考,80%的仿真合成数据用于大规模预训练,再通过10%的真机微调数据缩小虚实差距,形成持续迭代的数据闭环。

缩小仿真与现实之间的差距,是这条研发路径中的关键环节。如果机器人在真实设备上抓取失败,研发人员还要检查物体材质、接触条件或传感器误差等因素,将发现的问题带回数字环境,校准参数、补充训练,再到真机上验证。一次失败,也可以成为下一轮改进的起点。

用物理AI操作系统连接研发与应用

从场景构建、数据生成到训练、验证,机器人研发涉及多个相互关联的环节。如何把这些环节连接起来,是物理AI基础软件需要解决的问题。

围绕这一需求,松应科技自主研发ORCA OS物理AI操作系统,面向具身智能研发与工程交付,将场景构建、数据生成、算法开发、并行训练、验证与部署连接到统一研发流程中。

松应科技在今年世界人工智能大会展示的数字工厂场景中,人形机器人承担识别与分拣,轮式机器人接力运输,四足机器人参与异常巡检,无人机补充空中感知。这一展示呈现了ORCA OS在同一数字场景中组织多形态机器人协同训练与任务执行的能力。


数字工厂中的分拣与接力运输仿真场景(松应科技提供)

基于ORCA OS技术底座,松应科技推出面向企业项目开发与交付的ORCA Studio,以及面向开发者的ORCA Lab,为不同开发需求提供相应工具。

今年4月,《科技日报》曾报道ORCA Lab 1.0开发者平台,介绍其在普通笔记本电脑上开展机器人仿真训练的应用方式。对于缺乏真实机器人设备的开发者而言,这类工具提供了更容易进入的技术实践路径。

国产软硬件生态适配也是松应科技持续投入的方向。ORCA OS采用软硬件解耦架构,适配多家国产GPU及国产操作系统,为物理AI应用提供多元算力选择。

2026年8月,松应科技宣布连续完成A轮、A1轮数亿元融资,资金将重点用于ORCA OS迭代、国产芯片生态适配、开发者生态建设及产业场景拓展。

在聂凯旋看来,物理AI基础软件需要长期投入。工具交到开发者手中,能否帮助他搭起场景、训练策略、找到问题,并进一步在真实设备上验证,是研发需要持续回答的问题。

从机器人训练走向产业现场

在新网银行直播间中,聂凯旋以电力作业为例,介绍了机器人在专业场景中开展仿真训练的必要性。对机器人来说,找到按钮、完成按压,只是任务中的一部分。面对不同设备,它还要识别操作对象、适应环境变化,并在出现异常时作出相应处理。

到了工业现场,人们关心的也更加具体。设备能否持续运行?操作是否安全?使用成本能否承受?聂凯旋认为,稳定性、经济性和安全性,是企业评估物理AI应用的重要因素。

从公开实践来看,松应科技已将相关技术用于具身智能赛事及行业场景验证。在2026年电力具身智能应用大赛中,松应科技为仿真赛搭建数字训练与评测环境,基于ORCA Lab贯通场景采集、机器人训练、竞赛运行与自动评分全流程,为参赛团队开展电力任务训练和能力验证提供平台支撑。


电力具身智能应用大赛按钮操作任务仿真画面(松应科技提供)

对于产业发展而言,能否在具体场景中实现稳定、可重复、可验证的任务执行,比单次演示的完成度更具实际意义。

让懂场景的人参与物理AI开发

聂凯旋介绍,松应科技希望通过ORCA Lab等工具,让更多具有场景经验的人参与物理AI开发。开发者可以通过自然语言交互等方式,尝试构建场景、加载机器人模型、配置任务,并开展仿真训练。

他举例说,工厂一线工作人员每天接触设备和生产流程,熟悉哪些操作反复发生、哪些环节最费工,也更容易发现适合引入自动化设备的具体需求。如果能够借助便捷的开发工具先做初步验证,这些来自现场的经验,就有机会转化为更明确的技术方案,再与专业团队合作推进。

对于学生和个人开发者而言,即使没有真实机器人,也可以先在虚拟环境中了解机器人如何感知、决策和执行任务。ORCA Lab Lite轻量版面向个人开发者免费,Pro专业版面向高校教学与科研合作,为不同使用需求提供相应版本。

从仿真验证走向实际部署,还需要专业团队围绕设备适配、控制精度、安全测试及长期运行持续开展工程工作。场景使用者与研发人员的协作,有助于让工具开发更贴近实际需求。

谈到机器人对就业的影响,聂凯旋将目光放在危险性较高、重复性较强的工作上。前面提到的高压电力作业,关系着现场工作人员的安全。让机器人承担其中适合自动化的任务,也需要有人开发、生产、维护和使用这些设备。这些工作也会带来新的岗位需求。

从一个杯子能否拿稳,到工业现场的设备能否持续运行,聂凯旋的分享始终围绕机器人如何完成具体任务展开。在他的讲述中,稳定性、经济性和安全性,是技术走向产业现场需要回答的问题。熟悉生产流程的一线人员,也应有机会借助工具参与开发。这些判断,也呈现出松应科技研发ORCA OS物理AI操作系统的着力点。

本次直播是新网银行《AI构造力》系列内容之一。栏目持续关注人工智能及前沿科技的产业实践,通过与科技企业和行业专家对话,向公众呈现技术创新的实际进展及其应用前景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中俄美元首会晤是否会讨论台湾问题,国台办回应

中俄美元首会晤是否会讨论台湾问题,国台办回应

界面新闻
2026-11-18 11:16:15
7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

我爱英超
2026-11-18 08:58:01
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
台海观澜 | 倒计时10天,谁掌台北

台海观澜 | 倒计时10天,谁掌台北

经济观察报
2026-11-18 12:22:15
7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

扶苏聊历史
2026-11-18 11:21:53
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
黄仁勋反攻了:我将重返英伟达任 CEO,如果董事会允许

黄仁勋反攻了:我将重返英伟达任 CEO,如果董事会允许

字母AI
2026-11-18 08:09:28
湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

极目新闻
2026-11-18 13:43:23
英伟达临时CEO证实:H200正式退出对华销售

英伟达临时CEO证实:H200正式退出对华销售

快科技
2026-11-18 11:37:03
太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

南海浪花
2026-11-18 11:34:45
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
英伟达:停止向中国供应 H200

英伟达:停止向中国供应 H200

云头条
2026-11-18 12:16:55
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

小徐讲八卦
2026-11-17 14:19:10
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

火山詩话
2026-11-18 06:17:30
2026-11-18 15:36:49
金融界 incentive-icons
金融界
投资者信赖的财经金融门户网站
10258025文章数 547251关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
房产
教育
健康
本地

PS敦促玩家必须更新PS5!不然不让你玩《GTA6》

房产要闻

雅居乐海南,又要卖地了!

教育要闻

义教信息科技教学实施 | “身边的算法”模块-算法的效率(1)

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版