网易首页 > 网易号 > 正文 申请入驻

从“听懂”到“做到”,物理AI如何破解机器人落地难题?

0
分享至


机器人听懂了“拿起杯子”,接下来该怎么做?从理解一句话,到让机械手稳稳拿起杯子,中间还要跨过哪些难题?

近日,新网银行联合清华大学工会读书创作社(筹)、三境书屋,在清华大学三境书屋举办《新网银行AI构造力》专题直播,上海松应科技有限公司创始人兼CEO聂凯旋受邀做客,以“具身机器人爆火背后:物理AI到底是个啥?”为主题,围绕物理AI的技术原理、机器人仿真训练、国产基础软件研发及产业应用等话题,结合松应科技的产品与实践展开交流。


松应科技创始人兼CEO聂凯旋在新网银行直播间(新网银行提供)


从理解指令到走向完成动作

近年来,大语言模型快速发展,人形机器人也频频亮相。人工智能正在从数字空间向现实世界延伸,但让机器人理解指令,与让机器人准确完成动作,是两个不同的技术问题。

聂凯旋在直播中介绍,大语言模型在知识理解、信息处理和内容生成等方面展现出能力,具身智能进一步关注智能体如何通过身体与环境交互,完成具体任务。物理AI涉及对物理环境的建模、计算和预测,以及智能系统与现实世界的交互,为机器人等智能设备理解环境、执行任务提供支撑。

以机器人拿杯子为例,它要找到杯子,判断从哪里抓、用多大的力。力气小了,杯子可能滑落。力气大了,又可能把杯子捏坏。杯子的重量、材质和摩擦力,都会影响这个动作。一个人习以为常的动作,对机器人来说,需要感知、判断和控制共同配合。

“物理世界是一个非常耦合的环境。”聂凯旋表示,现实环境中的一个变化,可能引发一系列相互关联的物理反应。因此,人工智能不仅需要识别环境,还需要通过建模和计算,预测动作可能产生的结果,并在执行过程中不断调整。

在他看来,物理AI的应用并不局限于人形机器人。自动驾驶、工业装备、能源设施以及其他需要自主感知、决策和执行任务的系统,都可能成为物理AI的应用场景。

聂凯旋曾任华为云鲲鹏解决方案副总指挥、云产品总经理,拥有AI、云计算与芯片系统研发管理经验。


在数字世界训练 在真实世界行动

让机器人在真实环境中反复学习,往往面临成本、安全和效率等限制。尤其在高压电力作业、复杂工业生产等场景中,一次操作失误就可能造成设备损坏甚至人员伤害,难以完全依靠真实环境进行试错。

仿真技术因此成为物理AI研发的重要环节。

聂凯旋介绍,通过构建包含物理规律的数字环境,研发人员可以改变物体的位置、材质和摩擦条件,观察机器人在不同情况下如何完成同一个动作,再据此调整训练。杯子换了位置,机器人还能找到吗?接触条件变了,原来的抓取动作还能奏效吗?这些变化,都需要在训练与验证中逐步检验,再结合真机表现继续调整。

用于机器人训练的数字环境,需要模拟重力、碰撞、摩擦、物体形变等物理现象,让机器人的动作与环境变化产生相应反馈,为训练和任务验证提供计算环境。


机器人搬运任务的仿真画面(松应科技提供)

直播中,聂凯旋重点介绍了松应科技提出的“1∶8∶1”混合数据策略:10%的专家示教数据提供基础行为参考,80%的仿真合成数据用于大规模预训练,再通过10%的真机微调数据缩小虚实差距,形成持续迭代的数据闭环。

缩小仿真与现实之间的差距,是这条研发路径中的关键环节。如果机器人在真实设备上抓取失败,研发人员还要检查物体材质、接触条件或传感器误差等因素,将发现的问题带回数字环境,校准参数、补充训练,再到真机上验证。一次失败,也可以成为下一轮改进的起点。


用物理AI操作系统连接研发与应用

从场景构建、数据生成到训练、验证,机器人研发涉及多个相互关联的环节。如何把这些环节连接起来,是物理AI基础软件需要解决的问题。

围绕这一需求,松应科技自主研发ORCA OS物理AI操作系统,面向具身智能研发与工程交付,将场景构建、数据生成、算法开发、并行训练、验证与部署连接到统一研发流程中。

松应科技在今年世界人工智能大会展示的数字工厂场景中,人形机器人承担识别与分拣,轮式机器人接力运输,四足机器人参与异常巡检,无人机补充空中感知。这一展示呈现了 ORCA OS 在同一数字场景中组织多形态机器人协同训练与任务执行的能力。


数字工厂中的分拣与接力运输仿真场景(松应科技提供)

基于ORCA OS技术底座,松应科技推出面向企业项目开发与交付的ORCA Studio,以及面向开发者的ORCA Lab,为不同开发需求提供相应工具。

今年4月,《科技日报》曾报道ORCA Lab 1.0开发者平台,介绍其在普通笔记本电脑上开展机器人仿真训练的应用方式。对于缺乏真实机器人设备的开发者而言,这类工具提供了更容易进入的技术实践路径。

国产软硬件生态适配也是松应科技持续投入的方向。ORCA OS采用软硬件解耦架构,适配多家国产GPU及国产操作系统,为物理AI应用提供多元算力选择。

2026年8月,松应科技宣布连续完成A轮、A1轮数亿元融资,资金将重点用于ORCA OS迭代、国产芯片生态适配、开发者生态建设及产业场景拓展。

在聂凯旋看来,物理 AI 基础软件需要长期投入。工具交到开发者手中,能否帮助他搭起场景、训练策略、找到问题,并进一步在真实设备上验证,是研发需要持续回答的问题。


从机器人训练走向产业现场

在新网银行直播间中,聂凯旋以电力作业为例,介绍了机器人在专业场景中开展仿真训练的必要性。对机器人来说,找到按钮、完成按压,只是任务中的一部分。面对不同设备,它还要识别操作对象、适应环境变化,并在出现异常时作出相应处理。

到了工业现场,人们关心的也更加具体。设备能否持续运行?操作是否安全?使用成本能否承受?聂凯旋认为,稳定性、经济性和安全性,是企业评估物理AI应用的重要因素。

从公开实践来看,松应科技已将相关技术用于具身智能赛事及行业场景验证。在 2026 年电力具身智能应用大赛中,松应科技为仿真赛搭建数字训练与评测环境,基于 ORCA Lab 贯通场景采集、机器人训练、竞赛运行与自动评分全流程,为参赛团队开展电力任务训练和能力验证提供平台支撑。


电力具身智能应用大赛按钮操作任务仿真画面(松应科技提供)

对于产业发展而言,能否在具体场景中实现稳定、可重复、可验证的任务执行,比单次演示的完成度更具实际意义。


让懂场景的人参与物理AI

聂凯旋介绍,松应科技希望通过ORCA Lab等工具,让更多具有场景经验的人参与物理AI开发。开发者可以通过自然语言交互等方式,尝试构建场景、加载机器人模型、配置任务,并开展仿真训练。

他举例说,工厂一线工作人员每天接触设备和生产流程,熟悉哪些操作反复发生、哪些环节最费工,也更容易发现适合引入自动化设备的具体需求。如果能够借助便捷的开发工具先做初步验证,这些来自现场的经验,就有机会转化为更明确的技术方案,再与专业团队合作推进。

对于学生和个人开发者而言,即使没有真实机器人,也可以先在虚拟环境中了解机器人如何感知、决策和执行任务。ORCA Lab Lite轻量版面向个人开发者免费,Pro专业版面向高校教学与科研合作,为不同使用需求提供相应版本。

从仿真验证走向实际部署,还需要专业团队围绕设备适配、控制精度、安全测试及长期运行持续开展工程工作。场景使用者与研发人员的协作,有助于让工具开发更贴近实际需求。

谈到机器人对就业的影响,聂凯旋将目光放在危险性较高、重复性较强的工作上。前面提到的高压电力作业,关系着现场工作人员的安全。让机器人承担其中适合自动化的任务,也需要有人开发、生产、维护和使用这些设备。这些工作也会带来新的岗位需求。

从一个杯子能否拿稳,到工业现场的设备能否持续运行,聂凯旋的分享始终围绕机器人如何完成具体任务展开。在他的讲述中,稳定性、经济性和安全性,是技术走向产业现场需要回答的问题。熟悉生产流程的一线人员,也应有机会借助工具参与开发。这些判断,也呈现出松应科技研发ORCA OS物理AI操作系统的着力点。

本次直播是新网银行《 AI 构造力》系列内容之一。栏目持续关注人工智能及前沿科技的产业实践,通过与科技企业和行业专家对话,向公众呈现技术创新的实际进展及其应用前景。

声明:内容由新网银行提供,不代表《清华金融评论》观点,其真实性及相关责任解释说明均由内容提供方负责。

编辑 | 王晗

审核丨白雪

责编 | 兰银帆

Review of Past Articles -

01

02



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

可乐谈情感
2026-11-20 04:09:54
APEC“全家福”的围巾里,藏着一个数字

APEC“全家福”的围巾里,藏着一个数字

极目新闻
2026-11-19 21:21:29
该断掉的总要断掉,刻赤大桥垮入海峡

该断掉的总要断掉,刻赤大桥垮入海峡

巴雷文化
2026-11-18 05:04:31
中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

光电科技君
2026-11-19 22:07:05
上海车主傻了:新能源车充电后变“龟速”,时速最多开到25公里!维修费高达8万元,维权5个多月,多方“扯皮”

上海车主傻了:新能源车充电后变“龟速”,时速最多开到25公里!维修费高达8万元,维权5个多月,多方“扯皮”

新民晚报
2026-11-19 17:16:12
加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

体坛周报
2026-11-20 09:32:18
29岁中国女排名将声称国外没有瘦肉精!拒道歉未回应,疑似遭到处罚

29岁中国女排名将声称国外没有瘦肉精!拒道歉未回应,疑似遭到处罚

念洲
2026-11-20 07:16:50
《慌啥子嘛》是一首媚俗歌曲

《慌啥子嘛》是一首媚俗歌曲

关尔东
2026-11-19 23:47:03
极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目新闻
2026-11-20 07:45:20
领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

罗说NBA
2026-11-20 07:13:18
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
刚刚,人类史上最大IPO诞生!父亲病逝、自己患癌,Anthropic掌门人的下一站:用AI治愈疾病

刚刚,人类史上最大IPO诞生!父亲病逝、自己患癌,Anthropic掌门人的下一站:用AI治愈疾病

智药局
2026-11-20 02:29:34
武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

新京报
2026-11-19 19:45:16
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
今天 11 月 20 日,全体退休人员注意:11 月养老金发放,必查三项!

今天 11 月 20 日,全体退休人员注意:11 月养老金发放,必查三项!

白昼说故事
2026-11-20 08:55:11
2026-11-20 10:23:00
清华金融评论 incentive-icons
清华金融评论
专注于经济金融政策解读与建言
7306文章数 14639关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
时尚
家居
健康

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版