网易首页 > 网易号 > 正文 申请入驻

江行智能基模 CTO 陈龙:当「物理 AI 大脑」进厂,如何实现可靠落地?| ACM MM 2026

0
分享至


工业现场不需要“最聪明”的模型,够用、可靠、可验证才是硬道理。

作者丨董雨頔

编辑丨徐晓飞

在工业现场,模型识别出异常,只是第一步。

它还要把每一次传感器或相机观测对应到正确的设备、位置和任务状态,规划下一步行动,控制机器人完成操作,并验证动作是否真正满足了客户要求、规程和监管规则。

这正是工业物理AI与单纯感知系统之间的一道分界线:它不仅要感知环境、识别目标,还需要控制现实设备,并根据执行结果形成反馈。

在ACM MM 2026的一场国际工业物理AI研讨会(WIPAI 2026)上,江行智能基础模型CTO陈龙博士以《End-to-End Physical AI Closed-Loop Execution System for Industrial Applications》为题,详细介绍了面向工业应用的端到端物理AI闭环执行系统,并阐释了工业物理AI如何从“看得见”走向“动手做”。

在他看来,相较于开放环境,部署的工厂场景更稳定,任务也往往高度标准化。基础模型不必具备最强的通用智能,同样可以在工业现场可靠工作。在实际部署中更重要的,是在模型准确度与算力(服务器、GPU)成本之间做出合理取舍,而不是盲目追求超大模型。

在保留演讲原意的基础上,本文进行了编辑润色。


01

从“看见”到“做完”:

工业物理AI须打通执行闭环

今天的主题,是面向工业侧应用的物理AI系统。接下来,我将介绍多模态技术在工业现场的部署,并以可再生能源电站的自动巡检为主要案例,说明我们的技术栈、系统架构,以及模型如何把感知输入连接到实际动作。

我想探讨的核心问题是:模型如何帮助我们完成复杂工业任务,并提供足够的证据,支持后续的澄清、检查和验证。

▎工业现场面临多重难点

在实际工业场景中,工业资产会随时间变化。一套有效的物理AI系统,需要把来自传感器或相机的每一次观测,与正确的设备、位置和任务状态对应起来。

现场还存在大量已部署的既有设备,数据需要从可见光、红外、点云,以及设备本身的声学信号与振动中采集。

另一方面,我们面对的机器人各不相同,可能涉及不同的感知与控制接口。每个现场的数据又非常有限:紧急事件很少发生,本地标注非常稀缺。系统需要尽可能生成更多数据,才能适配真实工业现场。

这些难点最终都指向同一个目标:打通“观测—推理—行动—结果验证”的闭环。

▎工业物理AI要解决四个问题和挑战

具体而言,工业物理AI需要解决四个问题:

第一,如何自主完成多位置传感器的时空对齐与噪声处理,使系统能够关联理解设备及其与空间、时间环境的关系。

第二,如何进行现场与机器人本体适配。实验室训练的共享模型,需要能够用少量标签部署到新设备和多种机器人本体上,而不是每换一个现场就从头再来。

第三,如何实现长时程执行。面对复杂客户要求,以及网络、存储等条件限制,系统需要防止误差逐步累积。为此,我们已经交付并部署了许多长时程任务规划方案。

第四,如何做出可验证决策。机器人完成大量数据采集、训练和任务执行步骤后,系统仍要验证动作是否正确,能否满足客户要求与规范。

从这四个问题回到能力本身,我们提出了四大愿景。

第一是环境理解。比如当机器人在会议室里走动或穿行时,它需要理解物体及环境之间的空间关系,同时感知温度、天气或突发状况。

第二、第三是任务规划和执行。系统需要以自主方式规划并执行给定任务。

第四是持续演化。这也是工业侧面临的真正挑战:当大量智能系统部署完成后,模型仍需持续适应温度、布局、物体位置等一系列环境变化。

这四点背后,是开放世界自主性、多模态感知、长时程任务执行和迁移能力等共性挑战。它们与前面的四个问题相互对应,也构成了后续技术架构的设计前提。


02

“一脑多体”:

一套大脑,适配多个机器人本体

▎“一脑多体”的两层架构:核心在于 JX-Phi Brain

针对这些问题,江行智能给出的解决方案,是搭建一个“一脑多体”的整体架构。它可以进一步拆解为两层。

第一层是数据与基础设施层 JX-Phi World,包含AutoEdge和AutoWorld两个模块。

前者负责采集多模态数据并准备训练数据;后者作为工业场景推演与数据生成平台,生成基础模型所需的数据,用于降低长尾场景的数据成本并提升成功率。

第二层 JX-Phi Brain是整套架构的核心,负责协调多模态感知、环境理解和机器人自身数据。基于此,系统可以做出决策,并把客户要求转化为一组任务。

JX-Phi Harness负责把工业规程与行业经验转化为规则约束,划定模型的执行边界。

它主要包含两种机制:一是“一脑多体”机器人控制。跨视角技术利用客户现场已经部署的相机和传感器,通过不同角度的数据,帮助机器人理解自身位置和场景关系。二是工业流程约束。工业知识库把行业经验转化为系统规则,让模型的行动处在明确的工业边界之内。


▎不仅看懂环境,还能泛化与调整

在实际运作的第一阶段,我们需要先处理不同类型的数据。由于观测在分辨率、视角和采集时间上可能各不相同,所以要先进行空间解码,并加入去噪机制去除噪声,再利用对齐整合输入,使模型能够对这些数据进行联合推理。接着下一阶段,模型会把输入转换为多模态token和面向单个对象的物体级表征。

架构中还包含共享MoE与残差MoE模块。共享部分保留可复用能力,残差部分支持不同任务、设备和现场的适配。针对新设备训练的残差MoE可以插入共享MoE,从而更容易扩展到不同机器人。

为防止长时程任务中的误差累积,我们还使用了强化学习奖励函数和批判函数,在执行过程中纠正错误;世界模型评判器持续接收状态输入,评估当前状态与执行表现是否符合预期。


整体来看,JX-Phi Brain先通过基础模型完成多模态感知、融合和对象理解,再利用MoE和世界模型完成规划、执行和纠错。它的重点不只是“看懂环境”,还包括让机器人面对不同机身、不同环境和长时间任务时,仍能泛化,并根据反馈进行闭环调整。

因此,“一脑多体”并不是把一套模型简单复制到不同机器人上,而是构建一套能够跨本体、跨场景部署的工业物理AI系统:由一套大脑负责理解与决策,多个本体在同一套规则约束下完成动作。


03

落地不是比参数:

够用、可靠、可验证才是硬道理

当前,我们的产品主要包括三类:具身智能感知载荷、具身AI控制器以及具身作业机器人。

这条产品线覆盖工业场景下的三类需求:传感终端负责“看”,控制模块负责“连”,机器人负责“做”。一个物理AI大脑驱动完整的“感知—理解—决策—执行”闭环,服务于真实的工业运营需求。


这些产品可以部署在客户现场,采用云、边、端三层架构。我们通常把共享模型冻结,并将其作为基础模型。共享MoE保存集体经验,残差MoE采用增量设计,以便扩展到不同机器人类型,并进一步扩展基础模型能力。完整基础模型会运行在客户侧私有云中,而不是我们公司的云中。

模型参数规模的选择,并非越大越好,而是需要基于客户预算决定。实际部署中,我们通常不会盲目使用超大模型,而是通过知识蒸馏或教师—学生架构,尽可能压缩规模。

模型可以理解客户的规程和要求,从大量文件中提取要求与监管规则,再转化为系统规则。在过去八年里,我们已在1000多座工业场站实现规模化应用,建立工业知识库,并把行业经验转化为系统规则,覆盖知识库、模型调用、结果验证和标准作业程序等环节。

对工业物理AI而言,这些长期积累的现场知识与工程流程,和模型本身同样重要。它们决定了模型能否进入真实生产流程,也决定了系统能否被持续使用和管理。


04

智能运维AI的核心:

不只是感知和识别,还须控制现实设备

▎让AI理解真实运维场景,形成闭环工作流

随着新型电力系统发展,气体绝缘金属封闭开关设备(GIS)、其他开关设备及电缆隧道等关键区域设备密集、环境复杂,传统人工巡检容易出现盲区和响应延迟。

为应对复杂运维场景,江行智能把具身机器人、多模态感知、智能分析和任务调度深度结合,让AI进入现场,理解真实情况并作出响应。

在江行智能物理AI基础模型支持下,系统实时采集设备状态,检测异常,生成故障报告、巡检标记并归档结果,形成从现场数据采集到智能分析的闭环工作流。

系统面向一线作业,协调多设备任务、监控状态并管理巡检,将地面设备、无人机和固定摄像头组成综合巡检网络,打破数据孤岛,帮助团队更清晰、高效地维护复杂设施,显著提高整体巡检效率,并降低了人工成本和安全风险。

▎走进复杂工业现场,机器人化身“多能手”

在部分复杂环境中,传统人工巡检面临覆盖范围与响应效率的限制,而智能设备可以适应更多的复杂地形。在复杂室内外环境中,机器人能够可靠通过崎岖道路和狭窄封闭空间,自主到达巡检点,监测状态、发现潜在风险,减少人员进入高风险区域的次数。

以光伏电站为例,从日照强烈的室外区域到设备密集的控制室,机器人都能自主导航和操作:多模态视觉系统准确检测光伏组件故障并实时报警;地面机器人覆盖整个场站;无人机结合热成像与可见光快速定位风险;固定摄像头全天监控,并快速响应异常。


四足机器人可以与无人机和现场固定摄像头协同,组成空地一体化巡检系统。不同设备互补覆盖高处与地面、室内与室外位置,为关键设备和专业作业提供更全面的巡检管理。


机器人还可安装高清相机、红外热成像、局部放电检测、机械臂和灵巧手等模块。这些模块支持设备状态识别、潜在风险早期发现、在线监测和精密维护。

依靠平台兼容性及模块化、可扩展设计,机器人可以快速部署并灵活配置,一台机器人即可承担从现场感知、环境理解、辅助识别到实际执行等多种角色。

系统还可以完成异常处理闭环。当它发现并定位异常后,可以调度机器狗等另一台设备到现场核验风险,再发出警报,让工作人员复核。

随着环境和客户要求变化,系统还会收集新的异常数据和样本,并高效更新已部署模型。由此,异常处理不再止于一次报警,而是延伸到现场核验、人工复核和模型更新。


05

提问环节(Q&A)

演讲结束后,现场进行了提问交流环节,以下为记录:

▎Q1:你们是否会针对每个机器人和每位客户的真实任务,重新训练或修改模型?你们的模型与真实系统到底是什么关系?是不是每个任务分别训练模型后再组合起来?

A:在我们实际的工业部署中,客户所要求的任务通常边界清楚、判据明确。比如整个场地可能是无人区域,相比于开放环境导航中需考虑障碍物、人员和移动物体,工厂内环境更稳定,大多数物体是固定的,按钮、管道等位置也保持不变。

因此,在这个模型里,我们不需要额外的空间编码或去噪;某些场景下,数据本身就非常干净。比如,一个面板上有很多按钮,但按压顺序由工业规程明确规定,模型不需要自主判断先按哪个、后按哪个。所以,基础模型不必具有极强的通用智能,也能在工业现场可靠工作。

至于新场景,当新客户到来而我们尚未做好适配时,确实仍需要大量人工标注和任务专用token来训练模型。这是一个现实痛点。

▎Q2:能否再深入介绍一下JX-Phi World?这个模型是不是用来生成针对不同测试、不同传感器的长尾数据?

A:我们需要从真实客户现场收集数据训练模型。但即使部署并采集一个月,绝大多数数据仍是正常数据,爆炸、火灾等紧急事件可能一次也不会发生。因此,JX-Phi World中的AutoWorld用于生成紧急事件和长尾数据,供模型训练,使模型能够提前看到新的数据类型。

▎Q3:报告中提到准确率很高,这个准确率是怎么得到的?

A:这其实是学术和工业之间的差异。我提到准确率时,指的是我们在一些顶级会议上发表的学术论文;但在工业界,我们的准确率并没有那么高,因为需要在模型准确度与算力(服务器、GPU)成本之间取舍。

在和客户讨论的过程中,往往还面临另一个现实问题:一个巡检班组通常有一名值班人员和一名备班人员。当我们提出用两台机器狗替代部分工作时,客户通常不会同意完全取消人工。因此,现场常保留一名工作人员,与一台机器狗协同完成部分操作。

这意味着,在真实工业部署中,单项准确率并不是唯一重点。关键是把准确率、预算、网络和其他系统条件放在一起权衡。

▎Q4:你们做测试时是怎么做的?靠人工构造场景吗?这些场景是设计出来的吗?

A:是的。交付系统时需要满足大量标准。专家会在开放数据集或测试流程中人工注入错误和异常,检查模型及整体系统是否达到要求,类似机器人训练场或基准测试。

▎Q5:当前部署中最困难的任务是什么?

A:实际上,模型本身反而不是最难的部分,因为工程化环节有充足的软件工程师与质量保证(QA)人员兜底。真正的挑战还是权衡和取舍,比如我们需要和客户讨论为这些设备选择哪些供应商和硬件。

▎Q6:如果基础模型无法完成客户要求的细粒度、高度专用任务,该怎么办?

A:这类需求恰恰是我们在工业现场最常遇到的,也是系统设计的出发点。工业场景的难,通常不在于任务花样多,而在于要求明确、边界清晰、容错极低。所以我们不指望一个模型把所有情况都预先学会,而是让系统具备适配的能力。遇到超出边界的情况,系统会主动交给人来确认,而不是硬做。


06

论文分享:可靠执行,

才是工业物理AI真正的分水岭

在随后的论文分享环节,研究者们围绕工业物理AI从感知到执行的多个环节展开进一步探讨。这些研究并未停留在“让机器看懂世界”:有的让设备判断工艺状态,有的研究人机共存感知,有的则把大模型搬上云端,进而解决机械臂实时跟随的问题。

分享最后,现场公布了论文奖项。杰出论文奖授予:

1.《PhysMelt: Physics-Anchored Temporal Regime Discovery for Edge Monitoring of Laser Powder Bed Fusion》

2.《Imagine Before You Act:A Self-Evolving Industrial Agent with a Physics-Grounded World Model》

3.《Bridging VLA Policies and Industrial Robot Controllers via Non-Blocking Action Streaming》

▎最佳论文奖授予:《Towards Untethered Industrial Physical AI: Profiling Cloud–Edge VLA over O-RAN》


从现场论文的议题设置不难看出,工业物理AI的竞争焦点正在发生变化:问题不再只是“模型能否看懂”,而是“模型能否在物理约束、实时通信和工业规程之下,安全、稳定、可验证地行动”。

这意味着,工业AI正在从单点模型能力的比拼,走向模型、控制、通信与工程体系的系统竞争。

从江行智能“一脑多体”的系统架构,再到研究者们对物理约束、世界模型、动作流和云边协同的关注,我们可以看到同一条工业物理AI的主线——从“感知世界”走向“在约束中行动”。

对工业场景而言,需要的不只是一次惊艳的演示,而是能够在产线上长期稳定执行的能力:模型不仅要给出答案,还要完成动作;不仅要完成动作,还要验证动作是否符合客户要求与工业规程;不仅要在理想条件下运行,还要在网络、成本、设备和人员约束下保持可靠。

从这个角度看,工业物理AI的下一阶段,不仅仅是“让机器人更聪明”,而是让智能真正成为一种可部署、可管理、可验证的生产能力。

NeurIPS 2026 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

进群传送门:扫码进群或添加微信szhsn610,备注:NeurIPS+单位/学校+姓名+方向。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央八定档!《两京十五日》本是冲着林更新去的,却被男一狠狠惊艳

央八定档!《两京十五日》本是冲着林更新去的,却被男一狠狠惊艳

大眼妹妹
2026-11-20 02:15:24
继《伟大的长征》后,于和伟出演60集抗日战争时期,家国史诗级大剧

继《伟大的长征》后,于和伟出演60集抗日战争时期,家国史诗级大剧

容妃
2026-11-20 16:09:25
英伟达暴跌14%,“AI交易”抛售加剧使得美股进入回调区间

英伟达暴跌14%,“AI交易”抛售加剧使得美股进入回调区间

界面新闻
2026-11-21 06:45:36
1979年索马里买26架战机赖账1700万,中方8年7次催收无果,最后发现4台报废发动机比这笔钱更值钱

1979年索马里买26架战机赖账1700万,中方8年7次催收无果,最后发现4台报废发动机比这笔钱更值钱

磊子讲史
2026-11-20 19:00:10
小泽一郎如何戳穿高市的“外交胜利”?

小泽一郎如何戳穿高市的“外交胜利”?

天真无牙
2026-11-20 12:55:47
带岳母抓妻子出轨,认出床上那人后,岳母失声尖叫

带岳母抓妻子出轨,认出床上那人后,岳母失声尖叫

雾岛夜话
2026-04-03 11:30:58
油价大降0.52元/升后“再大降”,下次11月26日调价,倒计时7天!

油价大降0.52元/升后“再大降”,下次11月26日调价,倒计时7天!

猪友巴巴
2026-11-19 09:14:41
韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

z千年历史老号
2026-10-08 17:02:34
降价18.78万,奥迪 “头等舱” 新车:继续开售 !

降价18.78万,奥迪 “头等舱” 新车:继续开售 !

沙雕小琳琳
2026-11-21 08:33:12
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质?

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质?

唠叨说历史
2026-11-21 10:31:16
APEC中国时间|超出计划的访问,特朗普在深圳的27小时

APEC中国时间|超出计划的访问,特朗普在深圳的27小时

澎湃新闻
2026-11-20 15:09:03
“我爸是大官”韩方奕街头打死警察,判死缓不到7年却获成功减刑!

“我爸是大官”韩方奕街头打死警察,判死缓不到7年却获成功减刑!

零点历史说
2026-10-18 10:55:11
《GTA6》预告片的金发比基尼美女找到了!不是女主

《GTA6》预告片的金发比基尼美女找到了!不是女主

游民星空
2026-11-21 10:15:23
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
特朗普期待黄仁勋回归

特朗普期待黄仁勋回归

参考消息
2026-11-21 11:22:12
特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

砚底沉香
2026-11-20 09:44:10
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

凡知
2026-11-21 01:31:33
两岸统一货币,台湾慌了

两岸统一货币,台湾慌了

燕梳楼频道
2026-11-20 12:16:58
《GTA6》通关了!主播连播50小时不睡 游戏内39小时

《GTA6》通关了!主播连播50小时不睡 游戏内39小时

游民星空
2026-11-20 16:16:19
NBA杯:骑士128-119击退步行者!哈登狂轰51+6+6,米切尔20分

NBA杯:骑士128-119击退步行者!哈登狂轰51+6+6,米切尔20分

全景体育V
2026-11-21 10:58:48
2026-11-21 12:16:51
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7836文章数 20798关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
艺术
房产
数码
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版