上交大张伟楠教授：AI如何走出屏幕，真正改变物理世界？ | CNCC 2026

物理智能的核心挑战：让 AI 在充满不确定性、行动后果难以撤销的真实世界中，形成感知、预测、行动与持续学习的完整闭环。

作者丨张 驰

编辑丨马晓宁

大语言模型已经得到了长足的发展，但 AI 的许多能力仍然发生在屏幕之内：理解文字、生成内容、编写代码，以及调用数字工具。把这些能力带入工厂、实验室和城市设施，意味着智能系统必须进一步面对物体、空间、力与时间，在持续变化的环境中作出判断，并承担行动的实际后果。

AI 如何从处理数字信息走向可靠地参与物理过程，正是“物理智能”要回答的问题。

这一步跨越的难度，很难仅用模型参数或推理能力来衡量。机器人拿起一只杯子，既要识别位置和形状，也要判断接触、摩擦与受力；实验设备执行一次操作，既要理解任务，还要满足精度、时延和安全约束。

网页操作失误可以刷新，物理世界中的碰撞、损坏却未必能够撤销。感知是否及时、动作是否可控、失败后能否恢复，都会直接影响系统能否真正投入使用。

在今年 CNCC 首日面向博士生、青年学者的 Tutorial 专题论坛环节中，上海交通大学计算机学院教授、上海人工智能实验室物理智能中心负责人张伟楠发表了题为《物理智能及关键技术概述》的演讲。在他看来，基础模型、世界模型、强化学习与高吞吐仿真、虚实迁移，以及硬件成本的下降，正在共同推动物理智能从研究愿景走向可行实践。与此同时，真实交互数据昂贵、环境只能被局部观测、长时程预测误差累积等问题，仍然制约着能力的扩展。

围绕这些问题，张伟楠梳理了从硬件与系统、数据与仿真，到感知、世界模型、操作与运动控制，再到物理智能体和行业应用的七层技术栈。他强调，各层已有成果，真正困难的部分往往在于层与层的衔接，以及能否把感知、决策、执行和反馈连接成可靠的整体。模型训练完成之后，进入真实世界的持续学习同样重要。

这场演讲，为机器人、自动化、仿真和科学智能等方向，提供了一套相互连接的讨论框架。它也提出了一个更长远的问题：当AI 开始参与生产、实验乃至更大尺度的物理建设，我们应如何同步建立评测与安全机制，让能力增长转化为可靠的现实价值？

同时在CNCC 2026 Tutorial 会场，上海人工智能实验室物理智能团队发布了专著Physical AI: Concepts, Techniques, and Challenges，该专著系统梳理了物理智能的基本概念、关键技术与发展挑战，旨在为相关领域的研究与实践提供参考。专著预印本见https://arxiv.org/abs/2610.27045。

本届CNCC Tutorial 升级为 11 大主题板块、24 场内容，深度、广度和时长在学术会议中并不常见。现场多场Tutorial“站票告急”，更值得关注。

以下为演讲实录精编。

01

从屏幕后走向物理世界

今天，我想讨论三个问题：物理智能是什么，它与具身智能有什么区别；它包含哪些技术层次，这些模块如何组织；以及我们应该怎样推进它的发展，长期目标是什么。

大家有没有注意到，我们今天使用的大语言模型、智能体和各种应用，绝大多数还在屏幕后面？数字智能已经非常繁荣，但它与物理环境的耦合仍然有限。

如果把“与物理世界的耦合程度”作为一条发展轴线，就可以看到这样一条路径：从数字AI 工具，到仿真环境中的智能体，再到真实环境中的单智能体、多智能体协作，继而走向基础设施级别的物理智能，最终形成广域、泛在、可获得的物理智能服务。

从这个维度看，数字 AI 即使在其他方面非常先进，仍然只是一个早期起点。沿着这个方向，我们还有非常广阔的空间需要探索，但物理世界也带来了三类本质困难。

第一，是不确定性下的后果性交互。网页操作错了可以刷新，游戏可以重置，但机器人撞到桌子、无人车发生事故，不能一键返回。因此，我们必须在尚不能完全确定环境状态时，提前判断行动可能带来的后果。

第二，是对演化中物理状态的感知。游戏智能体有可能通过引擎获得允许访问的全部信息，但物理世界的感知始终是局部的。人类的感官与仪器，也从未提供完整的世界。因此，建模要承认部分可观测性，也要为未来新的传感方式和输入输出留好接口。

第三，是受物理结构约束的学习与泛化。牛顿定律等规律之所以有价值，是因为它们刻画了世界的结构，帮助我们预测未见过的情形。对于模型，我们不一定要先把规律全部写成公式，也可以让它从观测与交互中学习，将物理结构编码到内部，实现分布之外的泛化，也就是 OOD 泛化。

为什么现在有条件推进这件事？我认为，有五个条件正在成熟。

首先是基础模型。过去，我和学生设计各种强化学习方法，希望提高智能体的泛化能力。现在我越来越认为，一个有效起点，是直接在较强的基础模型上开展强化学习。很多泛化能力可能来自基础模型已有的积累，而不只是算法中新增加的损失函数或元学习机制。

其次是世界模型，它让智能体能够在行动之前预演后果，减少盲目试错。

第三是强化学习与高吞吐仿真的发展，为多轮交互和策略优化提供了基础。

第四是虚实差距正在缩小，我们能够更好地融合大量仿真数据与少量、准确的真实数据。

第五是硬件和试错成本下降，让本体制造与实验迭代越来越可行。

02

物理智能的核心，是系统性的闭环能力

我们尝试这样定义物理智能：人工系统感知物理环境状态，维持任务相关的物理关系与动作后果表征，通过物理接口选择并执行干预，在物理、运行和计算约束下，利用反馈达成目标的能力。

这个定义的核心，是让人工系统有效地与物理环境交互：获得观测，理解状态，推演变化，选择动作，再根据环境反馈适配自身。

其中有几个关键含义。首先是物理接地，即感知与动作真正接入物理环境；其次是明确干预通道，知道系统能通过仪器功能、机器人动作或运行参数改变什么；再次是利用反馈判断干预效果，修正行为；最后是建立证据支持，将理解、预测、规划、执行和适应连接起来。在难以回退的环境中，这条完整链路对于可靠泛化尤其重要。

很多人会问：它与具身智能有什么区别？便于理解的说法，是物理智能的研究范围更广。更准确地说，具身智能侧重智能体及其身体，物理智能侧重整个系统能否形成感知、决策与物理后果之间的闭环。

比如，工厂的智能制造系统、无人矿山的感知与调度系统，都可以成为物理智能的载体。DeepMind 使用深度强化学习控制 TCV 托卡马克装置中的等离子体位形，也是面向科学研究的物理智能应用，却不是通常意义上的移动或操作机器人。

世界模型、物理仿真器同样属于这一技术体系，但本身不等同于具身智能体。部署于真实环境中的具身智能，是物理智能的重要实现形式；物理智能还可以覆盖基础设施和科学设施等场景。

它也与数字孪生、信息物理系统存在联系。数字孪生经常强调从真实到仿真，以及在仿真中的分析推演。比如，从照片恢复可漫游的三维环境，如果尚未反过来影响真实世界，就主要完成了闭环中的一个方向。信息物理系统强调可靠感知、及时通信和鲁棒控制；我们今天讨论物理智能，还特别强调基础模型带来的学习、泛化与适应能力。因此物理智能关注的不只是某一种技术或某一个智能体，而是人工系统能否将对物理环境的感知、对行动后果的预测以及实际干预和反馈结合起来，形成有效的闭环。不同技术可以在这一过程中发挥不同作用，而物理智能的关键，是让这些能力在具体任务和真实约束下协同起来，使系统不仅能够理解和预测物理世界，还能够据此采取行动，并根据实际结果持续调整。

应用范围也会随能力增长而扩展。我们不仅希望它为已有业务降本增效，还希望降低门槛、激活过去无法实现的需求，在制造、服务、城市运行和科学设施中催生新的应用。

03

技术全景：七层技术栈与两类贯穿回路

我们把物理智能的技术全栈梳理为七层，从下往上分别是：

1.硬件与系统：传感器、执行器、端边云协同，以及可靠部署。

2.数据与仿真基础设施：示范采集、物理引擎、虚实迁移和数据迭代。

3.感知与认知：多模态融合、三维和四维空间表征、场景语义与交互感知。

4.世界模型：表征物理状态与关系，预测动作后果及其不确定性。

5.基础模型：面向操作任务，以及面向全身运动控制的两类模型。

6.物理智能体：目标接地、任务分解、动作组织、失败恢复和多智能体协作。

7.应用层：制造、服务、交通、实验室、建筑能源等行业应用。

这里，操作与全身运动控制是基础模型层中的两类关键能力，下面分别展开。

贯穿各层的还有两类回路。一类是在线闭环：观测向上传递、指令向下执行，涉及毫秒、秒、分钟等嵌套的时间尺度。

另一类是离线数据飞轮：部署数据回流，驱动学习和模型更新，再部署回系统。每一层都已有代表性成果，但层间接口与闭环仍是共同难点。我们希望把这些能力组织起来，适配制造、服务、交通和科学实验等具体业务。

▎感知与认知：把物理信号变成可用于决策的状态

智能体进入物理世界后，仅感知这一步就很难。如果能将有效的物理信号准确地放进上下文，任务能力就可能大幅提升。因此，我们会搭建动作捕捉系统获取机器人状态，使用高速相机捕捉牛顿摆等物理过程。感知设备与模型，是后续学习和控制的基础。

这里有三条主线。

第一是多模态感知与融合。视觉提供身份、位姿、几何和运动信息，力觉与触觉揭示接触、摩擦和材料性质，本体感觉测量自身构型与负载。

第二是三维、四维空间感知。点云、体素、隐式场以及以物体为中心的表征，需要刻画场景几何及其随时间发生的变化，并将先验结构引入估计。

第三是高层感知与认知。系统不仅要识别物体，还要理解场景语义、物体属性和交互关系。例如，视觉上的接触，并不意味着接触已经能够承重。

观测不足时，系统还可以主动改变视角、调整传感器或探触物体，将信息采集纳入决策。物理感知的目标，是在算力与环境约束下，为控制提供及时、经过校准、带有不确定度的状态估计。即使估计准确，如果到得太晚，也可能无法用于控制。

▎数据与仿真：数据金字塔中的成本与质量权衡

物理智能的数据有一个天然困难：许多交互信息没有被保存，而是在日常生活中流失了。互联网视频可以大规模获得，但只记录了某个视角下的物理过程，力觉、触觉、热感知等信息往往缺失。

具身操作中存在一个数据金字塔。最上层是机器人遥操作数据，例如遥控机械臂拿起咖啡。这类数据贴近真实执行，但设备复杂、采集成本高，还需要培训操作员。

中间是手持夹爪设备数据。人直接拿着夹爪操作物品，记录末端位置、运动轨迹和夹取过程，不必遥控完整机械臂，采集更快，但仍需要专门设备。

再往下是人类第一视角视频。通过头戴设备、眼镜或手机，就可以记录用手完成任务的过程，并与互联网上的手工、家务、烹饪视频连接起来。

越贴近机器人执行的数据，通常越昂贵；越容易规模化获得的数据，与执行之间的距离也可能越大。仿真是非常关键的一环，甚至可能改变数据获取方式。如何组合遥操作、手持设备、人类视频和仿真数据，确定它们的配比，是世界模型与操作模型训练的重要问题。

▎世界模型：预测动作之后，世界会怎样变化

如果说语言模型预测下一个 token，世界模型可以粗略理解为预测下一个状态。但对物理智能而言，状态预测需要以动作为条件。我们通常建模局部环境，外部动作构成干预，模型就需要预测它带来的后果。

世界模型有不同路线：观测层面的生成、底层物理结构的表征、潜在空间中的动力学；用途也包括规划控制、仿真和渲染。我们可以从模型表征和使用目的两个维度梳理这些路线。

例如，一类模型根据方向按钮生成后续视频；我们团队的世界动作模型，则探索让配备灵巧手的机械臂在化学实验中操控移液枪，完成复杂、精细的操作。从我们的研究探索来看，世界模型并非要完整复刻现实世界，而是要在有线计算资源限制下提取对理解和预测物理变化有用的信息，赋能智能体与物理世界高质量交互。面向物理世界的模型需要关注全模态、异步信号与局部观测：既要融合不同感知信号，也要适应预测与动作控制的不同节奏，并在观测不完整的情况下推测世界状态的变化。这些要求为世界模型的技术研发与能力评测提供了明确方向。

架构和应用可以不同，但从物理智能的目标看，世界模型最终应服务于行动，帮助智能体更好地选择动作、控制过程。理解它的作用，不能只看生成画面的效果，还要看它对后续决策与真实交互提供了什么帮助。

▎操作基础模型：从视觉、语言走向动作

操作基础模型是具身智能的一条主要路线，也经常被称为“具身大脑”。其中的重要方向是VLA，即视觉—语言—动作模型。

它通常以视觉语言模型为基础，增加动作输出模块。视觉语言模型可以接收图像与语言，但输出主要还是语言；加入动作模块后，可以通过流匹配、扩散等方法输出动作序列，让机器人以相应频率执行。

这一方向正在向长时程任务、记忆与持续演进发展，也面临通用多模态基础模型的挑战：一些原本专门构建的“具身大脑”能力，可能被通用模型吸收。如果接受更高推理成本或更低执行频率，强大的通用模型已经是值得重视的比较基线。

上海人工智能实验室的书生 VLA 模型，探索通过双臂机械臂执行有机化学合成流程。我们希望它对操作物品、试管架位置和光照等变化具备泛化能力，像化学专业学生一样，完成上层智能体交付的任务。

▎全身运动控制：让身体成为可控制的交互媒介

机器人要完成操作，还需要运动到合适位置，保持能够执行任务的身体状态。因此，全身运动控制同样关键，国内常称这一层为“小脑”。

这类模型并不一定很大。我们常用的一些模型只有几十万、不到一百万参数，可以部署在端侧芯片上，以 50 赫兹以上的频率与物理世界交互。

我经常问学生：机器人的身体是 AI 的一部分，还是环境的一部分？直觉上，身体属于机器人自己；但从强化学习建模的角度，也可以把身体看作一个能被智能系统相对可靠地控制的环境部分，再由它与外部世界交互。

这个问题我也曾与 Richard Sutton 当面交流，他持有类似观点。身体是智能系统高度依赖的交互媒介，但仍然具有需要学习和适配的动力学。因此，我们同样需要对身体建模，让底层控制具备泛化能力。

▎物理智能体：组织长时程任务与持续运行

操作与全身运动控制之上，是物理智能体层。它负责理解目标、拆解任务、组织执行，让底层能力能够服务于完整的业务过程。

对于长时程任务，仅有单次操作能力还不够，还需要支持失败后的恢复、记忆的利用、对环境的持续适应，以及多个智能体之间的协作。

随着通用基础模型能力提高，基于这些模型构建机器人智能体的研究也会受到更多关注。如何把基础能力组织成能够长时间运行、持续演进的任务系统，是这一层的重要价值。

▎硬件与系统：端、边、云之间的协同

只要智能系统在物理环境中运行，就绕不开端、边、云之间的权衡。

端侧算力有限，但延迟低，可以更高频地与环境交互；云侧能够运行更大、更强的模型，却受到通信与推理延迟的限制，执行频率相应受限；边缘侧则介于两者之间。

不同任务对算力、时延与可靠性的要求不同。因此，物理智能不仅是模型问题，还需要传感器、执行器、本体、芯片与软件之间的协同，通过合理部署，将各层能力连接成能够实际运行的系统。

04

走向真实世界中的持续学习

当前的核心挑战，我概括为三个方面。

首先，如何在观察和干预中获得可泛化的物理知识？未来的任务与环境不可能在训练阶段被穷尽。借用 Richard Sutton 关于“大世界”的思考，智能体不应被设想为在机房完成全部学习；进入真实世界后，持续学习才真正开始。知识也不一定表现为公式，它可以编码在潜在空间及其动力学中，服务世界模型、操作与控制。

其次，如何进行可靠的长时程预测？具有混沌特征的系统，即使初始观测误差很小，长时间推演后也可能产生很大偏差。感知精度与计算资源有限，我们必须在预测距离、累积误差和算力之间权衡，让预测真正服务决策。

第三，如何真正闭合交互回路？让人形机器人进行拳击对抗，仅仅准确知道对方在哪里，就可能需要动作捕捉系统，否则需要人观察并参与操控。这正是我们运动控制团队面对的困难之一。

这让人想到莫拉维克悖论：人类毫不费力的感知与运动，可能是机器人最难获得的能力；人觉得困难的记忆、复杂计算和长程推理，机器反而可能更容易掌握。

未来，我们需要推进操作、视觉、全身运控等基础模型的融合。融合不意味着只保留一个模型，不同任务的能力、计算成本与执行频率存在权衡，需要有效组合。我们也需要让智能体持续演进，并重视本体、芯片与软件之间的协同。

把视角放到文明尺度，未来更大规模的空间开发和能源利用，也可能需要自主工作的物理智能系统。例如，在月球利用当地原材料建设设施，仅依赖人类直接施工很难实现。

物理智能的本质，是感知、理解、预测、行动与持续适配的全流程闭环。物理通用人工智能可以成为长期目标，可靠性和安全机制也是通向这一目标的必要条件。

05

现场问答

▎问：无线通信等领域的高精度数据采集昂贵，数据稀缺如何解决？

张伟楠：很多领域都有类似困难。一种思路，是逐步建立从真实到仿真、再回到真实的闭环。虽然最初仍需要真实数据，但物理智能是交互式智能：仿真产生的数据可以改善智能体下一轮与真实环境的交互，让后续高质量数据的获取更高效，逐步降低成本。具体实施还要结合领域知识，把这一迭代过程做得更充分。

▎问：物理智能什么时候能通过 Scaling 学到更多物理知识？

张伟楠：Scaling 正从模型参数扩展到智能体与环境的交互。物理智能也适用这条路径，只是构建和利用物理交互环境更慢。但物理世界足够大，我们并不难找到智能体尚不能胜任的任务。

关键是让它接触尽可能丰富的环境和任务。我们不必要求模型写出牛顿定律，它可以在潜在空间中刻画状态变化的结构。这也是我们探索全模态物理信号感知基础模型的原因：希望模型进入新环境后，能够开始工作，并通过交互持续学习。

CNCC 已经召开，欢迎参会的研究者、学生，以及关注计算机领域前沿进展的读者加入我们的CNCC 交流社群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见，也在群里见。

进群传送门：扫码进群或添加微信Qvv0909777，备注：CNCC + 单位/学校+姓名+方向。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。