北大团队研发首个电磁空间具身智能体，能实现生命体征监测

近日，北京大学李廉林教授和和东南大学崔铁军院士团队合作，提出并实现了电磁物理空间的具身智能体 metaAgent，这一系列研究主要包含三方面的具体成果。

其一，他们构建了基于基础大模型的电磁语义化表征与处理的控制模型，利用该模型将电磁观测信号转化为便于推理决策和人机交互的自然语言，进而在此基础上发展了包含电磁模态的多模态信息处理模型和方法。

其二，他们提出了语义可控现场可编程数字编码超表面的概念，这种超表面在上面大模型的支撑下，能将包含电磁在内的多模态观测以端到端的方式直接转化为物理层电磁操控的超表面编码，实现电磁物理空间的波束波形的语义操控。此外，为了增强大模型数字域与电磁物理域的适配，他们也构建了电磁物理空间的语义地图（即构建了一个初步的电磁空间世界模型）。

其三，他们构建了超材料具身智能体的框架。其中，大脑由包含电磁在内的多模态大模型构成，负责语义提取、推理、任务规划和决策；语义超表面为小脑，负责链接物联网物理节点，执行复杂环境中的定位、感知、导航、通信、电子对抗等电磁任务。在具体实现上，本次工作有两个关键技术：在物理层，课题组引入了多频段、分布式的超表面，借此实现了大视角、透视式、多尺度的数字空间-物理空间链接；在数字层，课题组借鉴了自动控制和多智能体讨论的模式，实现了高稳定度的推理和任务规划。

最后，本次工作推出了面向智慧家庭的超材料智能体平台，这个平台可推广至智慧工厂和认知雷达等应用场景。据该团队了解，这也是首个电磁物理空间大模型具身智能体的工作。

本次论文涉及到三位审稿人，他们都给出高度评价。例如，其中一位审稿人给出的正面评价是：“论文作者将现有大容量基础模型和超材料相结合，提出了一个非常迷人的超材料概念：超材料智能体。该工作把超材料和超表面显著地推动为电磁空间具身智能体。此外，实验结果展示了该智能体能够自主规划和组织一系列可执行的结构化任务，从而能够响应真实物理环境的动态变化和用户需求。”

李廉林相信本次成果在多个方面具备应用前景。论文中的演示案例是智慧家庭和智慧工厂等 5G/6G 室内网络场景。目前，李廉林也正和工业界和投资界的同仁们推动这方面的落地应用。

他补充称：“我还想举一个室外场景应用例子：认知雷达场景。我的理解是：认知雷达与这几年火爆的具身智能的核心思想是一样的。”认知雷达通过对历史和当前环境的检测、分析、学习、推理和规划，结合先验知识，对感知信息进行推论、做出决策、执行决策、自适应调整系统的接收和发射，使用最适合的系统资源配置，达到与外部环境和目标状态相匹配的效果，进而实现最佳性能。

现阶段认知雷达具有一定智能性，但它们是基于专家知识库技术，无法自主地应对日益复杂的电磁环境和作战需求，因此存在两方面难题亟待解决：1）由于使用相对简单的自适应算法，无法自主地与周围环境交互，智能水平有很大的提高空间；2）由于数字系统和射频系统独立设计，因此雷达系统响应时延较大，无法快速响应环境变化。此外，现阶段认知雷达采用非常昂贵的相控阵天线或非常耗时的合成孔径系统，在成本、能耗和效率等方面存在一系列难题亟需解决。

而本次工作的超材料智能体与认知雷达的需求完美契合，并且在解决认知雷达上述难题方面具有得天独厚的优势，例如：

1）超材料智能体融合了大模型技术，能综合处理包含电磁观测的多模态感知输入，能快速响应动态环境变化和用户需求，并根据环境变化自主地进行类人推理、决策和行动；

2）超材料智能体脱胎于智能超材料，采用物理域与数字域的一体化设计，具有低成本、低能耗、低延时、高效率等优点。

顺应 AI 潮流开展超材料研究

据李廉林介绍，有三方面主要原因驱动了本次的研究工作。

一方面是来自赋智赋能超材料和超表面的研究驱动。超表面是二维化的超材料，超材料是物理波场操控的强有力工具，是人工材料领域百年发展的里程碑式进展。毫无疑问，超材料的“智能化”是大家追求的“北极星”，其突破将颠覆性推动感知、通信、计算等现代电子与信息领域的发展。在此背景下，东南大学崔铁军院士提出并主导构建了智能超材料和信息超材料。

“我特别感慨的是，我能非常幸运、也非常荣幸跟随崔院士学习智能超材料和信息超材料概念雏形（现场可编程数字编码超表面）的第一手材料，共同构建智能超材料和信息超材料体系。”李廉林表示。

智能超材料具有灵活强大的电磁物理和信息操控能力，是链接真实物理世界和虚拟数字世界的桥梁。但是，现阶段超材料高度依赖人为干预，其智能仅停留在感知层面，不具有认知特性，无法自主地与物理环境交互、推理和决策。超材料的智能亟需从感知层向认知层发展，最大程度地降低人为干预，推动物理世界与数字世界的一体化发展。

“他山之石，可以攻玉”。大模型表现出惊人的零样本学习、上下文推理和自主进化能力，为超材料的认知智能发展提供了重要契机。鉴于此，本次工作将超材料和大模型融合，尝试为电磁超材料开启通向认知智能的大门，以及为推动物理空间与数字空间一体化发展提供新思路。

另一方面是来自大模型人工智能技术扎根物理的研究驱动。大模型人工智能技术是新一轮科技革命和产业变革的重要驱动力量。然而，现阶段大模型亟需理解物理定律、扎根于物理世界、与物理世界交互。电磁空间是人类现代日常生活和工作赖以生存的一大物理空间。但是，电磁空间是现阶段大模型尚未开垦的处女地，具有非接触、私密性、透视性等非类人的操控和感知特点。电磁物理空间将扩展现有大模型的感知空间、推理空间和动作空间，有望解决现有大模型在幻觉和泛化性方面的难题。

鉴于此，本次工作将大模型与电磁学融合，提出超材料智能体，为大模型具身电磁物理本体、通向外部真实物理世界开辟了新通道，也为大模型理解物理世界和扎根物理世界提供了重要途径。

第三方面是来自智能机器人的研究驱动。智能机器人的研究在环境感知、信息交互和计算等方面，存在一系列关键问题亟需解决。例如：1）在感知方面，现阶段智能机器人主要使用光学传感器，因此对灯光和颜色非常敏感，感知距离和感受视野有限，且无法感知障碍物背后的对象。最新报道的若干智能机器人安装了毫米波雷达等透视性传感器，但受制于机器人有限容积，这些透视性传感器的感受视野非常有限，严重制约了机器人性能；2）在人机交互方面，基于光学传感器的智能机器人通常会遭遇隐私伦理的难题；3）在信息处理方面，作为终端设备，机器人不仅能源非常有限，且其算力受到严重制约，从而极大限制了轻便型移动机器人的功能。

鉴于上述原因，该团队提出了智能超材料机器人的概念。在这一工作的基础上，其融合大模型技术开展了超材料智能体的工作。“用一句话总结是，本次研究是我们团队顺应大模型人工智能的发展潮流而开展的。”李廉林说。

已收到来自政府、企业和投资机构的合作意向

李廉林表示：“本次工作的前期研究是上面提到的超材料机器人的工作，负责这项工作的是我的两个博士研究生赵晗汀和胡生国。”

在进一步的推进中他们遇到了一个难题：超材料机器人执行电磁任务规划几乎依赖于人为预设，没有自主性也没有智能性。李廉林记得在 2022 年底，他和团队在一学期一次的工作总结会上，重点讨论了这个难题。

“那时我们想了若干方案。例如：机器学习领域的强化学习、生物学领域的 Friston 扩展自由能模型等。开完会后，就放寒假过年了。”其表示。

但是在过年期间，ChatGPT 横空出世。李廉林关注了 ChatGPT 的相关新闻和文献，觉得大语言模型为解决研究人员超材料机器人的难题提供了完美方案。于是，在寒假期间，李廉林和学生拉个微信群开线上会议，大家意见完全一致，即决定开学后把大模型和超材料机器人相融合。

2023 年初，新学期开学后李廉林和崔铁军院士交流了设想，后者认为这是一个 Big Idea。于是，该团队几乎 All-in-AI，启动超材料智能体的研究工作。

（来源：Light: Science & Applications）

为了推进本次工作，课题组组建了两个小分队。

一个小分队由胡生国、许嘉文和李茗逸等组成，这个小分队主要攻克系统实现和平台建设，他们也是相关论文的共同第一作者。

该团队主要研究电磁学专业，大语言模型对他们来说绝对是一个新生事物，因此他们需要理解大语言模型和电磁学融合的基础机理。于是，他们组建了第二个小分队，由张洪瑞、陈延锦、马杰等组成，负责构建语义电磁学框架，旨在深入理解电磁学与大语言模型的融合机制，解决大语言模型处理电磁模态的基础理论和方法。

2023 年，研究人员基本上完成预期目标，两个小分队都交出了各自的阶段性成果。其中，第一个小分队实现了超材料智能体系统和平台建设；第二个小分队初步构架了语义电磁的模型和方法体系。

日前，相关论文以《电磁超材料 agent》（Electromagnetic metamaterial agent）为题发在Light: Science & Applications（IF 20.60）[1]。

李廉林表示，这一系列工作只是一个开始，未来还有很多问题亟待深入研究。例如，目前超材料智能体的电磁空间世界模型容量相对较小，需大刀阔斧地改进完善。比如，要针对更复杂的应用场景开发更有效的端到端系统与算法；要构建更紧凑、更高效的类人的推理-规划-决策方案；以及要更加直观、更加可解释地将电磁模态与其他模态进行融合。

与此同时，课题组已经收到来自政府、企业和投资机构等的合作意向，目前正在协商合作协议，预计在 2025 年上半年会敲定合作细则。

参考资料：

1.Hu, S., Li, M., Xu, J.et al. Electromagnetic metamaterial agent.Light Sci Appl14, 12 (2025). https://doi.org/10.1038/s41377-024-01678-w

排版：刘雅坤