物理人工智能面临的安全风险

（本文编译自Semiconductor Engineering）

具备通用人工智能的人形机器人距离真正进入我们的日常生活还有数年时间，但特定应用领域的机器人早已问世。从亚马逊物流中心的机器人车队，到手术室的外科手术机器人、搜救机器狗、自主无人机和最后一公里配送机器人，再到常见的扫地机器人，物理人工智能系统正变得越来越智能，也越来越贴近人类生活。

先进的3D传感器、人工智能摄像头、语音接口和软件定义激光雷达通过机器学习算法发挥关键作用，为物理人工智能赋予眼睛、耳朵和嘴巴。下一步则是将大语言模型（LLM）作为“大脑”，解读传感器收集的信息，并根据其初始训练数据和持续的学习经验反馈循环，指导机器人后续操作。最终目标是让更多机器人融入人类的日常生活，但这些系统可能出现故障的原因尚不明确。

“现在判断人机交互将如何发展还为时过早，”西门子EDA公司IC验证与EDA人工智能产品负责人Sathishkumar Balasubramanian表示，“我们目前看到的大多是原型产品，尚未出现真正大规模应用的案例，但值得关注的是，人们在相关技术研发和交互设计上始终保持高度谨慎，这都源于我们需要理解自动化机器人对其交互对象（无论是人类、水瓶还是其他物品）的认知视角。

在物理人工智能领域，首要任务是掌握如何解读物理环境并理解其各种属性，机器人需要全面感知周围一切，这也是当前研发投入的核心方向。其次，传感器领域正取得显著进展，物理人工智能系统的感知能力依赖于这些传感器和生物传感器的技术突破。我认为该领域目前仍处于非常早期的阶段，除非未来5到10年内出现重大技术变革，否则市场演进速度将会相当缓慢。”

人工智能行业目前正处于陡峭学习曲线的起点。“无论是边缘人工智能还是物理人工智能，我们都处于增长初期，”新思科技移动、汽车和消费知IP产品管理执行总监Hezi Saar表示，“云人工智能可能不会衰退，但一旦具备利用物理人工智能为消费者提供服务的能力，其增长速度就不会再像以前那样快了。它需要触手可及——无论是在我们手中、交通工具里还是机器人身上，同时还需具备经济性和低功耗特性，真正服务于人类需求。我们看到需求正在增长，而且越来越多的SoC)正在实现这些功能，但行业尚未进入稳定阶段。”

物理人工智能设备正在快速发展，人工智能模型也在同步演进。“人工智能正从工具转变为伙伴，人们的期望也在不断提高，并逐渐影响其选择，”Arm客户业务线高级副总裁兼总经理Chris Bergey表示，“这种转变是由大语言模型和智能体人工智能的重大进步所驱动的。这些模型不再是静态的，而是能够推理、规划并代表用户采取行动的动态系统。其结果是，人机交互不再像下达指令，而更像是协作过程。人工智能已从昔日的‘新奇技巧’，演变为影响工作与生活方式的核心力量。”

人与机器人，或者任何类型的自动化系统或自主系统之间的动态关系，使得物理人工智能领域比其他领域更具挑战性。“在机器人领域，可能仍然需要人参与某个环节，也可能完全不需要人为操作，”Imagination Technologies工程和技术负责人、系统与功能安全工程专家Andrew Johnson表示，“环应用场景可能是危险环境，比如高温、高辐射等，此时机器人便能发挥作用。但是，人为因素仍不容忽视。有时，人与机器的交互方式会因为机器学习而不断演变，其目的就是为了让人类的生活更便捷。”

正如人工智能模型会不断变得更加智能一样，安全工程师也需要不断提升自身技能。“我们需要考虑能力管理，并关注人员、流程和开发框架，而不仅仅是工具和技术，” Johnson表示，“如果能做到这一点，无论是在设计开发和验证工具中运用人工智能/机器学习，还是在产品中采用相关技术实现自动化或自主决策，我们都将看到更高的效率和效果。”

就安全而言，最关键的是机器人能够正确识别人类，并不会对其造成伤害。Synaptics公司技术与创新副总裁David Garrett表示：“机器人周围的隔离区非常重要。”他以2022年的一起事故为例：“当时一个机器人手正在下棋，孩子在机器人落子前来得及收回手，机器人移动时直接折断了他的手指。”互联网上充斥着其他涉及机器人在实验室、工厂甚至节日场合发生的事件。

将大语言模型作为其认知框架一部分的物理人工智能系统，为安全性和可靠性增带来了额外的挑战。“不仅硬件或其他处理器需要进行严格的测试，AI本身也需要进行严格的测试，”是德科技首席安全分析师Rajesh Velegalati表示，“我们认为，目前针对各个领域部署的AI，尤其是用于机器人或无人机的AI，安全审查还不够充分。”

物理人工智能软硬件验证

虽然行业焦点大多集中在软件功能上，但如果没有底层半导体硬件，这一切都无法实现。物理人工智能芯片可能在各种环境温度和条件下使用，有时会处于高负载运行状态，有时则处于休眠模式。这增加了芯片设计以及验证的难度。

验证工程师应该充分利用所有工具——仿真、仿真加速、形式验证，甚至数字孪生。“物理人工智能系统非常复杂，因此需要借助形式验证等技术，确保仲裁器等组件在最底层也能正常工作，”Cadence验证软件产品管理高级总监Matthew Graham表示，“此外，还需利用软硬件协同验证。”

过去，工程师可以根据需要选择使用哪些验证技术。“他们可能会说，‘我们不需要进行形式化验证，也不需要过多关注功耗，因为我们的产品并不涉及这些领域，’”Graham表示，“但实际上，每个微芯片都需要从功耗的角度进行考量。它可能不是低功耗设备，但厂商肯定希望优化功耗，尤其是在人工智能时代。每个设备都需要确保其底层某些基本功能的运行正确性。”

大语言模型的训练方式对安全性有着显著影响。“如今的逻辑模型首先要用非常庞大的数据集进行训练，然后通过人机交互进行改进和强化，”Rambus公司安全IP高级技术总监Scott Best表示，“这些系统随后可以利用专门的数据进行进一步训练，成为适用于‘思维链’智能体应用的推理模型，能够以闭环方式根据测量结果生成自身的刺激。”

因此，工程师需要为物理人工智能系统和大语言提供保障。“人可能会走错路，也可能以错误的方式使用它们，所以他们需要确保并防止这种情况发生，”新思科技公司的Saar指出。

用以训练LLM和物理AI的仿真技术

许多物理AI系统，如人形机器人或机器狗，被创造出来是为了作为视障人士和老年人的辅助工具，或协助急救人员。

“当然，就像任何技术一样，机器人也可能被滥用，”亚利桑那州立大学计算机与增强智能学院助理教授、系统学习评估与自然化实验室主任Ransalu Senanayake表示。

LENS Lab的机器人系统最初与大语言模型相连，随后逐步整合计算机视觉（CV）模型和视觉语言模型（VLM），如今已升级为基于视觉-语言-动作模型运行。

“所有这些大语言模型——我称之为大型文档模型——都容易产生幻觉现象，” Senanayake表示，“关键在于实现‘可控幻觉’，即我们能够以新的方式了解它们的思维方式，能够对其进行评估，若存在问题便及时舍弃，若具备价值则进一步推进应用。”

这些大语言模型基于标准模型进行训练，然后根据具体场景进行调整。

同样，英伟达也利用仿真技术来训练其Groot N1开源、可定制的跨实体机器人基础模型。“与可以利用互联网上所有人类知识进行训练的LLM模型不同，目前尚无此类数据可用于训练物理AI模型。获取真实世界的数据成本高昂且可能存在危险，而预训练对于训练像Groot这样的模型来说作用有限，”英伟达Omniverse和仿真技术副总裁Rev Lebaredian表示，“我们需要一种可扩展且经济高效的方式来生成庞大、多样化且物理上精确的数据。”

为此，最新版本的Groot N1.6将采用该公司自主研发的Cosmos Reason世界基础模型（WFM）作为其大脑，使人形机器人能够分解复杂指令，并利用先验知识和常识执行任务。同时，新版本的Cosmos Transfer和Cosmos Predict WFM将赋予人形机器人更大的躯干和手臂活动自由度，从而实现更灵活的移动和操控。“这些模型能够生成数百个富含传感器的虚拟环境用于机器人训练，从而减少对现实世界数据采集的依赖，”Lebaredian表示。

在机器人正式投入使用前，仿真在确保其功能安全方面发挥着关键作用。“因此，构建尽可能贴近真实世界的物理精确模拟器至关重要，这样我们就能在机器人真正投入物理世界、拥有实体之前，在多样化环境中对单个机器人及机器人车队进行数百万小时的模拟运行测试，”Lebaredian指出。

仿真技术对于训练基于物理或受物理信息影响的人工智能尤其有用，例如，这些人工智能需要能够在工厂车间内导航。“物理学非常适合创建合成数据，因为物理本质是恒定的，”Ansys（现为新思科技子公司）产品营销总监Marc Swinnen表示，“这与人员地址、收入或其他非物理数据不同，后者需要真实数据来训练人工智能。我们可以模拟各种物理过程，这正是基于物理的人工智能的优势所在。我们可以在不使用任何客户或第三方数据的情况下，训练人工智能模型并提供给客户。硅材料中的热传导规律始终如一，与客户身份无关，这让整个训练过程更高效便捷。”

结语

自动化技术和各类机器人已在某些行业站稳脚跟，但这仅仅是物理人工智能系统融入日常生活的开端。其终极形态将是：人形机器人与仿生动物机器人拥有亲和的外观，能够在绝大多数地形上灵活移动，并搭载高度定制化的人工智能模型。

随着物理人工智能复杂性的不断增加，安全框架构建至关重要。“我们面临的是海量数据、来自多源的复杂输入数据集、复杂模型与复杂算法，而相关工具本身也具有内在复杂性，”Johnson表示，“除此之外，通用软件栈同样复杂，需要计算密集型硬件来应对这种复杂性的实时处理需求。”

整个行业的相关活动正持续升温。变革即将到来，未来几年，机器人将大规模应用普及，从新奇事物走向日常生活。现在的挑战是如何确保新技术的整合尽可能平稳顺畅。