物理AI：先守时序，再谈智能

作者：Mark Lippett，XMOS首席执行官

智能耳机能够抑制列车驶过的噪音，同时清晰保留对面交谈者的人声；配送机器人穿行于人来人往的人行道，当行人突然闯入行进路线时，在距离对方半米处平稳刹停；无人机检测到阵风信号后，仅用时三毫秒就完成姿态调整，稳定保持悬停位置。

以上案例均属于物理AI的成果。但究其本质，这些成果并不单纯依靠AI模型实现。

量产产品与让人眼花缭乱的演示样机的差距不在于电路板载智能本身的先进程度。关键在于一套硬性约束：智能运算的输出必须次次准时到达物理世界，且全程需控制在固定功耗预算之内。时序是物理AI的核心承载约束——一旦时序指标失守，再高的模型精度也无法弥补缺陷。简而言之，物理AI首先是时序问题，其次才是人工智能问题。

时延范围跨越多个数量级

“物理AI”精准概括了一类产品，这类产品面临共同的工程难题：智能指令必须在不可变通的时限内作用于物理世界。该领域覆盖的应用场景十分广泛。无人机避障系统可接受50毫秒的端到端时延；搭载实时语音增强功能的智能耳机的时延目标需控制在10毫秒以内；而同一款耳机内的主动降噪模块，时延指标则达到微秒级别。物理AI不同应用领域的时延要求差距可达三个数量级。

这种差异至关重要。时序约束不能简单归结为单一数值，而是一套设计准则，需要针对不同产品各自的响应时限量身制定。为直观阐释该观点，接下来将以搭载端侧语音增强功能的智能眼镜作为实例展开分析，并从中提炼具备通用性的设计原则。

案例详解：智能眼镜中的语音增强

一款搭载机器学习拾音降噪算法的真无线耳机有明确的端到端时延指标：从麦克风采集声音到输出增强音频，时延约10毫秒。该指标由人耳听觉感知特性与应用底层的低功耗蓝牙音频（BLE LE Audio）帧结构共同决定——一旦时延超出该范围，佩戴者会感觉对话声音不自然。

这10毫秒的预算由一连串处理环节分摊，每一个环节都必须以确定性完成运算：

模型的最高时延预算为3～4毫秒。若一个模型平均运行耗时2毫秒，但最坏工况下达到6毫秒，则无法量产落地。问题不在于模型精度不足，而是频繁超出时延上限，产生能够被人体感知到的异常。在评估模型精度之前，时序预算已成为模型选型的前置约束条件。

单只蓝牙耳机电池容量约60毫安时，目标续航时长为5至8小时。所有端侧运算模块——音频链路、蓝牙射频、传感器、系统开销，整体平均功耗须控制在约10毫安。因此，AI模型不仅需要满足时序预算要求，功耗也必须控制在限定范围内，还需预留功耗资源供给其他功能模块。

这正是时序优先产品工程理念在实际项目中的体现：一系列硬性指标形成约束规范，指标依据产品需要适配的物理条件与人体感知特性制定，且必须在模型架构最终敲定之前就已确定。

除了上述案例，目前已有越来越多物理AI产品实现了落地，例如XMOS新一代VocalFusion® XVF3620 AI语音处理器，是严格遵循物理AI时序优先准则的典型量产产品。该芯片内置高确定性音频处理链路，不仅集成了AI降噪、快速自适应声学回声消除（AEC）、双麦克风波束成形与自动增益控制（AGC）等功能，而且全程严控最坏工况时延、超低时序抖动，完美适配语音交互10ms级严苛时延预算。XVF3620不仅可以用于消费电子产品，也可用于机器人、工业控制和大语言模型输入等多种场景。

案例揭示：时序的三大核心特征

通过上述案例，可以总结出适用于所有物理AI产品的三条通用规律。

关注最坏情况时延，而非平均时延。3～4毫秒的推理预算指的是最坏工况指标。如果一款加速器平均推理仅1.5毫秒，但尾部时延高达8毫秒，即便基准测试数据非常优异，依然无法满足预算要求。硬实时系统的核心特征是每次运行都达标，而非仅半数工况达标。无论设计者是否意识到，物理AI产品本质上都属于硬实时系统。

时序抖动至关重要，时延并非唯一指标。闭环处理流程——BLE编解码帧、主动降噪链路、无人机控制环路等，都要求相邻采样点之间的时序具备可预测性。一套平均时延仅有5毫秒，但时序抖动达到3毫秒的数据链路，其实际性能反而弱于平均时延7毫秒、时序抖动控制在亚微秒级别的方案。通用处理器中用来提升平均吞吐率的架构机制，例如缓存、分支预测、乱序执行，都会损害最坏工况下的可预测性，而这恰恰是物理AI最为看重的特性。

多模态之间的时序一致性。蓝牙耳机配备两枚麦克风，可穿戴设备可能还搭载了惯性测量单元（IMU），机器人则搭载视觉传感器。各路数据流必须实现采样精度级别的时序对齐，这样多传感器融合算法才能基于一致的环境信息运行。时序错位的输入数据，并不会只带来轻微错误输出效果，系统将会基于错误信息，生成看似合理、可信度很高的错误结论。

更大的挑战：子系统之间的时序协同

倘若时序问题仅局限于“模型运算耗时多久”，对应的工程实现难度相对而言还尚且可控。然而更为棘手、也最常被低估的现实挑战是跨系统边界的时序协同。

在智能眼镜中，音频处理链路并非唯一运行的任务。BLE射频协议栈必需以固定周期处理链路层事件。倘若这些任务与推理运算共用同一颗处理器，并以抢占式中断形式处理，将会给音频处理链路引入时序抖动。电容触控、电池监测、热管理功能，各自都需要满足其对应的时序指标要求。

真正的硬性约束很少来源于推理耗时本身，而在于如何协调推理任务与系统内其他并发任务之间的时序关系。通用架构依靠优先级策略和尽力调度机制实现任务管理，这意味着系统的最坏工况表现取决于任意时刻其他任务的运行状态。而面向确定性执行设计的架构，通过为各子系统配置独立内核、硬件级隔离及可预测的输入输出（I/O），就需要从硬件设计开始对跨子系统干扰进行约束，而非单纯依靠软件调度规则。

这正是物理AI与云端AI最显著的分水岭。云端不存在类似无线协议栈在不合时宜的时刻抢占推理任务资源的情况。挑战不在于实现更快的推理速度，而是打造具备隔离能力的推理单元，无论系统的其他任务如何运行，推理都能以确定的时序稳定运行。

作为物理AI的落地产品，XVF3620依托XMOS确定性并行实时架构，从硬件层面实现子系统时序隔离与任务独立调度。不同于传统芯片依赖软件优先级调度、无法规避突发中断抢占的缺陷，XVF3620通过硬件级资源隔离、固定时序I/O与可预测任务执行机制，让语音AI推理、音频编解码、回声处理等高实时任务，与系统监测、触控、射频等并发任务互不干扰。在车流噪音、雷雨环境、空调设备噪音以及嘈杂的酒店商超等复杂真实场景中，既保障多模态音频数据高精度时序对齐，又兼顾低功耗稳定运行，真正实现了物理AI「先守时序、再谈智能」的量产落地标准。

关键衡量指标：加载负载时每焦耳能耗对应的可持续运算能力

各类宣传材料中的性能指标——每秒万亿次运算（TOPS）、每秒浮点运算次数（FLOPS）、峰值吞吐率，描述的仅是处理器在理想工况下短时爆发所能达到的峰值性能。对于电池供电的物理AI设备而言，这类指标虽然很重要，但并不充分，因为真实产品不会在空闲工况下运行，而是在真实干扰、持续加载负载和散热约束条件下运行。

能够真正预判产品实际表现的衡量指标是在真实环境中受到最多干扰的工况下，每焦耳能量对应的可持续运算能力。一款处理器峰值能效可达4 TOPS/W，但在持续推理、射频模块开启与外设频繁调度的工况下，能效可骤降至1.2 TOPS/W；在产品实际工作场景中，其有效能效仅为标称指标的30%左右。与之对比，一款处理器峰值能效为1.5 TOPS/W，并在同等并发工况下仍可维持1.4 TOPS/W，其性能表现更贴近真实应用场景。

对于智能眼镜而言，该指标直接决定电池续航水平。两款产品即便采用性能相近的AI模型、标称芯片资源预算相当，最终的实际续航表现依然可能存在显著差距，而造成差异的关键变量，几乎总是取决于加载真实负载后的持续能效与峰值能效的吻合程度。在这类产品中，电池续航时间长短本质上是时序特性衍生的结果：每一微秒的低效运算或计算中断，最终都会转化为毫安时的电量损耗。

该衡量指标目前尚未成为行业通用公开参数，但理应普及。负责电池供电型物理AI产品的芯片选型团队在做决策时，相比一轮一轮的TOPS或GOPS算力对比，更需要参考这一指标。

从固定顺序到决策准则

时序预算、执行架构与模型选型，三者并非需要严格按顺序来依次做出决策。在实际开发中，三者从项目初期就相互制约。没有团队在制定时序预算时完全不考虑现有模型，也不存在团队在选择模型时全然无视其承载硬件。客观来讲，这套设计方法论属于优先级决策准则，而非线性执行流程。

核心权衡准则为：当时序与模型选型需求产生冲突时，时序优先。模型必须适配预算；硬件架构必须确保满足预算；而预算本身源自产品需要满足的物理条件与人机交互感知特性，这些硬件约束不存在协商妥协的空间。

对于嵌入式工程师而言，这套逻辑并不新鲜，他们对此早已了然于心。这套逻辑的价值在于提供一套清晰完整的理论依据，帮助工程师在企业内部与其他部门争取话语权——例如，产品路线图锚定模型榜单，机器学习团队的考核指标侧重精度指标而非时延特性——这类导向最终决定了打造什么产品。

开篇问题

决定一款物理AI产品成败最核心的、在任何模型定型之前就需要提出的问题：时序预算如何设定？包含最坏工况下的时序、抖动、单次推理的功耗、子系统间的相互干扰等指标；以及采用何种执行架构能够保障指标落地。一旦为上述基础问题找到答案，模型选型工作才有合理依据和实际意义。

物理AI是近十年中影响最为深远的前沿工程领域之一。能够引领行业发展的产品必然建立在一个清晰认知之上：部署于物理世界的智能，首要前提是每次都能准时输出结果，且始终维持在有限的预算之内。时序规则是实现物理AI的根基，人工智能算法需建立在此基础之上。

探秘GenSoC™：开启硬件可编程性的全新未来

XMOS正在定义一个全新的芯片品类——生成式系统级芯片（Generative System-on-Chip，GenSoC）。借助GenSoC，开发者能够通过使用自然语言去描述系统行为，同时保障时序精度与实时运行性能。