南京大学类脑智能团队提出“端云融合”智能计算新范式

在通往“万物智能”的道路上，端侧设备算力有限，而端云协同无线传输能耗高、代价大——这正是制约边缘智能大规模落地的核心挑战之一。针对这一难题，南京大学类脑智能科技研究中心与南京大学脑机接口研究院缪峰教授/梁世军教授团队提出并验证了一种端云融合无线协同智能计算新范式。

在硬件层面，该系统将高能效模拟存算一体芯片同时用于神经网络计算与无线信号处理；在训练方法层面，该系统首次将无线通信链路作为可训练模块，联合端侧与云侧神经网络推理模块，一同构成了整体的无线神经网络，通过采用“通信感知训练”方案进行全局优化，在显著提升网络精度的同时，降低了无线通信模块的功耗，提升了系统对通信误码的鲁棒性，为大规模低功耗边缘设备的智能互联提供了新的理论视角与工程路径。相关研究成果以“Communication-aware in-memory wireless neural networks”（通信感知的存内无线神经网络）为题，于北京时间2026年2月25日在线发表在电子学领域顶级期刊《自然·电子学》上。

万物智能时代的算力与能耗困局

随着人工智能技术的蓬勃发展，“万物智联”成为了人们对未来生活的憧憬。在具身智能、脑机智能、物联网等场景下，大量端侧设备与人类不停进行交互，获取到海量的视觉、语音、生理数据，但却受限于有限的功耗和成本，端侧设备难以提供足够算力满足日益增长的智能计算需求。“端云协同”作为有效解决方案，让端侧与云侧设备分别负责神经网络模型中部分推理计算任务，端云通过无线通信传递中间数据，从而以协同的方式完成整个智能任务中的推理计算（如图1所示）。

图1 通信感知训练的存内无线神经网络概念示意图

为实现端云无线协同推理，传统方案长期沿用“分层解耦”设计思路，即端侧设备、通信模组、云端设备分别被独立设计并完成任务。然而，这种“自扫门前雪”的设计思路会导致三类“分离”问题叠加放大能耗开销。第一，存储与计算分离使端侧硬件在神经网络推理中频繁搬运数据，能效受限于冯·诺依曼瓶颈；第二，信号处理与收发分离使无线链路依赖高精度模数转换（尤其接收端模-数转换器（ADC））与复杂的数字基带处理，而ADC功耗随精度提高而快速增长，基带处理任务也随编码复杂度快速提升，令低功耗终端难以承受；第三，也是最容易被忽视的一点——神经网络与无线通信分离：神经网络依赖数据训练去“猜测”最有可能的结果，而通信模块通常被要求“无差错”地传输计算数据。为保证通信的“无损性”往往需要更高的信噪比（更高精度射频链路、更大发射功率）、更低码率编码方式与更复杂的解码链路，从而把无线通信成本推到很高。

因此，面向“万物智联”的边缘智能，迫切需要一种新的无线协同范式：不再把无线通信当作与AI任务无关的外部数据交换管道，而是让通信过程融入神经网络系统中，使得边端与云端通过无线进行协同。进一步，通过在训练层面协同优化，让系统能在保证任务推理精度的前提下，以更低的发射功率、更低功耗的模数转换与计算，支撑海量低功耗终端的智能互联。为此，南京大学类脑智能研究团队从计算硬件、训练方法两个维度出发，大幅度提升了端云无线协同计算的能效水平。

存内计算芯片技术：

赋能端侧高效推理和低功耗无线通信

研究团队基于模拟存内计算芯片构建了神经网络推理系统与无线通信系统（如图2所示），分别用于端侧神经网络模型的推理计算与中间计算结果的无线传输。模拟存内计算技术具有高度并行计算的特点，能够在单步内实现神经网络推理中的复杂矩阵运算；此外，模拟存内计算阵列能够直接在模拟域内高效地处理无线信号，实现高效调制与解调（如图3所示），模拟存算芯片提供的独特模拟信号计算能力显著降低了系统对高精度ADC的依赖。

图2 基于SRAM模拟存内计算芯片构建的神经网络推理系统与无线通信系统原型

图3 端云融合无线协同神经网络推理流程图。a,神经网络推理系统用于执行终端的推理计算，其中的SRAM模拟存算芯片负责加速矩阵运算；b-d,无线通信系统用于中间计算结果的无线传输，其中的SRAM模拟存算芯片负责无线信号的调制与解调。接收到的中间计算结果最后在云端（GPU）完成后续推理过程。

图4 基于模拟存内计算芯片的无线通信原型机

图5 a,采用4 QAM调制方案，基于无线通信系统传输共计507Mb数据，误码率低于1.5‰；b,在取得相同比特误码率的情况下，基于模拟存内计算硬件的调制—解调制方案仅需要1比特有效位数的ADC，而传统方案至少需要4比特的ADC；c,有损通信条件下，无线协同推理的准确率相较于理想准确率仅有微小波动。

图4展示了本方案下的无线通信原型系统。在无线接收机中，相比传统的无线通信系统对无线信号“先量化，再处理”的架构，基于模拟存内计算芯片的无线通信系统实现了“先处理，再量化”的架构，可以在提升处理能效的同时，大幅降低ADC的量化开销。研究团队采用斯坦福大学的街景门牌号（SVHN）数据集，在该原型系统上成功演示了卷积神经网络的无线协同推理任务。网络推理精度接近理想的无损传输系统的精度。相比于传统方案，本研究中提出的调制-解调方案能够极大地降低对ADC精度的需求（如图5所示），最终降低设计与制造成本。

通信感知训练：

让神经网络"理解"无线信道

在训练方法层面，研究团队提出了名为“通信感知训练（Communication-Aware Training，CAT）”的算法—硬件协同优化方案，进一步大幅减低无线通信的能量消耗和硬件成本。传统方案往往假设系统对待传输数据特征及其在接收端的用途一无所知，因此按照不同需求独立设计无线通信模块与神经网络模块。同时，神经网络训练过程中也没有考虑实际部署时的无线通信状况与相应的通信成本，最后导致需要付出大量代价以实现数据的无损传输（误码率为零）。然而在无线协同推理的场景下，该假设不成立——传输数据是神经网络的中间计算结果，在接收端的用途为作为云端部分网络的输入。因此，我们有机会从系统全局出发，实现神经网络和无线通信模块的联合优化。

研究团队提出通信感知无线神经网络主动放弃了无损通信（0误码率），转而主动选择了通信成本更低、更加灵活的有损通信（误码率不为零）。这一选择意味着无需付出高额成本（如加大发射功率以提高信噪比，采用低码率信道编码进行纠错）去强行实现0误码率，而是充分发挥神经网络的容错能力，让系统即使采用有噪音的传输链路依然可以正常工作。基于此思路，研究团队提出了通信感知训练方法，进一步增强端云无线协同计算系统对有损通信链路的容错能力。该方法包含两部分主要内容（如图6所示）：首先，为有损通信过程建立可微数学模型，并集成在神经网络的训练过程中。具体而言，根据通信系统的参数（如信号发射功率，元件精度）将有损通信过程建模为概率性的比特翻转。其次，为神经网络的训练加入额外的优化目标——训练目标同时包含任务损失与通信相关目标，从而在训练时让系统自动学习“通信模块最低用多少代价，整个系统即可实现优秀的网络推理精度”。该方法在训练过程中同时调整神经网络参数与通信系统参数，在降低通信成本的同时提高神经网络模型对于有损传输的鲁棒性。结果显示，即使在较差通信质量（低SNR）的情况下，CAT训练的无线神经网络系统也可以获得较高识别率（如图7所示）。

图6 “通信感知”训练方法。为有损通信过程建立可微数学模型，并集成在神经网络的训练过程中，在训练过程中同时调整神经网络参数与通信系统参数，提升模型精度的同时实现通信成本的降低。

图7 “通信感知”训练方法测试结果。在恒参信道（AWGN信道）条件下，使用通信感知训练（CAT）方法与使用常规训练方法所得模型的无线协同推理准确率对比（基于SVHN数据集）。

此外，研究团队进一步深入拓展CAT方法，增强了通信感知无线网络在各种通信条件下的适用性。通过在训练过程中考虑多种信道条件（平坦衰落、频率选择性衰落）、调制方案（4、16、64-QAM）对应的数据比特翻转模式，使得训练完成的无线协同神经网络在多种不同无线通信环境和调制方式条件下部署均可取得明显的性能提升。结果显示（如图8所示），该方法在多种无线信道条件和调制方式下均明显优于传统训练方法。以信号发射功率为例，考虑时变平坦衰落信道，以最高识别率减10%为可接受最低识别率，使用通信感知训练方法时所需的接收端信号信噪比更低——相较于传统方法平均降低16dB（等价于发射功率降低97.5%）。这种广泛的适用性对于工作在移动场景下、所处无线环境复杂多变的智能终端设备尤为重要。例如可穿戴生理信号监测设备需要在有限功耗内连续采集、处理和传输大量数据，而无线信号传输功耗常常成为瓶颈，利用CAT技术可以大幅度降低无线通信所需能耗，延长设备续航，增强传输能力和系统抗干扰能力。

图8 a-c,不同信道条件和调制方式下的误码率特征分布；d-f,使用通信感知训练方法与使用传统训练方法所得模型在多种无线通信条件下的推理准确率对比（基于ImageNet数据集）。结果显示，使用通信感知训练方法所得模型适用于多种无线信道条件、调制方案。在各种无线环境下，通信感知训练方法均能明显降低通信成本。为了在时变平坦衰落信道下达到一定推理准确率，使用该训练方法所需的接收信号信噪比相比于传统训练方法平均降低16dB，这等价于信号发射功率可以降低约97.5%；在时变频率选择性衰落信道下，该训练方法仍能保证较高的推理准确率，而常规训练方法所得模型无法识别率低于20%。

南京大学物理学院博士生杨再正与智能科学与技术学院助理教授王聪为该工作的共同第一作者，缪峰教授、梁世军教授、王聪助理教授为该工作的共同通讯作者。该工作得到了国家重点研发计划、国家自然科学基金、江苏省前沿引领技术基础研究计划、南京大学“789科技攻关计划”（“类脑芯片与脑机接口关键技术研究”）以及新基石基金会等支持。

来源：南京大学类脑智能科技研究中心

编辑：戚茗秋 马艳蓉

责编：郭安康 王雪纯