北京
人工智能已经全面融入我们的工作与生活，深度神经网络已经支撑起海量智能应用，成为驱动科技革命与产业升级的核心驱动力。而支撑这一切的底层算法之一，就是误差反向传播(Back-propagation, BP)算法。BP算法的核心流程包含信息前向传播与误差反向传递，其整个运算过程可分解为乘法、加法、非线性函数激活与激活函数的求导等四类基本操作，其中大量乘法运算是造成计算密集与高能耗的主要原因。
中国科学院物理研究所研究/北京凝聚态物理国家研究中心韩秀峰团队认为对激活函数及其梯度进行合理近似或者无偏估计、在不改变网络结构的前提下动态剔除无效节点及与之相关的运算，不失为提升BP算法效率的有效策略。该团队提出一种全新的优化思路：利用自旋轨道力矩磁性隧道结(SOT‑MTJ)的本征物理随机性，通过SOT-MTJ硬件随机采样实现激活函数梯度的概率化近似，构建出更高效的激活函数概率梯度反向传播(p‑GAF‑BP)算法。以往，SOT-MTJ主要用于高性能磁随机存储器(MRAM)研发。通过另辟蹊径，团队注意到SOT‑MTJ还具有连续可调的随机翻转特性——从低阻态翻转到高阻态的概率受外加电流的连续调制，能够将其用作概率可调的真随机数发生器，其高低阻态的涌现概率分布恰与sigmoid等典型激活函数σ高度吻合，可将其用于此类激活函数尤其是其梯度的无偏估计，并通过SOT-MTJ硬件执行此类操作。
图：基于自旋电子硬件采样的激活函数概率梯度反向传播算法。(A) 高势垒自旋轨道力矩磁隧道结(SOT-MTJ)概率翻转特性图。(B) 概率梯度激活函数反向传播(p-GAF-BP)算法中，误差沿采样结果为 (1,0) 的节点进行反向传播。(E-F) BP与p-GAF-BP在 MNIST 数据集识别准确率达 90% 时，反向传播梯度计算所需运算次数 (C) 及对应能耗 (D) 对比。
实验与模拟结果表明，p‑GAF‑BP算法在保持模型精度基本不变的情况下，实现了运算量与能耗的显著降低。在异或门(XOR)逻辑任务中，该算法通过硬件实验成功完成网络训练；在MNIST手写数字识别任务中，包含1至3层隐藏层的网络均达到97%以上的识别准确率，与经典BP算法相当。更重要的是，在达到相同识别精度的条件下，p‑GAF‑BP将梯度计算中的乘法与加法运算量减少约 1个数量级，能耗降低约79%(图(C-D))。
这项工作将自旋电子器件的物理特性与神经网络的基础训练算法深度结合，另辟“硬件‑算法协同”的AI节能训练新范式。未来，随着自旋电子器件的集成化与芯片化，该方法可进一步应用于边缘智能芯片、低功耗训练设备，甚至扩展至大规模Transformer与大模型训练场景，为绿色普惠AI提供支撑。上述研究成果以“Back Propagation Eased by Spintronic-Hardware-Sampled Probabilistic Gradient of Activation Function”为题发表在Newton期刊(https://doi.org/10.1016/j.newton.2026.100520)，并申请相关专利。中国科学院物理研究所M02组博士生徐迎千为第一作者，中国科学院物理研究所韩秀峰研究员、万蔡华副研究员共同通讯作者，该项研究得到了国家重点研发项目(MOST)、国家自然科学基金(NSFC)和中国科学院国际交流计划(PIFI)的资助。
编辑：endlesscliff
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
