一种用于高维分类的感知学习的动态编码方法

Disthd: A learner-aware dynamic encoding method for hyperdimensional classification

DistHD：一种用于高维分类的感知学习的动态编码方法

DistHD- A Learner-Aware Dynamic Encoding Method for Hyperdimensional Classification2304.05503v1

https://arxiv.org/abs/2304.05503

摘要
物联网（IoT）已成为一种新兴趋势，能够连接异构设备并赋予它们新的能力。许多应用利用机器学习方法来分析收集到的数据，而边缘计算被引入以提高资源受限计算环境中的效率和可扩展性。然而，流行的深度学习算法涉及大量复杂的计算，对于边缘设备来说过于复杂。受大脑启发的高维计算（HDC）被认为是一种有前途的方法来解决这一问题。然而，现有的HDC方法使用静态编码器，因此需要极高的维度和数百次训练迭代才能达到合理的准确率。这导致效率大幅下降，严重阻碍了HDC算法在功耗受限设备中的应用。
在本文中，我们提出了DistHD，这是一种具有独特动态编码技术的新型HDC框架，包含两部分：Top-2分类和维度再生。我们的Top-2分类基于余弦相似性为每个数据样本提供Top-2标签，而维度再生则识别并重新生成误导分类并降低学习质量的维度。DistHD的高并行算法有效加速了学习过程，并以显著较低的维度实现了所需的准确率。我们在一系列实际分类任务上的评估表明，DistHD平均比最先进的HDC方法（SOTA）高出2.12%的准确率，同时将维度降低了8.0倍。它比SOTA学习算法的训练速度快5.97倍，推理速度快8.09倍。此外，高维空间中模式的全息分布使DistHD比SOTA深度神经网络（DNNs）具有12.90倍的抗硬件错误能力。DistHD已经开源，以促进该领域的未来研究。

索引词——高维计算、类脑学习、分类、机器学习

I. 引言

物联网（IoT）因其非凡的潜力而成为一种新兴趋势，能够连接各种异构智能传感器和设备，并赋予它们新的能力。许多物联网应用利用机器学习（ML）算法来分析收集到的数据并执行学习和认知任务。然而，流行的机器学习方法（包括深度神经网络，DNNs）的出色学习质量往往是以高计算和内存需求为代价的，这些方法涉及数百万个参数，需要在多个时间段内进行迭代优化[1]。一种常见的方法是利用云计算，将数据从网络边缘发送到云端的集中位置进行处理。不幸的是，这种潜在的解决方案导致了显著的效率损失、多个可扩展性问题以及严重的隐私问题[2]。边缘计算作为一种新型计算范式，通过在数据源附近进行计算来解决这些问题。然而，如何在计算能力较弱的平台上适应传统学习方法的高资源需求仍然是一个亟待克服的关键挑战[1]。鉴于当今信息量的日益庞大、嵌入式设备的功耗和内存限制以及物联网系统的潜在不稳定性，开发一种更轻量级、高效且鲁棒的学习算法是绝对必要的[3]。

与传统人工智能方法相比，高维计算（HDC）被认为是一种适合于计算能力较弱平台的有前途的学习方法，因为它具有（i）高计算效率，能够实现实时学习[4]；（ii）对噪声的强大鲁棒性——这是物联网系统的关键优势[5]；以及（iii）轻量级硬件实现，能够在边缘设备上高效执行[6]。如图1（a）所示，HDC的动机来自于神经科学的观察，即人脑的小脑皮层能够轻松高效地处理记忆、感知和认知信息，而不必担心嘈杂或损坏的神经元。HDC紧密模仿人脑的信息表示和记忆功能，将低维输入编码为具有10⁴或更多元素的超向量以执行各种学习任务，如图1（b）所示[7]。HDC随后进行高度并行且明确定义的操作，并已被证明在分类和回归学习任务中能够以与最先进的深度神经网络（DNNs）和支持向量机（SVMs）相当的准确率实现高质量的结果。此外，HDC提供的显著更快的收敛速度和更高的效率为当今存储、电池和资源有限的嵌入式设备提供了一种强大的解决方案[4]–[6]。

尽管HDC的发展取得了巨大成功，如图2（a）所示，现有的HDC算法需要极高的维度（D）才能超越DNNs。因此，不仅由于大量不必要的计算导致学习效率大幅降低，而且由于数据量增加和通信成本增加，系统效率也受到影响[5]。这严重阻碍了HDC在资源受限的计算设备中的可行性和可扩展性，特别是对于涉及大量数据且需要实时分析的学习任务。我们观察到，主要原因之一是现有的HDC方法的编码模块缺乏在训练过程中利用和适应所学信息的能力。相比之下，如图1（a）所示，人脑中的神经元会不断动态变化和再生，并在学习新信息时提供更有用的功能[8]。尽管HDC的目标是利用随机生成的基础超向量的高维性来将信息表示为神经活动的模式，但现有的HDC算法要实现类似大脑神经再生的行为仍面临挑战。

对最先进的HDC方法的一个有趣观察是，它们在Top-2分类中的准确率和收敛速度明显高于Top-1分类，如图2（b）所示。在这里，我们定义对于给定数据点的Top-k分类，如果真实标签是所选的k个最相似类别之一，则该分类是正确的。此外，Top-2分类与Top-3分类之间的准确率差异明显小于Top-1分类与Top-2分类之间的差异。基于这一观察，本文提出了一种新的HDC框架DistHD，它采用了一种创新的编码技术，能够在每次训练迭代中利用和适应所学信息。DistHD旨在识别那些误导分类并降低学习准确率的维度，并重新生成这些维度以对学习质量产生更积极的影响。本文的主要贡献如下：

• 我们提出了一种新颖的HDC动态编码技术，结合了Top-2分类和维度再生优化。据我们所知，DistHD是第一个具有动态编码模块的HDC算法，能够识别并重新生成那些损害分类准确率的维度，以提高学习质量。DistHD平均比最先进的HDC算法高出2.12%的分类准确率，同时将所需的维度数量减少了8.0倍。这确保了在资源受限的设备上对分类任务的准确执行。

• DistHD的高度并行和矩阵化操作确保了在高性能和资源受限的计算环境中执行分类任务时的显著加速。DistHD的训练速度比最先进的DNN快5.97倍，推理速度比最先进的HDC算法快8.09倍。

• 高维空间中模式的全息分布使DistHD具有显著更高的鲁棒性。我们提出的模型平均比最先进的DNNs具有12.90倍更高的抗硬件错误能力。这确保了在嘈杂的物联网设备上对分类任务的有效执行。

本文的其余部分安排如下：在第二部分，我们简要介绍基于边缘的学习和高维计算（HDC）的最新研究进展。随后在第三部分，我们详细阐述我们提出的方法。在第四部分，我们从准确率、效率和抗噪声鲁棒性方面评估我们的模型。最后在第五部分，我们总结我们的工作。

II. 相关工作

A. 物联网与基于边缘的学习

物联网的快速发展催生了许多关于基于边缘学习的可行性和可扩展性的创新工作。先前的研究表明，机器学习算法（包括深度神经网络）有可能被定制用于边缘计算设备上的学习。为了在边缘设备上实现学习，已经开发了各种框架和库，包括TinyML [9]、TensorFlow Lite [10]、edge-ml [11]、X-Cube-AI [12]等。这些框架均为基于机器学习或深度学习的工具。其中许多学习方法需要大量的训练样本和较长的训练周期，可能无法满足超低功耗边缘平台的严格限制。另一方面，人们提出了利用学习结构和目标平台特性来提高边缘学习效率的技术。代表性方法包括分裂计算 [13]、联邦学习 [14]、[15]、知识蒸馏 [16]等。这些技术与我们的方法正交，有可能与我们的学习解决方案集成。

B. 高维计算

先前的研究在高维计算（HDC）的各种应用中取得了巨大成功，例如类脑推理 [17]、生物信号处理 [18] 和人类活动识别 [19]。也有少数研究致力于开发新的架构以加速HDC推理任务 [20]。然而，流行的HDC方法使用预先生成的静态编码器，因此需要极高的维度才能达到可接受的准确率 [21]。NeuralHD [7] 是一种最近提出的动态编码方法，通过消除对区分模式影响较小的维度成功地压缩了维度。然而，其提出的模型比最先进的HDC算法 [6] 需要更长的时间才能收敛，并且缺乏一种有效的技术来利用训练过程中学到的信息来增强其编码模块。相比之下，我们提出了DistHD，旨在充分利用每次迭代中学习到的信息，并以更快的收敛速度和更低的维度实现足够的准确率。

III. 方法论

流行的高维计算（HDC）算法使用静态编码技术，其中预先生成的基础向量缺乏适应训练过程中学到的信息的能力。我们提出的DistHD的目标是有效地利用每次训练迭代中学习到的信息，识别降低学习质量的维度并重新生成它们。如图3所示，DistHD首先根据数据类型使用现有的编码方法将数据点编码到高维空间（A）。然后，DistHD进行两个创新步骤：Top-2分类和维度再生，以使其编码模块和基础向量能够适应每个部分训练的模型。在每次Top-2分类迭代中，DistHD首先在编码数据上应用一种高效的自适应学习算法（B），然后利用部分训练的模型计算每个数据点的两个最相似类别（I）。在维度再生中，我们根据Top-2分类的结果计算两个距离矩阵（K），并识别（N）和消除（Q）误导分类任务的不期望的维度。为了进一步提高学习质量，我们重新生成这些维度（P），以对分类产生更积极的影响。需要注意的是，本节中的所有操作都可以以高度并行的矩阵方式进行，因为多个训练样本可以被组合成一个行超向量矩阵。

A. HDC基础

受人脑中高维信息表示和记忆功能的启发，HDC将输入映射到高维空间作为超向量（A），每个超向量包含数千个元素。高维空间的一个独特属性是存在大量几乎正交的超向量，这使得能够进行高度并行的操作，例如相似性计算、捆绑和绑定。从数学角度来看，考虑随机双极超向量H1和H2，维度为D，即H1、H2 ∈ {−1, 1}^D。当D足够大时，点积H1·H2 ≈ 0。相似性：计算查询超向量与类别超向量之间的距离（记作δ(·,·)）。对于实值超向量，一个常见的度量是余弦相似度，即

B. Top-2 分类

如第 I 节所述，最先进的高维计算（HDC）算法在 Top-2 分类中表现出色，而在 Top-1 分类中表现相对较弱。受此启发，我们提出的 DistHD 首先使用一种高效且轻量级的自适应学习算法对模型进行训练（G, H），并在每次迭代中利用部分训练的模型来识别每个数据点的两个最相似类别（I）。通过这种方式，我们可以识别出误导模型选择错误标签的维度（N），并重新生成这些维度以提高准确率（P）。

自适应学习：如算法1所示，我们的自适应学习从将训练数据编码到高维空间开始，通过训练数据和基础向量的矩阵乘法实现（第1行）。为了减少模型饱和度，我们根据每个数据点为类别超向量添加的新信息量，为其分配适当的权重，从而对编码的数据点进行捆绑。例如，对于一个新的编码训练样本H，我们根据其与所有类别超向量的余弦相似度（公式（1））更新模型（第3行）。如果H与类别Li的余弦相似度最高，而它的真实标签实际上是Lj，那么模型将按照算法1的第7-8行进行更新。较大的δl值表示输入数据点是常见的或已经存在于模型中，因此通过添加非常小部分的编码查询（1 - δl ≈ 0）来更新模型。相反，较小的δl值表示一个显著的新模式，这种模式不常见或尚未存在于模型中，因此会以较大的因子（1 - δl ≈ 1）更新模型。

C. 维度再生

权重参数：我们在算法2中计算距离矩阵 M 和 N 时定义了权重参数 α、β 和 θ。其中，α 用于调整远离正确标签的维度的权重，而 β 和 θ 用于调整接近错误标签的维度的权重。具体来说，较大的 α 值通过降低数据样本未被分类到其真实标签的概率（即假阴性率，FNR）来提供更具敏感性的结果。相反，较大的 β 和 θ 值通过降低数据样本被错误分类到错误类别的概率（即假阳性率，FPR）来提供更具特异性的结果。从数学上讲，敏感性和特异性定义为：

权重参数可以根据不同学习任务的多样化需求进行调整。我们在第IV-B节中展示了敏感性与特异性之间的权衡。

IV. 实验结果

A. 实验设置

我们使用CPU（Intel Core i9-12900）在广泛使用的机器学习数据集（见表I）上评估了我们提出的DistHD学习框架的有效性。DistHD代码使用Python和NumPy编写，并针对性能进行了优化。我们从准确率、训练和推理效率以及对硬件噪声的鲁棒性方面，将DistHD与最先进的深度神经网络（DNNs）[27]、支持向量机（SVMs）[28]以及最先进的HDC算法[21]进行了比较。我们还将DistHD与NeuralHD[7]进行了比较，NeuralHD是一种最近提出的用于HDC的动态编码技术，旨在降低维度。

B. DistHD准确率

DistHD与SOTA机器学习算法的比较：我们将DistHD的分类准确率与最先进的学习算法进行了比较，包括最先进的深度神经网络（DNNs）和支持向量机（SVMs）。SOTA DNN算法使用TensorFlow [27]进行训练，而SVM使用scikit-learn库[28]进行训练。我们采用网格搜索的常用方法来确定每个模型的最佳超参数。如图4所示，DistHD的准确率与SOTA DNN相当，并且比SVM高出1.17%。

DistHD与SOTA HDC算法的比较：我们将DistHD的准确率与无法再生维度的SOTA HDC算法（baselineHD）[6]以及最近提出的一种使用动态编码器的HDC学习方法（NeuralHD）[7]进行了比较。baselineHD的结果报告了两个维度：（i）NeuralHD和DistHD的物理维度（D=0.5k），这是一种为资源受限计算设备设计的压缩维度；（ii）有效维度（D∗=4k），定义为DistHD的物理维度（D）与在整个重新训练迭代中通过再生获得的维度之和。从数学上讲，D∗=D+D×R%×迭代次数，其中R是再生率。我们训练每个HDC模型直到收敛。如图7所示，由于缺乏充分利用训练过程中学到的信息的能力，baselineHD和NeuralHD的收敛准确率低于DistHD。如图4所示，DistHD（D=0.5k）的平均准确率比baselineHD（D=0.5k）高出6.96%，比NeuralHD（D=0.5k）高出1.88%。此外，DistHD的准确率比baselineHD（D∗=4k）高出1.82%。这表明DistHD能够在将物理维度平均降低8.0倍的同时，超越SOTA HDC的准确率。

敏感性与特异性的权衡：我们在图6中使用ROC曲线和ROC曲线下面积（AUC）展示了敏感性与特异性之间的权衡。对于两组显示出相当准确率和AUC的参数，随着特异性的降低，具有较大α值的模型显示出更急剧的敏感性增加，并且更有可能为分类任务提供更高的敏感性。相比之下，具有较大β值的模型在敏感性增加时损失的特异性更少，并且更有可能提供具有更高特异性的结果。我们可以根据学习任务的不同需求调整权重参数，以获得最佳结果。

C. DistHD效率

为了公平性，我们比较了SOTA DNN、SVM、baselineHD（D∗=4k）、NeuralHD（D=0.5k）和DistHD（D=0.5k）的训练和推理效率，因为它们根据图4达到了相当的准确率。如图5所示，对于PAMAP和DIABETES等大型数据集，SVM在训练和推理上都花费了显著更长的时间。DistHD的效率显著高于SOTA DNN（训练快5.97倍，推理延迟相当）、SVM和SOTA HDC（训练快1.15倍，推理快8.09倍）。与NeuralHD相比，DistHD在训练上也实现了2.32倍的加速。DistHD之所以能达到如此高的训练效率，是因为它比其他HDC算法需要明显更少的迭代次数和更低的维度就能达到收敛，如图7所示。此外，由于DistHD需要显著更低的维度，从而有效加速了查询向量的编码过程和相似度分数的计算过程，因此DistHD的推理延迟较短。

D. DistHD对硬件噪声的鲁棒性

DistHD的一个主要优势是其对噪声和故障的高鲁棒性。在DistHD中，每个超向量的信息存储在其所有组件中，因此没有一个组件比另一个组件更多地负责存储信息，这使得每个超向量对错误具有鲁棒性。在这里，我们通过展示在不同硬件错误百分比下DNN和DistHD的平均质量损失，比较了DistHD和DNN对硬件噪声的鲁棒性，如图8所示。错误率指的是存储DNN和DistHD模型的内存中随机位翻转的百分比。为了公平起见，所有DNN权重都量化为其有效的8位表示。在DNN中，随机位翻转会导致显著的质量损失，因为对最高有效位的损坏可能会导致权重发生重大变化。相比之下，由于其在高维空间中对模式的冗余和全息分布，DistHD对噪声具有显著更高的鲁棒性。此外，所有维度都平等地贡献于存储信息，因此部分数据的故障不会导致整个信息的丢失。

DistHD使用具有4k维度的超向量，在1位精度下表现出最大鲁棒性，平均比DNN高出12.90倍的鲁棒性。提高精度会降低DistHD的鲁棒性，因为对更显著的位进行随机翻转会引入更多的准确度损失。例如，在硬件中10%的位翻转情况下，使用1位精度和4k维度的DistHD分别比使用8位精度且维度相同的DNN和DistHD高出10.35倍和4.13倍的鲁棒性。此外，更高的维度由于信息分布更冗余和全息化，从而提高了DistHD对噪声的鲁棒性。例如，在10%的硬件错误下，使用4k维度和8位精度的DistHD比使用0.5k维度且位宽相同的DistHD高出1.43倍的鲁棒性。

V. 结论

在本文中，我们提出了DistHD，这是一个准确、高效且鲁棒的高维计算（HDC）学习框架。凭借强大的动态编码技术，DistHD能够识别并重新生成那些误导分类并降低学习准确率的维度。我们在广泛使用的机器学习数据集上的评估表明，DistHD的平均准确率比最先进的HDC算法高出2.12%，并且将维度降低了8.0倍。DistHD在训练和推理效率方面也显著优于最先进的深度神经网络（DNNs）和HDC算法。此外，高维空间中模式的全息分布使DistHD的鲁棒性比最先进的DNNs高出12.90倍。DistHD的性能使其成为边缘平台的杰出解决方案。

原文链接：https://arxiv.org/abs/2304.05503