H3DFACT：用于全息感知表征分解的异构 3D 集成 CIM

H3DFACT: Heterogeneous 3D Integrated CIM forFactorization with Holographic Perceptual Representations

H3DFACT：用于因式分解的异构3D集成计算存储（CIM）系统，结合全息感知表示

https://arxiv.org/pdf/2404.04173

摘要

将各种感官信号的属性进行解耦是类人感知与推理的核心，也是高阶认知和神经符号人工智能系统的关键任务。一种优雅的方法是通过受大脑启发的向量符号架构，利用高维全息向量来表示这种复杂的因式分解。然而，全息因式分解涉及高维矩阵-向量乘法的迭代计算，并存在非收敛问题。在本文中，我们提出了H3DFACT，这是一种异构3D集成内存内计算引擎，能够高效地对高维全息表示进行因式分解。H3DFACT利用了全息向量的叠加计算能力以及基于忆阻器的3D内存内计算所固有的随机性。在大规模因式分解和感知问题上的评估表明，H3DFACT在因式分解精度和运算能力方面表现出卓越的性能，最高可提升五个数量级，同时相较于同等容量的2D设计，其计算密度提高了5.5倍，能效提升了1.2倍，硅片占用面积减少了5.9倍。

I. 引言

大脑卓越的推理和理解世界的能力在很大程度上依赖于其解耦感官属性的能力。这一复杂的过程涉及将各种感官输入（如视觉、听觉、触觉）分解为不同的感知特征。这种因式分解不仅有助于感知，还为更高阶的认知功能（如问题解决和抽象思维）奠定了基础，因此成为神经符号人工智能（neuro-symbolic AI）[1]–[5] 的关键组成部分。

一种优雅的方法是通过受大脑启发的向量-符号架构（vector-symbolic architecture）[6], [7] 中的高维全息向量来表示这种复杂的因式分解。每个感官属性都使用一个独特的全息向量进行编码和处理，从而创建出独特且可分离的表示。这些表示可以通过一组代数运算进行操作。例如，具有多个属性的对象可以通过逐元素乘法（element-wise multiplication）将所有代表这些属性的向量组合起来描述。而因式分解问题则关注将一个乘积向量分解为其构成的属性向量。当面对复杂的属性结构时，这成为一个困难的组合搜索问题[8]。

全息向量表示的组合特性催生了一种高效的因式分解算法——谐振网络（resonator network），它具备弥合神经符号人工智能认知鸿沟的强大能力，通过接受来自神经网络的感知表示并对其进行因式分解以实现符号推理[9], [10]。谐振网络能够在叠加状态下执行搜索，从而允许同时探索一个乘积的组成元素。这种因式分解过程表现出类似动态系统的特性，参与了一个包含高维矩阵-向量乘法（MVMs）的迭代计算流程。它还依赖随机探索策略来规避潜在的优化周期陷阱。这些特性使得因式分解适用于支持内存内计算（CIM）且本质上具有随机性的计算平台，例如忆阻器设备[11]–[14]。

最近，提出了一种基于谐振网络的内存内因式分解器[15]，其中每个单独的芯片包含一个2D CIM阵列以加速特定的MVM操作。然而，这种方法并未充分利用CIM的潜力；由于每次迭代中不同芯片之间的硅片面积增加和数据通信成本，带来了显著的开销。我们的目标是通过利用新兴存储技术的能力，并结合3D堆叠配置中的多个异构阵列[16]–[18]，实现高效的全息因式分解。

在本文中，我们提出了H3DFACT，这是首个用于高维全息向量表示的异构3D（H3D）集成CIM因式分解器。H3DFACT采用混合存储设计，将模拟RRAM计算与数字SRAM组件相结合。RRAM层用于高效处理MVM操作，并使用传统的技术节点设计，以支持相对较高的编程电压。另一方面，RRAM的外围电路被放置在一个独立的层级上，并使用更先进的节点与SRAM单元集成。通过H3D配置对这些层级进行集成，实现了硅片面积和能效的改进。此外，RRAM存储元件的非确定性增强了因式分解的收敛性和运算能力。与同等容量的2D设计相比，H3DFACT在性能、功耗和面积方面表现出更高的效率。

因此，本文做出了以下贡献：

- 我们提出了首个H3D集成CIM加速器H3DFACT，用于高效且可扩展的高维全息表示因式分解。

- 我们提出了一种混合存储设计，结合了传统节点（40 nm）中RRAM计算的优势和先进节点（16 nm）中数字SRAM组件的优点。

- 我们证明，由于固有的随机性，H3DFACT将因式分解精度和运算能力提高了多达五个数量级，相较于同等容量的2D设计，其计算密度提升了5.5倍，能效提升了1.2倍，硅片占用面积减少了5.9倍。

II. 背景与动机

本节介绍了高维向量操作（第二节-A）用于感知编码和因式分解（第二节-B），并阐述了为因式分解设计的3D集成CIM解决方案的动机（第二节-C）。

A. 高维全息向量操作

在高维全息向量操作中，原子特征和模式可以通过随机生成的向量（称为项目向量，item vectors）进行编码，其中， D 的范围可以达到数千。由于高维向量的随机性和全息特性，这些项目向量是准正交的，即它们彼此不相似，从而能够区分不同的表示特征。这些向量可以通过以下操作进行处理 [19]：

B. 因式分解与谐振网络

我们在此说明如何使用全息向量对对象的组合结构进行编码，以及谐振网络如何通过因式分解解码该结构的内容。以视觉对象的编码为例，这些对象由四个属性 F = 4 表征：形状、颜色、垂直位置和水平位置。如图1a所示，这四个属性分别对应于不同大小为 M 的随机生成项目向量代码簿（codebook）。通过将这些代码簿中的向量进行绑定，可以形成一个对象向量。

谐振网络（因式分解）的工作方向则相反。它试图将一个对象向量分解为其构成的属性向量。提供给该算法的唯一输入是组合的对象向量以及各个属性的代码簿。算法通过组合搜索这些代码簿以找到确切的特征向量。以下状态空间方程描述了这一搜索过程（图1b）：

我们观察到，矩阵-向量乘法（MVM）操作在因式分解算法中占据了大部分的计算时间。如图1c所示，相似性计算和投影步骤中的MVM操作约占总计算时间的80%。这一结果为采用内存内计算（CIM）设计方法提供了明确的动机，因为CIM设计方法能够使MVM操作始终在恒定时间内执行，而不受问题规模的影响。

使用CIM设计方法的另一个动机是解决因式分解精度随问题规模扩大而下降的主要问题。具体来说，我们观察到随着问题规模的增加，因式分解精度显著下降（图1c）。这种精度下降的原因是极限环问题（limit cycle problem），这可能成为大规模因式分解的限制因素[15]。一个有效的解决方案是引入随机性以摆脱极限环，从而探索更大的解空间。CIM设备本质上具有随机性，因此它们为实现这一解决方案提供了自然的方式。

C. 异构3D CIM加速

先前的3D集成硬件设计主要集中在加速卷积神经网络（CNNs）[20]、Transformer模型[16]或单片3D集成[21]。相比之下，H3DFACT处理的是高维认知系统中广泛使用的不同类型的MVM工作负载，并将该因式分解工作负载的不同组件映射到混合RRAM/SRAM存储层级（图1d）。此外，H3DFACT在混合技术节点的设计上提供了灵活性，从而在计算密度、能效和硅片占用面积方面相较于同等容量的2D设计实现了显著改进。

III. 内存内计算原语

本节首先详细介绍了H3DFACT存储层级的电路级视图，包括RRAM（第三节-A）和数字SRAM层级（第三节-B），然后讨论了H3DFACT固有随机性对因式分解收敛的好处（第三节-C）。

A. RRAM层级

图2a提供了RRAM层级的宏观视图，展示了单一层级上的多个阵列。每个阵列都配备了能够在高维双极空间中执行矩阵-向量乘法（MVM）的电路。该电路包括一个专门的“-1计数器”和一个处理双极量的加法器[22]。值得注意的是，现有的用于向量符号架构（VSA）的阵列设计[23]通常无法完全支持双极空间，因为它们经常将双极元素{-1, +1}映射为单比特量，这并不适合需要在其计算流程中累积正负量的因式分解算法。

RRAM的操作涉及使用高电压信号进行设置和复位，因此需要包含隔离开关以保护外围电路免受这些高电压的影响[24]。电压调节通过连接到电源（AVDD）的PMOS器件和运算放大器实现（图2b）。(VTGT) 代表传感路径中的目标感应电压。此外，还引入了一个电流感应电阻（Rsense）以增强工艺-电压-温度（PVT）的抗干扰能力。鉴于RRAM可能会频繁发生电源切换事件，该设计允许不同的断电模式（包括完全关闭），同时使其他层级保持活动状态。这些功能通过使用40纳米技术制造的RRAM芯片进行了实验验证[25]。

B. 数字SRAM层级

RRAM与其外围电路之间的交互通过包括模数转换器（ADC）、加法器和控制器在内的数字电路实现（图2a中的橙色块）。异构集成的优势之一是能够将不同技术节点的系统集成在一起[26]。RRAM与其外围电路之间潜在的面积不匹配导致了RRAM传感的MUX共享[25]。为了充分释放系统性能，H3DFACT中的数字组件采用16纳米先进节点设计，为每个RRAM输出提供一条独立的传感路径。

我们为因式分解中频繁更新的操作采用了混合计算方案，因为RRAM的写操作以其巨大的开销而闻名[27]。该混合计算方案利用XNOR逻辑门执行逐位解绑操作[28]。这是由因式分解中不同时间步长的解绑更新所需的持续内存写操作驱动的。除了混合计算方案外，还有一种混合存储（SRAM近存储）方案，用于在H3D设计中缓冲硅通孔（TSV）数据传输，这将在第四节中进一步说明。为了减少TSV的开销，我们仅在输入和输出端口启用跨层级的连接。例如，连接仅存在于每个RRAM阵列的输入行和输出列上。这种方法遵循了最近的H3D设计，因为过多的TSV不仅会严重损害系统级的PPA（功率、性能、面积），还会降低RRAM的开关比（ON/OFF ratio）[16]。然而，这种方法要求每次仅激活一个RRAM层级。在第四节中，我们将进一步讨论RRAM激活对架构的影响。

C. 随机因式分解器

因式分解确定性搜索的无监督特性可能导致在多次迭代中反复检查相同的解序列，从而阻止了在有限周期内收敛到最优解。受[15]的启发，其中一个关键见解是，与忆阻器设备相关的固有随机性可以显著减少此类极限环的发生。如图2b所示，内存内MVM读取结果产生了一个随机相似性向量，所有工艺-电压-温度（PVT）变化都被聚合在一起。表示在t+1 时间步长下的噪声。硬件随机性使因式分解器能够摆脱可能陷入极限环的困境，从而能够探索更大的解空间，展示了利用器件级动态作为应用性能宝贵来源的潜力。

IV. H3DFACT架构

本节介绍了H3DFACT架构，包括硬件设计、工作负载映射和数据流（第四-A节）、层级间互连（第四-B节）以及平面布局方案（第四-C节）。

A. 提出的H3DFACT架构

因式分解工作负载映射 H3DFACT通过将其计算核心划分为三个层级来实现因式分解，其中相似性计算、投影和数字操作分别位于第3层、第2层和第1层（图3）。这一设计选择与数据以数字或模拟方式传输的事实有关：步骤I是用于相似性计算的解绑结果；步骤II是以模拟电流表示的相似性输出；步骤III是从相似性计算中获得的4位数字结果；步骤IV是来自投影的1位数字数据。从第3层到第1层以及从第2层到第1层的模拟数据传输被认为是可忽略的，因为模拟电流可以通过TSV一次性流动。另一方面，从第1层获得的4位数字相似性结果被传递到第2层进行投影计算，以避免多比特数字值传输降低系统性能。因此，H3DFACT的设计将相似性置于顶层，投影位于中间层，而先进的节点数字电路位于底层。

第2层和第3层RRAM CIM

受[16]的启发，H3DFACT中的单组RRAM外围电路被第2层和第3层RRAM共享，第1层的互连连接到每个层级。因此，这种架构允许在任何时候只有一个RRAM层级处于活动状态。这需要在每个RRAM层级中包含字线（WL）电平转换器以管理它们的激活。图3展示了两个RRAM层级的控制方案。由于外围电路是共享的，跨层级的RRAM字线（WL）、位线（BL）和源线（SL）在垂直方向上有效连接。为了确保一次只有一个RRAM层级被激活，设计中配备了完全关闭功能，非活动的RRAM单元不会对任何列电流产生贡献。

第1层SRAM数字计算

我们在第1层采用SRAM以支持大于1的因式分解批处理大小。假设批处理大小为100，在相似性计算（第3层）之后，相似性输出传播到第1层进行模数转换。如果没有SRAM缓冲，第1层ADC输出信号会被发送到第2层进行投影计算，这将违反单RRAM层级激活的原则，因为第3层仍在为同一批次的数据计算相似性。因此，我们建议在第1层采用数字SRAM作为缓冲区，以支持大批量因式分解计算。

设计方法通用化 H3DFACT架构擅长处理谐振网络的多样化参数。由于谐振网络以高维向量维度D和F（第二节）为参数，H3DFACT配置了硬件维度以确定RRAM阵列的行数d和每层RRAM子阵列的数量f。在本文中，我们设置d=256和f=4作为H3DFACT设计的一个示例。此配置不仅适应指定的向量大小，还通过利用不同的子阵列促进了多个输入的并行处理。

B. H3DFACT中的层级间互连

在表I中，我们概述了H3DFACT设计中层级间互连的参数。这些假设与最近的H3D设计（如H3DAtten[16]）和商业设计（如AMD的3D V-Cache[29]）一致。对于一个具有X行和Y列的RRAM阵列，连接到RRAM外围电路的TSV总数包括X条字线（WL）、(Y)条位线（BL）和(Y/2)条源线（SL）。通常，较大的阵列会减少TSV开销，但其利用率不如较小阵列高。H3DFACT选择在每次迭代中将相似性矩阵存储在同一阵列中，以优化TSV的利用率。鉴于TSV的显著面积成本，我们的H3DFACT设计策略包括模拟CIM和SAR-ADC，以尽量减少TSV的面积需求。在模拟CIM中，MVM操作的部分和以模拟电流形式传输，仅需一组互连即可连接到第1层的ADC。H3DFACT提供了在更先进节点中设计RRAM外围电路的灵活性[16],[30]，因此我们选择为每个RRAM列分配一个4位ADC。为了验证，我们将相似性计算量化为4位，并观察到与8位ADC设计相比，因式分解精度没有下降，同时收敛速度更快（第五-D节）。

C. H3DFACT的平面规划与键合

为了验证H3DFACT的3D堆栈中各层级的面积是否平衡，并为热分析（第五-C节）提供数据，我们对每个层级进行了平面规划近似。CIM阵列及其相关外围电路的尺寸使用经过校准的NeuroSim框架[31]进行估算，该框架已通过实际基于RRAM的CIM宏[25]进行了交叉验证。其他数字模块的面积则从TSMC标准单元库中提取。

图4a展示了H3DFACT RRAM层级的平面规划。每个RRAM子阵列的尺寸为256 × 256大小，每层设计包含四个子阵列。H3DFACT可以通过激活其对应的字线（WL）和位线（BL），在任意特定子阵列中执行RRAM CIM操作。

图4b展示了RRAM外围电路和SRAM数字计算层级的平面规划。内存控制器和缓冲区也被放置在第1层，以避免与其他SoC或封装之间的大量连接，因为外部引脚和C4凸点位于底层[20]。关于层级间TSV的键合技术，我们考虑了面对面（F2F）和面对背（F2B）的混合方案。在F2B集成中，TSV将多个层级键合在一起。由于TSV穿透硅片，存储器的放置或TSV的使用受到限制。而F2F不会带来任何布局和布线限制，但无法仅通过F2F集成实现所有三层的集成[20]。因此，我们的三层H3DFACT设计需要结合F2F和F2B的层级间连接方式。

V. H3DFACT评估

本节对H3DFACT在因式分解和全息感知系统中的表现进行评估。我们展示了H3DFACT在因式分解精度和运算能力（第五-A节）以及硬件效率（第五-B节）方面的改进。我们还分析了H3DFACT的热行为（第五-C节），通过RRAM硅芯片验证说明了H3DFACT的鲁棒性（第五-D节），并演示了其在视觉感知任务中的作用，同时讨论了潜在应用（第五-E节）。

A. 精度与运算能力

精度提升 表II比较了H3DFACT与基线谐振网络[9]在不同属性数量F和码向量D下的因式分解精度。尽管基线谐振网络和H3DFACT在较小的维度MD下均能达到99%的精度，但可以清楚地观察到，H3DFACT在高维度下显著提升了精度，并保持了99%的精度，这表明其在更大规模因式分解问题上的可扩展性得到了改善。

运算能力提升 表II还显示了解决给定问题规模所需的迭代次数，要求精度至少达到99%。与基线谐振网络[9]相比，H3DFACT实现了更快的收敛速度，并能够在99%的精度下解决比基线大五个数量级的问题规模，这表明H3DFACT能够通过提升运算能力来降低计算复杂度。这一观察结果与基于CIM的因式分解器设计[15]一致。

B. 硬件效率

单片2D基线设计设置 我们通过将H3DFACT与两种不同的2D架构进行对比，评估其优势：一种是混合RRAM/SRAM设计，另一种是纯SRAM设计（表III）。对于混合2D设计，所有模块均使用40纳米工艺节点集成，以适应统一的2D结构中的RRAM技术。相比之下，全SRAM设计将所有模块扩展到更先进的16纳米节点。我们在所有设计中保持相同的计算资源和参数，以确保公平比较。

硅片占用面积减少 表III显示，全SRAM设计在2D中需要0.114 mm²的面积，所有组件均采用16纳米工艺。尽管没有TSV开销，2D RRAM/SRAM混合设计仍因当前RRAM制造技术的限制而占用高达0.544 mm²的面积。相比之下，H3DFACT通过先进节点缩放和垂直集成实现了更紧凑的0.091 mm²占用面积。即使考虑到所有三个层级，H3DFACT仍分别比全SRAM设计和混合2D设计减少了1.25倍和5.97倍的总硅片成本。

计算密度和能效提升 与2D设计相比，由于TSV和混合绑定引入的寄生电容，H3DFACT的工作频率略低，因此导致吞吐量略有下降。然而，如表III所示，通过将数字组件和RRAM外围电路从40纳米缩放到16纳米，H3DFACT仍展示了1.2倍的计算密度和1.2倍的能效提升。与所有模块均设计为16纳米的2D全确定性数字SRAM基线相比，H3DFACT仍实现了相当的能效，同时由于固有的随机性，计算密度提高了5.5倍，因式分解精度提高了3.5%（图2c）。

与其他因式分解加速器的对比 与最近基于PCM的内存内因式分解[15]相比，H3DFACT通过3D堆叠和更高的计算密度，在相同硅片面积下实现了1.78倍的吞吐量和1.48倍的能效，且因式分解精度>99%。

C. 热评估

热分析 我们利用HotSpot[32]工具对H3DFACT进行热分析，根据各自的平面布局（图4）为每个组件分配功率密度。我们的芯片级热设置包括混合键合和TSV连接第1-3层、C4凸点连接第1层到封装，以及顶部用于冷却的热界面材料（TIM）。参数总结在图5中，并与最近的设计[16]一致。如图5所示，H3DFACT的各层级温度范围为46.8°C至47.8°C，而2D设计为44°C。由于中心区域冷却效果更好，而每个宏单元的高功率密度位于南部区域，因此可以预见，芯片南部区域存在轻微的温度升高。重要的是，H3DFACT使用的3D堆叠方法并未影响RRAM的可靠性，因为RRAM的保持性能在超过100°C时才会受到不利影响[33]。

D. 鲁棒性评估与芯片验证

收敛速度提升 降低ADC精度可以减少硬件成本，并加快全息感知因式分解的收敛速度，同时保持相似的精度。如图6a所示，在对相似性计算应用低精度4位ADC后，因式分解在第10次迭代时达到99%的精度，而使用8位ADC则需要30次迭代。这是因为在降低精度时引入了量化随机性，这防止了因式分解器陷入极限环，并帮助其在更短时间内收敛到正确的因式分解结果（图2c）。

RRAM测试芯片验证 我们在制造的40纳米RRAM测试芯片上验证了所提出的H3DFACT设计的有效性[22],[25]。我们通过测量读出信号从RRAM测试芯片中提取固有噪声参数，并将其统计特性纳入开发的全息感知因式分解框架中。我们还相应调整了阈值，因为设计的读出外围电路能够改变读出电压（图2中的 VTGT）。如图6b所示，经过RRAM测试芯片验证的H3DFACT设计在一次运行中实现了>96%的因式分解精度，并在25次迭代后达到99%的精度。

E. 全息感知任务评估

全息感知精度 图7展示了H3DFACT在视觉感知任务中解耦原始图像属性的作用。该系统由两部分组成：一个神经网络将输入图像映射到全息感知向量，以及H3DFACT使用一组已知的图像属性（例如类型、大小、颜色和位置）对近似乘积向量进行解耦。在关系与类比视觉推理数据集（RAVEN）[34]上进行评估时，H3DFACT实现了99.4%的属性估计精度。

可扩展至其他应用 H3DFACT不仅在视觉感知中表现出色，因式分解在感知和认知中也起着基础性作用（例如类比推理、树搜索和整数因式分解）。这种分层认知能力可以潜在地应用于需要高度鲁棒性的自主系统中[35]-[37]。我们设想H3DFACT将为下一代神经符号人工智能系统解决复杂的组合搜索和分层认知问题铺平道路。

VI. 结论

H3DFACT是首个实现高效且可扩展的高维全息向量因式分解的H3D集成CIM设计。H3DFACT利用了叠加计算能力、新兴存储技术以及固有的硬件随机性，在因式分解精度和运算能力方面持续提升，相较于同等容量的2D设计，其计算密度提高了5.5倍，能效提高了1.2倍，硅片占用面积减少了5.9倍。我们预计H3DFACT将在探索其他强大且高效的认知和神经符号AI系统中发挥重要作用。

原文链接： https://arxiv.org/pdf/2404.04173