新型设备或可突破AI内存瓶颈障碍

八层堆叠批量阻变存储器成功运行持续学习神经网络

人工智能长期面临的内存瓶颈问题亟待解决——即使是快速模型也会因为处理器和内存之间的数据传输耗时耗能而受阻。阻变存储器（RRAM）可以通过在内存本身进行计算来规避这一瓶颈。然而，大多数类型的这种非易失性存储器过于不稳定和难以操控，难以实现这一目标。

幸运的是，一个潜在的解决方案正在显现。在12月举行的IEEE国际电子器件会议（IEDM）上，加州大学圣地亚哥分校的研究人员展示了他们能够在一种全新类型的阻变存储器上运行学习算法。

"我们实际上重新设计了阻变存储器，完全重新思考了它的切换方式。"领导这项工作的加州大学圣地亚哥分校电气工程师杜谷·库泽姆（Duygu Kuzum）表示。

阻变存储器通过电流阻抗水平来存储数据。神经网络中的关键数字运算——数组乘法然后求和——可以通过让电流流过阻变存储器单元阵列、连接其输出并测量结果电流来简单地用模拟方式完成。

传统的阻变存储器通过在介电材料的高阻抗环境中创建低阻抗细丝来存储数据。形成这些细丝往往需要对于标准CMOS来说过高的电压，阻碍了其在处理器内部的集成。更糟糕的是，形成细丝是一个嘈杂和随机的过程，并不适合存储数据。（想象一下神经网络的权重随机漂移，同一个问题的答案每天都会不同。）

此外，大多数基于细丝的阻变存储器单元的噪声特性意味着它们必须与周围电路隔离，通常需要选择器晶体管，这使得3D堆叠变得困难。

这些限制意味着传统的阻变存储器并不适合计算。特别是，库泽姆表示，将细丝型阻变存储器用于对当今神经网络至关重要的并行矩阵运算是困难的。

因此，圣地亚哥的研究人员决定完全摒弃细丝。相反，他们开发了能够将整个层从高阻抗切换到低阻抗并再次切换回来的器件。这种被称为"批量阻变存储器"的格式可以摆脱令人烦恼的高压细丝形成步骤和几何限制选择器晶体管。

阵列设计

圣地亚哥团队并不是第一个构建批量阻变存储器器件的，但他们在缩小器件和用其形成3D电路方面取得了突破。库泽姆和她的同事将阻变存储器缩小到纳米级；他们的器件直径仅为40纳米。他们还成功将批量阻变存储器堆叠到多达八层。

通过相同电压的单脉冲，八层单元堆叠中的每个单元都可以取64个阻抗值中的任何一个，这个数字对于传统的细丝型阻变存储器来说是很难实现的。而且，大多数基于细丝的单元阻抗限制在千欧姆范围内，而圣地亚哥的堆叠达到了兆欧姆范围，库泽姆表示这对并行操作更好。

"我们实际上可以将其调整到我们想要的任何地方，但我们认为从集成和系统级仿真的角度来看，兆欧姆是理想范围。"库泽姆说。

这两个优势——更多的阻抗级别和更高的阻抗——可以使这种批量阻变存储器堆叠执行比传统阻变存储器更复杂的操作。

库泽姆和同事将多个八层堆叠组装成一个不需要选择器的1千字节阵列。然后，他们用持续学习算法测试该阵列：让芯片对来自可穿戴传感器的数据进行分类——例如，读取腰部安装的智能手机的数据来确定其佩戴者是在坐着、走路、爬楼梯还是进行其他动作——同时不断添加新数据。测试显示准确率为90%，研究人员表示这与数字实现的神经网络性能相当。

这项测试体现了库泽姆认为批量阻变存储器特别能够受益的领域：边缘设备上的神经网络模型，这些模型可能需要从其环境中学习而无需访问云端。

"我们正在进行大量的表征和材料优化，以设计专门为AI应用工程化的器件。"库泽姆说。

将阻变存储器集成到这样的阵列中的能力是一个重大进步，加利福尼亚利弗莫尔桑迪亚国家实验所的材料科学家阿尔伯特·塔林（Albert Talin）表示，他也是批量阻变存储器研究者，但未参与圣地亚哥团队的工作。"我认为在集成方面的任何进步都非常有用。"他说。

但塔林强调了一个潜在障碍：长时间保留数据的能力。虽然圣地亚哥团队展示了他们的阻变存储器可以在室温下保留数据数年（与闪存相当），但塔林表示其在计算机实际运行的更高温度下的保留能力还不太确定。"这是这项技术的主要挑战之一，"他说，特别是在边缘应用方面。

如果工程师能够证明这项技术，那么所有类型的模型都可能受益。随着传统内存无法跟上大型模型不断膨胀的需求，这个内存瓶颈在这十年中只会变得更高。任何允许模型在内存本身上运行的技术都可能是一个受欢迎的捷径。

Q&A

Q1：批量阻变存储器与传统阻变存储器有什么区别？

A：传统阻变存储器通过在介电材料中创建细丝来存储数据，需要高电压且过程不稳定。批量阻变存储器完全摒弃细丝，通过切换整个层的阻抗状态来工作，避免了高压步骤和选择器晶体管的限制。

Q2：这项技术在实际测试中表现如何？

A：研究人员用1千字节阵列进行持续学习算法测试，让芯片分类可穿戴传感器数据，判断用户是坐着、走路还是爬楼梯等动作，准确率达到90%，与数字实现的神经网络性能相当。

Q3：批量阻变存储器技术面临哪些挑战？

A：主要挑战是数据保留能力。虽然在室温下可保留数据数年，但在计算机实际运行的更高温度环境下的数据保留能力还不确定，这是技术商用化需要解决的关键问题。