传统计算像“仓库和工厂分开,货物来回运输”;存算一体像“在仓库里直接加工”,特别适合 AI 这种数据量巨大、搬运频繁的任务。但它也面临精度、可靠性、工艺、软件生态和量产成本等挑战。
你可以把存算一体理解成:以前是“仓库管仓库、工厂管加工”,数据要从内存仓库搬到计算工厂;存算一体则是把一部分加工能力搬进仓库里,减少搬运,提高效率。
一、基础概念
存算一体
把“存储数据”和“计算数据”放得更近,减少数据来回搬运。存内计算 CIM
Computing-in-Memory,在存储单元内部直接做计算,像在仓库货架上直接加工货物。近存计算 PNM
Processing-near-Memory,把计算单元放在内存旁边,像把加工车间建在仓库门口。内存墙 Memory Wall
计算芯片很快,但数据搬运跟不上,像工厂机器很快,物流卡住了。数据搬运 Data Movement
数据在存储和计算单元之间来回移动,耗电又耗时。冯·诺依曼架构
传统计算机架构,存储和计算分开,像仓库和工厂分在两地。非冯架构
打破存储和计算分离,试图让数据少跑远路。存储器 Memory
存放数据的地方,像计算机的仓库。计算单元 Compute Unit
做加减乘除、逻辑判断的地方,像加工机器。带宽 Bandwidth
单位时间能搬多少数据,像仓库门有多宽。
功耗瓶颈
数据搬运太耗电,AI 计算中“搬数据”有时比“算数据”更费电。延迟瓶颈
数据来回搬运需要时间,像快递路上耽误。吞吐量
单位时间能处理多少数据,像工厂实际产量。能效 Energy Efficiency
每消耗一度电能完成多少计算,像汽车油耗。算力利用率
计算单元真正忙起来的比例,数据喂不够就会闲着。数据密集型计算
数据量大、搬运频繁的任务,比如 AI 推理、搜索、推荐。AI 推理
模型训练好后回答问题、识别图片、生成内容的过程。AI 训练
让模型从海量数据中学习规律,像学生刷题。边缘 AI
AI 在手机、摄像头、汽车等本地设备上运行,不完全依赖云端。低功耗 AI
在电力有限场景下运行 AI,比如智能摄像头、耳机、传感器。
PIM 存储器内处理
Processing-in-Memory,在内存里加入处理能力,减少数据搬出。CIM 存内计算
更强调计算发生在存储阵列内部。PNM 近存计算
计算不一定在存储单元里,但离内存很近。Near-data Processing 近数据处理
在靠近数据的地方处理数据,而不是把数据搬远。In-memory Computing 存内计算
常和 CIM 类似,强调数据在哪里,计算就在哪里做。Compute-near-Storage 近存储计算
常用于 SSD、存储服务器场景,把计算放到存储设备附近。Smart Memory 智能内存
带有一定计算能力的内存,像会自己整理货物的仓库。Smart SSD 智能固态硬盘
SSD 里加入计算能力,能在硬盘附近先处理数据。Memory-centric Computing 内存中心计算
以数据和内存为中心设计系统,而不是只围绕 CPU/GPU。Data-centric Computing 数据中心计算
让计算围绕数据流动优化,目标是少搬数据、多就地处理。
SRAM
芯片内部很快但很贵的存储,像手边的小抽屉。DRAM
电脑和服务器常用内存,容量大但需要刷新,像办公桌。HBM
高带宽内存,常在 AI GPU 旁边,像超宽高速仓库。DDR
常见电脑内存类型,像主流仓库通道。LPDDR
手机常用低功耗内存,像省电版仓库。GDDR
显卡常用显存,适合图形和部分 AI 任务。Flash 闪存
SSD、U 盘常用存储,断电后数据还在。NAND Flash
大容量存储常用闪存,像长期仓库。NOR Flash
常用于存程序代码,读取方便但容量通常较小。NVM 非易失性存储
断电不丢数据的存储,像不会失忆的仓库。
RRAM 阻变存储器
用电阻变化存数据,也可用于模拟存算一体,像用水管粗细代表数字。ReRAM
RRAM 的另一种写法,本质类似。PCM 相变存储器
利用材料晶态和非晶态变化存数据,像冰和水之间切换状态。MRAM 磁阻存储器
用磁性状态存数据,速度快、断电不丢。STT-MRAM
MRAM 的一种,利用自旋转移力矩写入数据。FeRAM 铁电存储器
用材料电极化方向存储信息,像小指南针朝向代表 0 或 1。FRAM
FeRAM 的另一种常见叫法。3D XPoint
曾被用于新型非易失性存储探索,介于内存和存储之间。Memristor 忆阻器
电阻能“记住”过去状态的器件,常被用于类脑和存算研究。eNVM 嵌入式非易失性存储
做在芯片里的非易失存储,像芯片自带小硬盘。
MAC 乘加运算
AI 里最常见的计算:乘一下再加起来,像给商品数量乘单价再汇总。矩阵乘法
AI 模型核心计算之一,像大表格之间批量计算。向量 Vector
一串数字,像一排货物编号。矩阵 Matrix
二维数字表格,像 Excel 表。卷积 Convolution
图像 AI 常用操作,像拿一个小窗口在图片上滑动检查特征。点积 Dot Product
两串数字对应相乘再相加,是神经网络常用基础计算。并行计算
很多计算同时进行,像很多工人一起干活。模拟计算 Analog Computing
用连续物理量计算,比如电压、电流,不完全靠 0 和 1。数字计算 Digital Computing
用 0 和 1 做精确计算,像算盘每颗珠子位置明确。混合信号计算
同时使用模拟和数字方式,像“粗算 + 精算”结合。
模拟存算一体 Analog CIM
用存储单元的电阻、电流等物理特性直接做计算。电阻阵列 Resistive Array
由许多可调电阻组成的阵列,像一大片可调水管网络。交叉阵列 Crossbar Array
横线和竖线交叉形成计算阵列,像棋盘式路网。欧姆定律计算
利用电压、电阻、电流关系完成乘法类计算。基尔霍夫定律计算
利用电流汇总规律完成加法类计算,像多条水流汇到一起。电导 Conductance
电流通过的容易程度,常用来表示权重。权重 Weight
AI 模型里的重要程度参数,像决策时每个因素的分数。模拟噪声 Noise
模拟计算中的干扰,像收音机里的杂音。漂移 Drift
存储器状态随时间慢慢变化,像刻度尺变形导致读数不准。非理想性 Non-ideality
器件不可能完全理想,比如误差、噪声、老化等。
数字存算一体 Digital CIM
在存储附近用数字电路做计算,精度更可控。SRAM-CIM
基于 SRAM 的存算一体,适合高速、低延迟场景。DRAM-PIM
在 DRAM 附近加入计算,适合大容量数据处理。Flash-CIM
基于闪存的存算一体,常用于低功耗 AI 推理探索。Bit-line 位线
存储阵列中传输数据的线路,像货架纵向通道。Word-line 字线
控制存储单元开关的线路,像货架横向通道。Sense Amplifier 灵敏放大器
读取微弱存储信号的电路,像助听器。ADC 模数转换器
把模拟信号变成数字信号,像把水位高度读成数字。DAC 数模转换器
把数字信号变成模拟信号,像把数字命令变成电压。Accumulation 累加
把很多计算结果加起来,像把各个小组成绩汇总。
神经网络 Neural Network
模仿大脑连接方式的 AI 模型,由很多层计算组成。深度学习 Deep Learning
多层神经网络学习数据规律,像层层加工信息。CNN 卷积神经网络
常用于图像识别,适合用存算一体加速部分卷积计算。Transformer
大模型常用架构,涉及大量矩阵计算和数据搬运。Attention 注意力机制
模型判断哪些信息更重要,像读文章时划重点。大模型 LLM
参数很多、能力强的语言模型,数据搬运压力很大。Token
AI 处理文本的小单位,像字词碎片。推理加速
让模型回答问题更快、更省电。边缘推理
在本地设备上完成 AI 推理,比如摄像头识别行人。低比特模型
用更少位数表示模型参数,减少存储和计算压力。
INT8
8 位整数计算,常用于 AI 推理,速度快、功耗低。INT4
4 位整数计算,更省资源,但精度更容易受影响。Binary Neural Network 二值神经网络
权重或激活值只有 0/1 或正负两种,像极简版模型。量化 Quantization
把高精度数字压成低精度,像把高清照片压缩成小图。稀疏化 Sparsity
跳过很多无用或为零的计算,像只搬有货的箱子。精度损失 Accuracy Loss
为了省电省算力,结果可能不如原模型准确。编译器 Compiler
把软件模型转换成硬件能执行的指令,像翻译施工图纸。算法硬件协同
算法和芯片一起优化,像菜谱和厨房设备一起设计。工艺兼容性
存算一体器件能否用成熟半导体工艺量产,决定成本和落地难度。存算一体芯片
把存储和计算深度结合的芯片,目标是更低功耗、更低延迟、更适合 AI 推理。
欢迎加入行业交流群,备注岗位+公司,请联系老虎说芯(加V:tigerchip)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.