北京
【CNMO科技消息】5月11日，据韩媒报道，内存半导体行业在HBM4量产前夕，已正式启动下一代技术HBM-PNM的研究。该技术旨在突破以GPU为中心的架构限制，通过在内存中直接进行计算，推动以计算内存为核心的架构转型。
存储芯片
近日，三星电子、NVIDIA、加州大学圣地亚哥分校、哥伦比亚大学以及延世大学的研究团队发表论文，提出了多芯片粒内存中心架构技术，展示了HBM-PNM技术的实现路径。PNM技术通过在HBM堆叠的逻辑层中配置专用计算单元，实现内存附近的数据直接处理。相较于在内存单元内嵌入电路的PIM技术，PNM能够在保持内存容量的同时，支持更为复杂且强大的计算任务。
目前，大型语言模型在处理长文脉解码时，GPU的计算能力利用率通常不足5%，大部分资源用于内存带宽支持，造成了资源浪费与高能耗。研究显示，NVIDIA的Rubin GPU在处理长文脉任务时，其计算芯片的资源占用率极低。
随着HBM4引入5纳米及以下先进制程的逻辑层，PNM的实现门槛显著降低。研究团队提出的架构方案剔除了传统GPU的计算芯片，通过将16个HBM-PNM单元连接，使封装内内存带宽提升至每秒44TB，达到现有水平的2倍。
图源网络
测试结果显示，该架构在处理100万级长文脉推理任务时，其注意力机制的延迟较NVIDIA H100降低了15.5倍，能耗降低了6.9倍。与Rubin GPU相比，该架构在速度与能效方面也表现出显著优势。研究团队认为，此项研究验证了内存中心架构作为新型计算系统的潜力，未来有望在异构平台中发挥核心作用。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
