生成式AI从云端走向本地部署后,AI PC、迷你主机这些设备上的模型权重、长上下文,还有推理时产生的KV Cache,都开始往硬盘上放,存储的压力随之上来了。近日,ORICO奥睿科宣布将推出FlashMem AI SSD FM9800,一款面向端侧AI负载的PCIe 5.0 M.2固态硬盘,卖点是在常规存储之外多划出了一块AI专用缓存空间。
FM9800采用双分区设计,把空间分成Storage OS常规存储区和AI Cache专用缓存区,两边用独立的磨损策略与读写调度机制。常规区照常放系统、应用和文件,AI缓存区则承接本地AI运行时的模型权重、上下文及推理过程数据。软件上要配合AI存储中间件与Herdsman牧马人本地推理引擎使用,思路是把GPU显存、系统内存和闪存缓存分成三层来调度:不必常驻高速内存的数据下沉到SSD缓存层接盘,等于给内存不够的机器多了一级缓冲。
规格方面,FM9800为M.2 2280形态,PCIe 5.0接口,3D TLC NAND,配套石墨烯散热贴,提供1TB和2TB两个容量,其中AI Cache分别为85GB和128GB,常规存储区则为768GB和1638GB。耐久指标、质保及最终性能以正式上市规格为准。
这块盘显然不是卖给普通电脑用户的,要的是本地跑模型的人,比如AMD锐龙AI MAX 395这类机型内存出厂就定死,跑更大的模型或更长上下文时内存会吃紧;法律、医疗、研发这些场景则想在本地处理合同、病历这类敏感数据,省得往外传。ORICO自己也承认,实际效果取决于主机平台、引擎版本、模型、量化方式及上下文长度等条件。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.