北京
人工智能基础设施初创公司General Compute Inc.今天宣布，已获得4亿美元的债务融资。本轮融资由投资机构Upper90承销，它将先向General Compute提供1亿美元，后续资金将根据客户需求的增长分批提取。
与绝大多数AI基础设施供应商不同，General Compute的云平台并没有使用英伟达的图形处理器。它的底层硬件来自AMD的MI300X加速卡以及AI芯片初创公司SambaNova的产品。SambaNova近期刚完成了一轮10亿美元的融资。
大语言模型回答用户提问时，会分成两个步骤：先从提示词中提取含义，称为预填充阶段；然后一个token一个token地生成回复，即解码阶段。解码阶段需要将大量数据在芯片的内存和计算电路之间来回搬运，数据搬运的延迟直接影响生成速度。
SambaNova的芯片在设计上专门压缩了这个延迟。它将内存单元和计算单元紧密放置在一起，物理距离的缩短意味着数据来回跑的时间更少，因此解码速度可以比部分英伟达显卡更快。General Compute正是把解码任务交给了SambaNova的芯片，而预填充阶段则由AMD的MI300X来完成。MI300X集成了12个计算芯片和8个内存堆栈，晶体管总数达到1530亿。
另一个成本优势是散热。MI300X和SambaNova的芯片都支持标准的空气冷却服务器机架。也就是说，General Compute在扩展云端规模时，不用像大多数显卡那样投资昂贵的液冷系统，可以直接用普通风冷设备，从而更快地完成基础设施升级。
目前，General Compute通过两种服务向客户提供推理算力。第一种是托管开源语言模型，提供的应用程序接口与OpenAI的接口风格保持一致，便于开发者快速上手。第二种则是为客户划出专用的、计算能力更强的底层环境。
根据官网公开的文件，General Compute已经签署协议，有权在主机托管设施中购买15兆瓦的风冷机架容量。公司预计这部分基础设施足以支撑第四季度的增长计划。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
