- NVIDIA BlueField-4 为 NVIDIA 推理上下文记忆存储平台提供支持,这是一种专为超大规模级推理而设计的新型 AI 原生存储基础设施,旨在加速和扩展代理式 AI。
- 全新存储处理器平台专为长上下文处理的代理式 AI 系统而构建,并具备超快速的长短期记忆功能。
- 推理上下文记忆存储平台可扩展 AI 智能体的长期记忆,并实现了机架规模 AI 系统集群之间的高带宽上下文共享,从而将每秒处理的 token 数量和能效提升高达 5 倍。
- 凭借 NVIDIA Spectrum-X 以太网,多轮 AI 智能体的扩展上下文记忆可提高响应速度、提高每个 GPU 的吞吐量,并支持智能体推理的高效扩展。
![]()
NVIDIA 宣布,NVIDIA BlueField®-4 数据处理器作为全栈 NVIDIA BlueField 平台的一部分,为 NVIDIA 推理上下文记忆存储平台提供支持,这是一种新型 AI 原生存储基础设施,专为 AI 新前沿而打造。
随着 AI 模型扩展到数万亿参数和多步骤推理,它们会生成大量的上下文数据,并以键值(KV)缓存表示,这对准确性、用户体验和连续性至关重要。
键值(KV)缓存无法长期存储在 GPU 上,因为这会成为多智能体系统中实时推理的瓶颈。AI 原生应用需要一种新型的可扩展基础设施来存储和共享这些数据。
NVIDIA 推理上下文记忆存储平台通过扩展 GPU 内存容量,为上下文记忆提供基础设施,实现跨节点的高速共享,与传统存储相比,可将每秒处理的 token 数量和能效提升高达 5 倍。
NVIDIA 创始人兼首席执行官黄仁勋表示:“AI 正在彻底改变整个计算堆栈,现在,存储也加入了这场变革。AI 不再是那种单次交互的聊天机器人,而是能够理解物理世界、进行长期推理、基于事实、使用工具完成实际工作并兼具短期和长期记忆的智能协作伙伴。借助 BlueField-4,NVIDIA 及其软硬件合作伙伴正在为 AI 新前沿重塑存储堆栈。”
以上为新闻摘要内容,如需阅读新闻全文,请访问链接:https://blogs.nvidia.cn/blog/nvidia-bluefield-4-powers-new-class-of-ai-native-storage-infrastructure-for-the-next-frontier-of-ai/
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.