上海
【英伟达详解下一代AI专用Vera CPU 称速度是其他CPU的两倍多】财联社7月21日电，英伟达发文称，DeepInfra的基准测试结果显示，NVIDIA Vera CPU的速度是其他CPU的两倍多，并且能够支持更多并发的AI代理。云平台DeepInfra是NVIDIA开放AI生态系统的早期体验参与者，独立设计并运行了基于其生产型AI代理基础设施的基准测试。DeepInfra每周处理近五万亿个代币，其中约30%由代理系统驱动。其云平台专为高通量AI推理而建。基准测试显示，在相同服务质量下，支持最多1.6倍的并发AI代理，协同速度高达2.2倍，同时提升基础设施利用率和成本效益。这些结果表明，NVIDIA Vera CPU 能够实现生产代理人工智能所需的成本效益、低延迟和吞吐量。 随着AI代理承担更复杂的推理、规划、工具使用和数据流动，CPU性能在围绕每次模型调用的协调工作中变得越来越重要。作为英伟达对AI工厂极端联合设计策略的一部分，Vera CPU专为代理性工作负载设计。DeepInfra的基准测试强调了NVIDIA Vera CPU如何帮助云服务提供商提升基础设施利用率、提高成本效率，并在相同服务质量下支持更多并发的AI代理。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
