英伟达7月21日表示,AI云平台DeepInfra测试显示,Vera CPU相比其他CPU产品,在AI智能体工作负载下可实现最高2.2倍编排速度提升,并支持最高1.6倍更多智能体并发运行。
DeepInfra表示,其平台每周处理近5万亿Token,其中约30%来自智能体应用。
英伟达称,随着AI智能体承担更多推理、规划和工具调用任务,CPU在模型调用过程中的调度效率将成为AI基础设施性能的重要因素。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.