山东
分享至
IT之家 8 月 26 日消息，英特尔官方今日宣布，Gaudi 2E AI 加速器现已为 DeepSeek-V3.1 提供深度优化支持。
IT之家查询获悉，英特尔 Gaudi 2E 采用 7nm 制程，配备 96GB HBM2E 内存、48MB SRAM，具备 2.4TB 总内存带宽，针对随机访问、线性访问场景进行深度优化，有效避免了 AI 训练或推理任务的延迟。
英特尔表示，Gaudi 2E 具备 24 个完全可编程的张量处理器核心（TPC）、2 个矩阵乘法引擎（MME），拥有卓越的可扩展能力，提供 24 个 100 GbE 端口，支持多卡互联，为用户提供了灵活的、可定制化的解决方案，满足其不断变化的 AI 需求。
英特尔表示，实测数据显示，在英特尔 Gaudi 2E 的支持下，DeepSeek-V3.1 无论是在问答还是编码上，能力都有着显著提升：
- 在部署了 8 张英特尔 Gaudi 2E 的一体机服务器上运行 DeepSeek-V3.1 模型，在输入 / 输出 token 长度均为 1k、多用户并发数为 30 的条件下，每个并发 token 生成速率达到每秒 10 token；
- 在输入 / 输出 token 长度均为 2k、多用户并发数为 28 的条件下，每个并发 token 生成速率达到每秒 10 token。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
