山东
分享至
IT之家 3 月 16 日消息，亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布，亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统，带来最快的负载处理速度。
这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器，由 Trainium 芯片负责推理的预填充（提示处理），而 CS-3 则承担解码（输出生成任务），两者通过 EFA 连接在一起。
IT之家了解到，推理预填充属于并行工作负载，要求大算力和适中的内存带宽；推理解码本质上是串行的，算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处，提供最佳的最终用户体验。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
