河南
快科技10月27日消息，Intel锐炫B580 12GB显卡在运行1250亿参数AI模型时，使用开源推理引擎XeStrata达到每秒31.1 tokens，相比原版Strata的10.9 tokens/s快近3倍，且未更换硬件。
PC Watch测试用的是华擎B580 挑战者12GB OC显卡，搭配酷睿Ultra 5 250KF Plus处理器和64GB DDR5内存，系统为Ubuntu 26.04 LTS。模型为Qwen3.8-Flash-Next，采用IQ3_S量化、64K上下文和8位KV缓存。
12GB显存自然装不下整个125B模型，Strata和XeStrata都支持同时调用GPU和系统内存，本次量化配置需要约50GB系统内存，也就是64GB内存是能跑通的前提。
XeStrata是Strata的衍生分支，针对支持的GPU架构做了额外优化，包括用Intel GPU的XMX矩阵硬件跑部分运算。测试使用Strata 0.2.1和XeStrata 0.1.43-2 Ubuntu包，同一模型同一配置下对比。
不过速度差异中多少来自哪项优化无法逐一确认，结果只是同一电脑上两套软件配置的对比，不能说明某项技术贡献了全部提升。测试也仅涉及文本生成吞吐量，不代表提示词处理、响应延迟或模型精度也有同等提升。
31.1 tokens/s的速度虽然可观，但运行大模型依然吃力，PC Watch认为B580扛不住更重的智能体类工作负载，这类场景需要更强GPU、更多显存和更长上下文窗口。
同一硬件上换一套推理引擎，生成速度差了一大截，对于本地跑大语言模型的用户，软件选择和显存、系统内存一样重要。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
