北京
如何让昆仑XPU流畅运行最新的Qwen3.5和Gemma4？社区维护的硬件插件正在用快速的版本迭代给出答案。该项目于2025年12月首次开源，短短半年已完成多次重要更新，最新的v0.25.1开发版本更是将模型支持列表大幅扩展。
这一插件旨在让推理引擎无缝运行在百度昆仑XPU上，遵循社区RFC硬件可插拔设计原则，通过Python入口点以标准平台插件形式工作，用户无需修改源码即可接入昆仑后端。这种设计天然保证了迭代的灵活性：昆仑团队可以独立发布适配版本，同时持续从主线的模型支持与推理优化中获益。
根据更新日志，正在开发中的v0.25.1预计将带来一系列重磅模型支持。通义千问Qwen3.5和Qwen3.5-MoE的加入，意味着昆仑用户可以直接在本地XPU集群上体验阿里巴巴最新的大语言模型。谷歌的Gemma4也会以文本和多模态两种形态登陆昆仑平台，而GLM系列将通过MoE DSA（动态稀疏注意力）机制进一步提升推理效率。此外，推测解码方面也会新增DFlash风格的提议器，为低延迟生成提供更多选择。
事实上，模型阵容的拓宽并非从v0.25.1才开始。回溯到2025年12月的v0.11.0正式版，项目已经纳入了Qwen3-Omni、Qwen3-Next以及Seed-OSS等模型。
更早的v0.10.1.1版本更是放出了超过5款多模态模型，同时为稠密模型引入了AWQ和GPTQ量化，并首次搭载了Piecewise Kunlun Graph硬件加速图、V1引擎以及基于Flash-Infer的Top-K/Top-P采样，该采样方式在特定场景下可获得10到100倍的速度提升。目前，整个方案已宣称支持20多款主流大语言模型，覆盖Transformer类、混合专家（MoE）、嵌入以及多模态等架构，包括Qwen、Llama、DeepSeek、GLM、Gemma4、Kimi-K2等热门模型。
量化能力同样是插件的一大看点。最新进展中，压缩张量W4A16、针对MoE的AWQ W4A16以及DeepSeek-V3.2专属的W8A8量化均已落地。早期版本也提供了INT8、AWQ、GPTQ等选项，且这些量化方案同时适用于MoE和稠密模型。对于显存受限或需要高吞吐推理的场景，这些组合可以显著降低模型部署的门槛。
在微调层面，插件提供了LoRA和多LoRA适配器支持，首批覆盖Qwen系列模型。更值得注意的是，团队在今年2月的性能优化中提到，Multi-LoRA推理已经能达到非LoRA性能的80%以上。这对于在生产环境中同时服务多个微调版本的应用来说意义重大，用户几乎可以在不牺牲推理效率的情况下，用同一个基座模型支撑不同业务场景。
性能优化是迭代的另一条主线。2026年2月的一轮优化中，fused MoE在小batch场景下的表现得到改进，同时注意力的元数据构建流程也被优化，从而拉低了端到端延迟。这些动作直接影响到面向终端用户的交互式应用，例如对话系统和代码补全。而在更早版本中引入的硬件加速图Piecewise Kunlun Graph，通过对计算图进行硬件层面的定制优化，进一步榨取昆仑XPU的推理性能。这种图形级优化与V1引擎的调度机制相结合，可以在高并发场景下保持稳定的吞吐。
针对DeepSeek模型家族的专项优化也十分突出。除了前面提到的W8A8量化和MTP多令牌预测，插件还实现了FlashMLA注意力——一种针对DeepSeek MLA（多头潜在注意力）架构的优化版本。FlashMLA在昆仑XPU上重新排布了计算和内存访问模式，专门针对潜在注意力机制的低秩特性进行加速，能够在尽可能保持精度的前提下大幅提升解码速度。
推测解码方面，最新的DFlash风格提议器基于EAGLE技术路线实现，利用轻量级草稿模型快速生成候选token序列，再由主模型进行验证；而MTP则直接从大模型自身一次性预测多个未来token。两种方案在延迟敏感的生成任务中各有所长，用户可以根据模型和业务特点灵活选择。
部署细节上，插件支持张量并行，可在多块昆仑XPU之间分布式执行推理，同时提供兼容OpenAI的API接口，方便与现有工具链对接。项目给出了明确的环境要求：硬件为昆仑3代
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
