开发者 fakezeta 发布了 Qwen3.8-27B Condensed-P2,一个对 Qwen3.8-27B 做词表压缩后的版本。核心动作很直接:把词表规模从 248,320 行压缩到 141,141 行,减少 43.2% 的词汇行数。
![]()
压缩之后,模型跑在 16GB 显存的 RTX 5060 Ti 上,配合 NInfer 与 RK8V4 KV cache,在 75K 上下文窗口下实现约 60 tps 的平均推理速度。量化基础是 Unsloth UD-Q3_K_XL。
更值得注意的一点是指令跟随表现没有随剪枝下滑。剪枝后模型在 IFEval 基准上的得分为 84.4%,高于剪枝前的 83.9%。
代价落在多语言能力上。该版本仅保留 ASCII 和部分拉丁字符脚本的词汇,其他语言可能需要更多 token 才能表达同样的内容。因此这一方法对面向英语的本地 AI 部署更有吸引力。
发布方同时提供了 GGUF 格式与 NInfer 版本,方便直接落地到本地推理环境。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.