![]()
27B 参数的模型,能不能把代码能力顶到一线闭源模型附近?这次强化版 Qwen3.8-27B 给出的答案很直接:用 390 万条代码做专项后训练,把更多算力花在编码、推理和提速上。按发布方给出的同协议自测结果,它在多项测试中已经摸到 Opus 5.5 与 GPT-6 Astra 所在的档位,同时把推理 token 中位数压低 44% 到 53%。
这套强化并非简单堆数据。训练目标很明确:代码要写得对,推理别绕远路,本地部署还得跑得动。对手越强,小模型越要把每一分参数用在刀刃上。
390 万条代码,专门补强编程能力
强化版的第一步,是拿 390 万条代码做专项后训练。数据量只是表面,更关键的是学习对象覆盖 Opus 5.5、GPT-6 Astra、Grok 4.7 和 DS V4 Pro。把几家强模型的长处集中到一个 27B 模型里,走的是博采众长的路子。
这里的蒸馏对齐,可以理解成让小模型观察强模型怎样拆题、怎样组织答案、怎样写出可执行代码,再把这些做法压进自己的参数。它没有盲目追求大而全,而是把训练火力集中到代码任务。对于日常补函数、修错误、读仓库和生成脚本,这种专项强化往往比单纯增加参数更实在。
当然,27B 仍是 27B。它的优势在于以更小体量逼近更强能力,不代表每项任务都能替代旗舰闭源模型。真正值得关注的是,原本需要云端高价模型完成的许多编码工作,如今有机会在本地机器上处理。
EfficientThink 专治推理空转
很多推理模型会出现一种尴尬情况:答案其实已经找到了,输出仍在继续,甚至一路写到 94K token。字数多不等于想得深,过犹不及,空转只会拖慢响应、吃掉上下文,还让显存和费用跟着上涨。
EfficientThink 针对的正是这类冗长推理。它要求模型尽早抓住关键步骤,减少反复自问、自答和改口。发布方给出的数据是,推理 token 中位数下降 44% 到 53%。如果结果能够在更多任务上复现,这项改进比单纯把峰值跑分抬高更有日常价值,因为它同时影响速度、显存占用和连续对话长度。
SFT、RLOO、MTP 三路一起练
![]()
训练组合由 SFT、RLOO 与 MTP 三部分组成。SFT 负责把高质量代码与解题样例教进去,让模型先学会正确写法;RLOO 用奖励信号继续打磨答案,鼓励它产出更可靠、更简洁的结果;MTP 则让模型一次预测后续多个 token,为后面的投机解码铺路。
推理阶段还能接入 DFlash2。它会先快速猜出一段候选 token,再由主模型批量核验。猜得准,就能一次通过更多内容,减少逐 token 等待。MTP 与 DFlash2 都在解决同一件事:让生成速度上去,但两条路线需要按部署方式取舍,不能直接叠在一起。
这套组合的看点不在名词多,而在训练与部署前后衔接。SFT 先把基础打牢,RLOO 修正答题取向,MTP 或 DFlash2 再把速度提起来,环环相扣。
三项自测都到 90% 左右
![]()
按发布方同协议自测,GPQA 得分 89.9%,MMLU 得分 90%,LCB 得分 90%。其中 LiveCodeBench 小集从 83 提升到 90,说明专项代码训练确实带来了可见增益。
这些数字要读准。它们来自发布方自测,价值在于同一协议下观察训练前后的变化,还不能直接等同于独立机构的横评结论。尤其是编程模型,跑分只覆盖一部分能力。跨文件修改、旧项目排错、依赖安装、测试修复和长会话稳定性,都需要拿真实仓库再跑。
耳闻之不如目见之,目见之不如足践之。最稳妥的办法,是准备一组自己熟悉的任务,让本地模型与常用云端模型同时做,再比较正确率、耗时、token 数和返工次数。
24GB 显存就能跑,Q4 约 18GB
模型采用 Apache-2.0 许可,GGUF Q4 量化文件约 18GB,24GB 显存的显卡具备本地运行条件。留出的显存还要承担上下文缓存等开销,因此第一次启动别把上下文长度拉到极限,先从常用长度跑通,再逐步增加。
部署可以按四步走。
第一步,拉取权重。搜索完整模型名,下载主 GGUF 文件;需要看图时,再下载对应的多模态投影文件。先核对文件名与量化档位,避免主权重和投影文件对不上。
第二步,用 llama.cpp 起服务。命令参数来自原发布说明:
llama-server -m Q4LynnStyle-MTP.gguf -c 409600 -ngl 99 --jinja --spec-type draft-mtp --spec-draft-n-max 4其中 -ngl 99 尽量把模型层放进显卡,--jinja 启用聊天模板,后两项打开 MTP 草稿预测。若显存吃紧,可先把上下文长度调低,确认能稳定启动后再往上加。
第三步,需要看图时加上多模态投影参数:
llama-server -m Q4LynnStyle-MTP.gguf -c 409600 -ngl 99 --jinja --spec-type draft-mtp --spec-draft-n-max 4 --mmproj mmproj-Qwen3.8-27B-Q8_0.gguf第四步,追求更高吞吐时,可改用 SGLang 配合 DFlash2。注意它与前面的 MTP 路线二选一。先用同一批提示词分别测试速度和正确率,再决定长期保留哪套配置。
小模型开始靠专项训练追旗舰
强化版 Qwen3.8-27B 最值得看的地方,是它把「模型够强」与「本地跑得动」放到了一起:390 万条代码补能力,EfficientThink 砍空转,三重训练稳住结果,投机解码继续提速。27B 没有靠体量硬碰硬,而是靠更集中、更省 token 的打法缩小差距。
如果你的主要任务是写代码、读项目和做本地自动化,这类模型已经值得放进候选清单。先用自己的仓库做一轮对照测试,再决定它负责日常主力、离线备用,还是专门承担批量任务。跑分负责敲门,真正能不能留下,还得看它在你的机器和代码里表现如何。
原文链接:https://x.com/NFT_Chen/status/2108459889681207731
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.