最近海外AI社区Hugging Face上,一款融合DeepSeek和千问能力的9B小模型直接冲上趋势榜第一名,引发不少AI爱好者围观讨论。
这个模型是社区开发者两轮改造出来的成果。首先开发者Jackrong拿大模型DeepSeek V4 Pro,生成25万条数学、理工科解题样本,不光有答案,完整记录解题思路、拆解步骤。拿这批数据,对阿里开源Qwen3.5‑9B做微调,再经过一轮轻量强化学习,训练出初代蒸馏模型,全程没用编程相关数据。
![]()
之后另一位开发者xtools‑at,在这个权重基础上,使用Heretic工具修改模型部分层权重,降低模型拒答的倾向,做出最终登顶的衍生版本。
实测数据相当亮眼,初代蒸馏版在GSM8K数学测试准确率达到94.5%。对比原版千问,答对每道题消耗的推理token直接少36.1%,做题更省算力。数学、物理、化学三科成绩全部上涨,数学提升最明显。而且它的格式遵守能力很强,测试中97.2%回答能严格按照指定格式输出,原版千问仅仅只有37.3%。
![]()
拒答测试反差更大:原版蒸馏模型100条提示全部拒答,经过二次调整之后,100条提问仅仅拒答3次。不过要注意,二次修改后的版本理科性能还没有完成完整复测,能力会不会受损还需要进一步验证。
普通用户也能本地跑这个模型,社区已经做好4‑bit量化GGUF文件,Ollama、LM Studio这类本地AI工具都可以直接加载使用,普通电脑也能体验它的理科推理实力。
这件事也给我们启发,现在开源社区玩“大模型教小模型”的蒸馏玩法越来越成熟。不用堆庞大参数,靠高质量解题样本,小模型也能拿到接近大模型的理科实力。当然社区魔改模型有利有弊,降低拒答的同时,模型原本能力存在下降风险,大家尝鲜的时候也要理性看待跑分结果。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.