网易首页 > 网易号 > 正文 申请入驻

DeepSeek V4 Pro被蒸馏了! 9B小模型衍生版冲上Hugging Face第一

0
分享至

智猩猩AI整理

编辑:林夕

近日,一款名字里同时带着 DeepSeek 和千问的 9B 小模型,登上了 Hugging Face 模型趋势榜榜首。


榜首版本由社区开发者xtools-at发布。

据模型卡介绍,它基于 Jackrong 的DeepSeek-V4-Pro-Qwen3.5-9B,使用Heretic v2.0.0.dev0进一步调整了模型的拒答行为。


蒸馏工作由 Jackrong 完成。他用DeepSeek V4 Pro生成约 25 万条数学和理工科训练样本,再用这些数据微调阿里开源的 Qwen3.5-9B。


在 Jackrong 的理科测试里,蒸馏后的千问答对了更多题,每答对一题消耗的推理 Token 也少了 36.1%。


到了 xtools-at 的衍生版,拒答次数已经有了对照结果,理科准确率和推理开销还有待用同一套题复测。

两轮改动带来了两份成绩单:先训练的版本,已经测过解题的准确率和开销;登顶的版本,则测出了拒答行为的变化。

01

一款登顶的9B模型,

经历了两次改造

xtools-at 发布的 9B 模型,沿用了 Jackrong 的蒸馏权重。这份权重的来历,要从 DeepSeek V4 Pro 生成的一批解题样本说起。

Jackrong 让拥有 1.6 万亿总参数的DeepSeek V4 Pro在 Max Effect 模式下生成约 25 万条数学和理工科样本。

这些样本记录了从哪里入手、怎么拆解问题、每一步如何推导,以及最后得出了什么答案。

他用这批样本对阿里开源的 Qwen3.5-9B 做监督微调,让这个 90 亿参数的小模型学习 DeepSeek 的解题过程。

随后,Jackrong 又用GSPO做了一轮轻量强化学习。按模型卡的说明,两个阶段都围绕数学和理工科推理展开,均未使用编程数据。


Jackrong 随后公开了训练完成的 9B 权重,xtools-at 就是在这份已经做过理科专项训练的权重上,用 Heretic 进一步调整了模型的拒答行为。

Heretic 的ARA 方法会对比模型处理不同类型提示时的内部激活,找出与拒答行为相关的信号,再修改部分模型层的权重,减弱这些信号对回答的影响。

xtools-at 公布的配置将调整范围设为第 9 层至第 24 层。

接下来看实验结果:Jackrong 的评测记录了蒸馏后理科成绩和推理开销的变化,xtools-at 的测试则记录了这次权重调整让拒答次数降了多少。

02

理科准确率小幅提升,

按要求输出的比例接近 97%

xtools-at 在模型卡顶部列出了衍生版的拒答对照,还报告了 0.0422 的 KL 散度,用来描述权重调整前后输出概率分布的变化。

在 xtools-at 公布的测试中,面对同一组 100 条提示,Jackrong 的蒸馏版全部拒答,经过调整的衍生版只拒答了 3 条。


页面往下的数学、推理效率和输出格式测试,则沿用了 Jackrong 对蒸馏版的评测。

在 GSM8K 上,Jackrong 用 NVFP4 量化版跑了四次,平均准确率为94.5%。


同一张表里,DeepSeek V4 Pro 的参考成绩是92.6%,Llama 3.3 70B Instruct 是94.84%。


到了 MMLU-Pro,Jackrong 把原版千问和蒸馏版放在相同设置下,分别做了500 道数学题、500 道物理题和 500 道化学题。

三科都有提升,其中数学涨得最多,从90.60% 升到 92.40%,物理和化学分别提高0.4和0.6 个百分点。


数学也是推理开销降得最多的一科。

按整套题消耗的推理 Token 除以答对题数计算,蒸馏版在数学上少用了47.4%,物理和化学分别少用了30.8%和32.1%。


这组分科数据能看出,三门课的收益并不均匀。

还有一项容易被跑分盖过去的变化,是模型更愿意按要求收尾。

在同一套 MMLU-Pro 测试里,提示词要求模型思考完后只输出一个大写字母。


蒸馏版有97.2%的回答符合这一格式,原版千问是37.3%,同场对比的 Claude Mythos 蒸馏 9B 版本是69.6%。

模型卡还提到,Jackrong 的蒸馏版在编程和工具调用上出现了小幅改善,并展示了一个用它做出来的可玩小游戏Star Skip。


这部分目前以初步观察和演示为主,模型卡还没有给出专门的代码或 Agent 基准结果。

03

衍生版模型已有4-bit量化版,

支持本地运行

想在本地试用 xtools-at 的 9B 衍生版,可以选原始 Safetensors 权重,也可以用社区转换的 4-bit GGUF。

如果想用LM Studio、Ollama 或 llama.cpp,社区开发者Sakura721已经把xtools-at 的衍生版转成了Q4_K_M GGUF,也就是4-bit 量化版。


如果所用的 LM Studio 版本支持这套视觉模型,下载并导入.gguf模型文件,加载后就可以试文字对话。

想输入图片,还要下载同仓库的mmproj文件,用来把图像转换成模型能处理的输入。

xtools-at 已经公开了衍生版的拒答测试,社区也给出了可本地运行的量化权重。

接下来,用 Jackrong 测过的同一套理科题复测,才能看清这次权重调整保留了多少蒸馏带来的准确率和推理效率。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
10月失业率降到5.1%,就业大局稳住了

10月失业率降到5.1%,就业大局稳住了

贝壳财经
2026-11-17 09:40:03
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
再见,曼城!2.2亿“超巨”将转投皇马!顶级射手“空降”加盟

再见,曼城!2.2亿“超巨”将转投皇马!顶级射手“空降”加盟

头狼追球
2026-11-17 16:53:03
传海康威视将实行965,公司回应:暂未接到通知

传海康威视将实行965,公司回应:暂未接到通知

蓝鲨财经社
2026-11-17 16:57:54
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
伊拉克总理下令,欠中方的工程款立即结清,只向中方提了一个要求

伊拉克总理下令,欠中方的工程款立即结清,只向中方提了一个要求

墨兰史书
2026-11-17 14:00:04
塞尔维亚计票落定:欧洲这回白高兴了一场吗?武契奇自己都没料到,还是之前的预估太保守

塞尔维亚计票落定:欧洲这回白高兴了一场吗?武契奇自己都没料到,还是之前的预估太保守

磊子讲史
2026-11-17 19:52:38
浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

大风新闻
2026-11-17 08:52:07
突发!大反转!黄仁勋果然翻盘!

突发!大反转!黄仁勋果然翻盘!

财经要参
2026-11-17 15:20:05
甘肃一小县城因“慢生活”走红:只有5辆出租车,视频点赞数超过当地城镇人口

甘肃一小县城因“慢生活”走红:只有5辆出租车,视频点赞数超过当地城镇人口

上游新闻
2026-11-17 14:44:05
郎朗师妹、“钢琴魔女”王羽佳国家大剧院演出迟到17分钟,躲在琴房找感觉,引发观众不满;此前香港站临时缩减演出时长,主办方无奈退款

郎朗师妹、“钢琴魔女”王羽佳国家大剧院演出迟到17分钟,躲在琴房找感觉,引发观众不满;此前香港站临时缩减演出时长,主办方无奈退款

极目新闻
2026-11-17 16:39:40
房东通知我,房租从2200涨到3000,我不租了,结果房东的女儿加我微信说:“3000确实是我爸定的价格,不过,咱们可以私下商量。”

房东通知我,房租从2200涨到3000,我不租了,结果房东的女儿加我微信说:“3000确实是我爸定的价格,不过,咱们可以私下商量。”

可读
2026-11-17 15:00:05
黄乐最新私密照爆出, 难怪黄仁勋把持不住!

黄乐最新私密照爆出, 难怪黄仁勋把持不住!

仕道
2026-11-17 11:11:01
马斯克确认将前往中国

马斯克确认将前往中国

政知新媒体
2026-11-17 16:01:50
塞尔维亚计票结果终于出来了,欧洲这回白高兴了一场吗?武契奇自己都没料到,原来之前还是自己的预估太保守了呀

塞尔维亚计票结果终于出来了,欧洲这回白高兴了一场吗?武契奇自己都没料到,原来之前还是自己的预估太保守了呀

唠叨说历史
2026-11-17 14:13:00
消失前,他喘着粗气说:“一个人都没有”

消失前,他喘着粗气说:“一个人都没有”

中国新闻周刊
2026-11-17 18:55:45
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
国足噩梦开局!112秒闪电丢球,16年首被巴林破门,李昊挡不住

国足噩梦开局!112秒闪电丢球,16年首被巴林破门,李昊挡不住

奥拜尔
2026-11-17 20:09:17
为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

坠入二次元的海洋
2026-11-17 12:06:40
2026-11-17 21:48:49
智猩猩
智猩猩
AI 技术内容与服务平台
373文章数 18关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
数码
本地
教育
公开课

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版