网易首页 > 网易号 > 正文 申请入驻

9B小模型逆袭!蒸馏DeepSeek登顶HF榜首

0
分享至

一个只有90亿参数的小模型,竟然把1.6万亿参数的“巨无霸”老师比了下去?这事最近真就发生了。一个名字里同时挂着DeepSeek和千问的9B模型,冲上了Hugging Face趋势榜头名,开源圈瞬间炸开了锅。



俗话说,名师出高徒。这场“拜师学艺”的故事要从一个叫Jackrong的开发者说起。他请DeepSeek V4 Pro这位大块头老师,在Max Effect模式下日夜苦干,写出了25万条数学与理工科的解题样本。每条样本里,怎么审题、如何拆解、逐步推导、最终答案,全都记得清清楚楚,堪称一本“解题秘籍”。随后,他把这套秘籍灌给阿里开源的Qwen3.5-9B,先做监督微调,再用GSPO来一轮轻量强化学习,全程围绕数理化推理,编程数据一概没用。

徒弟出师后,成绩单相当亮眼。GSM8K测试跑了四次取平均,准确率94.5%,反超老师DeepSeek V4 Pro的92.6%,紧追Llama 3.3 70B Instruct的94.84%。MMLU-Pro分科测试更说明问题,数学从90.60%涨到92.40%,物理、化学各提高0.4和0.6个百分点。更妙的是开销:数学每答对一题,推理Token省了47.4%,物理省30.8%,化学省32.1%。又快又准,何乐而不为?还有个容易被忽略的细节——提示词要求思考完只输出一个大写字母,蒸馏版97.2%的回答乖乖照办,原版千问只有37.3%,差距一目了然。

不过,天才也有怪脾气。这个模型动不动就摆架子拒答,测试中100条提示,它一条不回,全都拒绝了。这时候第二位开发者xtools-at登场了。他借助Heretic v2.0.0.dev0工具,用ARA方法对比模型面对不同提示时的内部激活,精准定位与拒答相关的信号,然后对第9层到第24层的部分权重动了一场“微创手术”。手起刀落,同样的100条提示,拒答次数从100降到3,KL散度仅0.0422,几乎伤筋不动骨。正是这个版本,一举登顶趋势榜。

想亲手试试?门槛不高。想要完整体验,可以下载原始Safetensors权重;图省事的话,社区开发者Sakura721已经转好了Q4KM的4-bit GGUF量化版,LM Studio、Ollama、llama.cpp都能直接加载。想玩图文交互的朋友,别忘了同仓库里的mmproj文件,它负责把图片转成模型能消化的输入。

当然,天上不会掉馅饼。登顶版本的理科准确率、推理效率还没用同一套题复测过,蒸馏带来的本事保留了几成,仍是未知数。编程和工具调用虽有初步改善,甚至能做出一个叫Star Skip的小游戏,但模型卡只给了演示,没拿出正经基准成绩。至于“去拒答”这件事,仁者见仁,智者见智,技术中立,责任却在使用者肩上。

麻雀虽小,五脏俱全。这场社区接力告诉我们:大模型的知识可以被巧妙地“搬”进小模型,行为习惯也能通过精细手术加以改造。开源世界的创造力,从来不容小觑。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
威尔逊:成为伟大冠军需要让人有点讨厌,面对赵心童时我只想重创他

威尔逊:成为伟大冠军需要让人有点讨厌,面对赵心童时我只想重创他

世界体坛观察家
2026-11-16 17:08:49
山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

食评社
2026-11-12 09:44:59
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

环球网资讯
2026-11-14 07:45:05
有性生活和没性生活,区别竟然这么大!第一条就扎心了!

有性生活和没性生活,区别竟然这么大!第一条就扎心了!

医学原创故事会
2026-11-05 23:50:03
美专家:中国已经提前准备好,开战后的第一件事,先废掉美国空军

美专家:中国已经提前准备好,开战后的第一件事,先废掉美国空军

真的好爱你
2026-11-16 13:37:42
内讧?贝林怒斥皇马队友欧国联假摔!试图将其拽起+狂喷:别演戏了

内讧?贝林怒斥皇马队友欧国联假摔!试图将其拽起+狂喷:别演戏了

我爱英超
2026-11-16 10:05:25
世界经济奇观:腾飞的伊拉克,20年gdp增长1200%,民主的力量!

世界经济奇观:腾飞的伊拉克,20年gdp增长1200%,民主的力量!

触摸史迹
2026-11-13 17:17:41
便秘救星来了!早上蒸一碗,半小时立马跑厕所,大肚子瞬间变平坦

便秘救星来了!早上蒸一碗,半小时立马跑厕所,大肚子瞬间变平坦

王二哥老搞笑
2026-11-16 18:41:26
《天下足球》7分钟致敬C罗!令人动容,球迷:为何无梅西的专题?

《天下足球》7分钟致敬C罗!令人动容,球迷:为何无梅西的专题?

汪星人哟
2026-11-16 20:38:45
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
斯托伊科维奇正式出任山东泰山主帅,克雷桑瞄准金靴,黄政宇迎爆发契机,中场大核急需补强,李源一或转会辽宁铁人

斯托伊科维奇正式出任山东泰山主帅,克雷桑瞄准金靴,黄政宇迎爆发契机,中场大核急需补强,李源一或转会辽宁铁人

老周观体育
2026-11-16 21:02:21
美国股指期货跌幅扩大 纳斯达克100指数期货跌超1.5%

美国股指期货跌幅扩大 纳斯达克100指数期货跌超1.5%

每日经济新闻
2026-11-16 20:28:04
兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

铭记历史呀
2026-09-20 16:15:46
难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

火山詩话
2026-11-16 04:59:33
11月16日俄乌:最大规模的乌克兰无人机袭击

11月16日俄乌:最大规模的乌克兰无人机袭击

山河路口
2026-11-16 20:32:41
35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

烈史
2026-05-30 13:23:41
葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

懂球帝
2026-11-16 18:54:29
岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

天气观察站
2026-11-16 04:16:43
英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

回京历史梦
2026-11-14 09:08:15
2026-11-16 22:23:00
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
690文章数 9852关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
健康
艺术
房产
公开课

亲子要闻

宝宝气人但是聪明的4个行为

情绪真能让健康人"伤心至死"?

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版