网易首页 > 网易号 > 正文 申请入驻

火了!9B小模型登顶Hugging Face榜首

0
分享至

最近海外AI社区Hugging Face上,一款融合DeepSeek和千问能力的9B小模型直接冲上趋势榜第一名,引发不少AI爱好者围观讨论。

这个模型是社区开发者两轮改造出来的成果。首先开发者Jackrong拿大模型DeepSeek V4 Pro,生成25万条数学、理工科解题样本,不光有答案,完整记录解题思路、拆解步骤。拿这批数据,对阿里开源Qwen3.5‑9B做微调,再经过一轮轻量强化学习,训练出初代蒸馏模型,全程没用编程相关数据。



之后另一位开发者xtools‑at,在这个权重基础上,使用Heretic工具修改模型部分层权重,降低模型拒答的倾向,做出最终登顶的衍生版本。

实测数据相当亮眼,初代蒸馏版在GSM8K数学测试准确率达到94.5%。对比原版千问,答对每道题消耗的推理token直接少36.1%,做题更省算力。数学、物理、化学三科成绩全部上涨,数学提升最明显。而且它的格式遵守能力很强,测试中97.2%回答能严格按照指定格式输出,原版千问仅仅只有37.3%。



拒答测试反差更大:原版蒸馏模型100条提示全部拒答,经过二次调整之后,100条提问仅仅拒答3次。不过要注意,二次修改后的版本理科性能还没有完成完整复测,能力会不会受损还需要进一步验证。

普通用户也能本地跑这个模型,社区已经做好4‑bit量化GGUF文件,Ollama、LM Studio这类本地AI工具都可以直接加载使用,普通电脑也能体验它的理科推理实力。

这件事也给我们启发,现在开源社区玩“大模型教小模型”的蒸馏玩法越来越成熟。不用堆庞大参数,靠高质量解题样本,小模型也能拿到接近大模型的理科实力。当然社区魔改模型有利有弊,降低拒答的同时,模型原本能力存在下降风险,大家尝鲜的时候也要理性看待跑分结果。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
中产股民愤怒了!多张大额亏损账户流出,不少投资者注销证券账户,直言“痛定思痛,远离股市”

中产股民愤怒了!多张大额亏损账户流出,不少投资者注销证券账户,直言“痛定思痛,远离股市”

火山詩话
2026-11-16 19:30:03
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
《奥特曼》女星,突然去世,年仅23岁

《奥特曼》女星,突然去世,年仅23岁

中国新闻周刊
2026-11-16 19:04:57
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金融界
2026-11-16 15:22:01
CCTV5直播!国足VS巴林首发11人预测:吴曦领衔 韩鹏飞坐镇 塞鸟回归 张玉宁冲锋

CCTV5直播!国足VS巴林首发11人预测:吴曦领衔 韩鹏飞坐镇 塞鸟回归 张玉宁冲锋

球场新视角1号
2026-11-16 19:16:22
美财长贝森特向英伟达施压!要求外部招聘CEO 限期10天回应合规问题

美财长贝森特向英伟达施压!要求外部招聘CEO 限期10天回应合规问题

快科技
2026-11-16 07:58:26
特朗普:我即将访问中国,期待参加中俄美元首会晤

特朗普:我即将访问中国,期待参加中俄美元首会晤

极目新闻
2026-11-16 15:10:23
山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

澎湃新闻
2026-11-16 16:38:26
扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

大风新闻
2026-11-16 13:50:06
超短裙女子深夜现身酒店前台,只因20块钱起了冲突,2小时后竟横尸荒野

超短裙女子深夜现身酒店前台,只因20块钱起了冲突,2小时后竟横尸荒野

夜话奇谭
2026-11-16 13:02:43
砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

大风新闻
2026-11-16 10:40:08
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
演员蔡文静透露,5年前坚持劝妈妈去体检,结果竟查出肺癌,她一度瘦成皮包骨;钟南山团队最新研究:越来越多不吸烟的女性被肺癌“盯上”

演员蔡文静透露,5年前坚持劝妈妈去体检,结果竟查出肺癌,她一度瘦成皮包骨;钟南山团队最新研究:越来越多不吸烟的女性被肺癌“盯上”

极目新闻
2026-11-16 19:37:47
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
传央行摸底"债息税":国债地方债利息或征25%所得税

传央行摸底"债息税":国债地方债利息或征25%所得税

爆角追踪
2026-11-16 18:02:59
男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

网易新闻出品
2026-11-16 18:25:30
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
中国近六成家庭只剩2个人了...

中国近六成家庭只剩2个人了...

毒哥的毒鸡汤
2026-11-16 12:22:29
大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

起点财经
2026-11-16 11:37:48
2026-11-16 22:27:00
呼呼历史论
呼呼历史论
分享有趣的历史
715文章数 18700关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

标配激光雷达 极狐阿尔法S5上市 限时11.58万起

态度原创

健康
教育
数码
家居
艺术

情绪真能让健康人"伤心至死"?

教育要闻

下面这道题不用勾股定理,你会解答吗?欢迎来挑战

数码要闻

9.2mm同档最薄小方表!OPPO Watch 5发布:899元起

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

卓越的画家 | 达芬奇 高清绘画作品

无障碍浏览 进入关怀版