网易首页 > 网易号 > 正文 申请入驻

阿里32B新模型比肩满血DeepSeek-R1!苹果Mac本地可跑,网友已玩疯

0
分享至

智东西3月6日报道,今日凌晨,阿里云发布最新推理模型QwQ-32B,性能媲美DeepSeek-R1,在消费级显卡上也能实现本地部署。

要知道其参数量为32B,DeepSeek-R1参数量达到了671B,相差将近20倍。

在数学推理、编程能力上,QwQ-32B的表现与DeepSeek-R1相当,强于o1-mini及相同尺寸的R1蒸馏模型。通用能力测评效果上,QwQ-32B的得分均超越DeepSeek-R1。

苹果的机器学习科学家Awni Hannun(吴恩达学生)发文展示了QwQ-32B在配备MLX(专门为苹果芯片设计的开源框架)的M4 Max芯片电脑上的运行速度很快。

该模型在Hugging Face和ModelScope上以Apache 2.0许可证下的开源。这意味着它可用于商业和研究用途,因此企业可以立即使用它来为他们的产品和应用程序提供动力(即使是他们向客户收费使用的产品和应用程序)。

Hugging Face地址:huggingface.co/Qwen/QwQ-32B

魔搭社区地址:https://modelscope.cn/models/Qwen/QwQ-32B

体验地址:https://huggingface.co/spaces/Qwen/QwQ-32B-Demo

一、网友赞不绝口:推理速度“非常快”、“o1-mini级别本地模型”

具体来看QwQ-32B在一系列基准测试中的得分。

QwQ-32B与DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini以及DeepSeek-R1进行了对比。

在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,QwQ-32B表现与DeepSeek-R1相当,强于o1-mini及相同尺寸的R1蒸馏模型。

在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,QwQ-32B得分超越DeepSeek- R1。

QwQ-32B的优势还在于,QwQ-32B需要GPU上的24GB vRAM(英伟达H100为80GB),而运行完整的DeepSeek R1需要超过1500GB vRAM。

社交平台X上的网友已经为之疯狂,到处充斥着“太震惊了”的言论。

机器学习爱好者Vaibhav (VB) Srivastav强调了QwQ-32B的推理速度,称其“非常快”,可与顶级模型相媲美。

网友晒出了在M4 Max芯片的MacBook上运行的推理速度:

AI新闻发布者@Chubby称QwQ-32 B太疯狂了!

Hyperbolic Labs的联合创始人兼首席技术官Yuchen Jin发文称:“小模型太强大了!”

有网友尝试了QwQ-32B的编码能力,并称赞其是o1-mini级别的可本地部署模型。他的提示词是”Create an amazing animation using p5js(“使用p5.js创建一个精彩的动画”)。效果如下:

不过也有网友指出,巨大的尺寸差异意味着用户需要大约5%的高带宽内存来进行推理。

二、扩展强化学习,可持续提高数学、编码能力

研究人员在冷启动的基础上开展了大规模强化学习。在初始阶段,他们特别针对数学和编程任务进行了强化学习训练。

与依赖传统的奖励模型(reward model)不同,他们通过校验生成答案的正确性来为数学问题提供反馈,并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码的反馈。随着训练轮次的推进,这两个领域中的性能均表现出持续的提升。

QwQ-32B的强化学习过程分两个阶段执行:

数学和编码重点:使用用于数学推理的准确性验证器和用于编码任务的代码执行服务器来训练该模型。这种方法确保生成的答案在被强化之前被验证正确性。

通用能力增强:在第二阶段,模型使用通用奖励模型和基于规则的验证器接受奖励训练。这个阶段改进了指令遵循、人类对齐和代理推理,而不影响其数学和编码能力。

QwQ-32B遵循因果语言模型架构,并包括几个优化:

1、64个Transformer层,具有RoPE、SwiGLU、RMS Norm和Attention QKV偏置;

2、分组查询注意力(GQA),40个attention heads用于查询,8个attention heads用于键值对(key-value pairs);

3、扩展了131072个Tokens的上下文长度,允许更好地处理长序列输入;

4、多阶段训练,包括预训练,监督微调和RL。

凭借其强化学习驱动的推理能力,该模型可以提供更准确、结构化和上下文感知的见解,使其可用于自动化数据分析、战略规划、软件开发和智能自动化等用例具有价值。

为了获得最佳性能,通义千问团队建议使用以下设置:

1、强制正确输出:确保模型以“\n”开头,以防止生成空的思考内容,这会降低输出质量。如果你使用apply_chat_template并设置add_generation_prompt=True就可以自动实现,但可能会导致响应在开始时缺少标签。

2、采样参数:使用Temperature=0.6和TopP=0.95而不是Greedy解码,以避免无休止的重复;使用20到40之间的TopK来过滤掉罕见的Token出现,同时保持生成的输出多样性。

3、标准化输出格式:数学问题:包括“请一步一步推理,并把你的最终答案放在\boxed{}内。”在提示;多项选择题:将以下JSON结构添加到提示中,以标准化回答:“请在答案字段中仅显示选择字母,例如\“答案\”:\“C\”。

4、处于长文本输入:对于超过32768个Token的输入,启用YaRN以提高模型有效捕获长序列信息的能力。

此外,该模型支持使用vLLM(一种高吞吐量推理框架)进行部署。然而,vLLM的当前实现仅支持静态YaRN缩放,即无论输入长度如何,都保持固定的缩放因子。

结语:强化学习成下一代模型关键驱动

基于QwQ-32B,研究人员将强化学习定位为下一代AI模型的关键驱动力,证明可以产生高性能和有效的推理系统。

其博客中还提到,通义千问团队计划:进一步探索扩展RL以提高模型智能;将Agent与RL集成用于长时间推理;继续开发为RL优化的基础模型;通过更先进的训练技术向通用人工智能发展。

这是通义千问团队通过大规模强化学习以增强推理能力方面的第一步,其扩展了强化学习的巨大潜力,同时还展现出预训练语言模型中尚未开发的可能性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

财闻
2026-11-16 13:16:06
特朗普:不介意黄仁勋重掌英伟达

特朗普:不介意黄仁勋重掌英伟达

界面新闻
2026-11-16 23:00:15
黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

江山挥笔
2026-11-16 15:20:59
在宾馆前台干了六年,我学会了一件事:永远不要给先开房再等女人的人贴标签

在宾馆前台干了六年,我学会了一件事:永远不要给先开房再等女人的人贴标签

新时代的两性情感
2026-11-17 03:10:36
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

一盅情怀
2026-11-16 16:01:58
美国国会变天,泽连斯基有恃无恐,主动爆料机密,特朗普女婿愤怒

美国国会变天,泽连斯基有恃无恐,主动爆料机密,特朗普女婿愤怒

影孖看世界
2026-11-16 18:18:53
超短裙女子深夜现身酒店前台,只因20块钱起了冲突,2小时后竟横尸荒野

超短裙女子深夜现身酒店前台,只因20块钱起了冲突,2小时后竟横尸荒野

夜话奇谭
2026-11-16 13:02:43
什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

黯泉
2026-11-16 18:53:19
打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

我爱英超
2026-11-16 06:56:13
网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

3DM游戏
2026-11-15 19:51:38
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
在登机口抛硬币“祈福”,61岁女子被拘5日!航班因此延误58分钟,湖北机场公安:在机场、停机坪抛硬币非常危险

在登机口抛硬币“祈福”,61岁女子被拘5日!航班因此延误58分钟,湖北机场公安:在机场、停机坪抛硬币非常危险

极目新闻
2026-11-16 21:03:21
NBA官网更新实力榜:马刺居首火箭第2,76人第5开拓者飙升至第6

NBA官网更新实力榜:马刺居首火箭第2,76人第5开拓者飙升至第6

罗说NBA
2026-11-17 06:09:45
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
随着希腊1-0,德国5-0荷兰,欧国联A级联赛8强已诞生7席:7大劲旅在列

随着希腊1-0,德国5-0荷兰,欧国联A级联赛8强已诞生7席:7大劲旅在列

侧身凌空斩
2026-11-17 05:46:31
特朗普现在真有点泥菩萨过江,自身难保了

特朗普现在真有点泥菩萨过江,自身难保了

News脑洞
2026-11-16 21:23:23
伊隆·马斯克:香港生育率长期位居全球最低之一,未来或将消失

伊隆·马斯克:香港生育率长期位居全球最低之一,未来或将消失

风向观察
2026-11-16 16:26:29
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
2026-11-17 07:31:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12945文章数 117195关注度
往期回顾 全部

数码要闻

苹果HomeView与第四代Apple TV 4K开售 299美元起

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
本地
房产
公开课
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

6.6亿!海口卖地!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版