网易首页 > 网易号 > 正文 申请入驻

阿里云发布Qwen4-Max:训练与注意力机制双重优化

0
分享至


阿里巴巴集团今日推出Qwen4-Max,这是该公司最新、能力最强的大语言模型。

这款算法不仅生成的输出质量优于前代产品,成本也有所降低。这些改进得益于全新的Qwen4架构,该架构使大语言模型的训练流程更加高效。此外,阿里巴巴还为该模型配备了升级版的注意力机制。

Qwen4-Max的骨干网络——即大语言模型中充当主要处理引擎的部分——包含2.4万亿个参数,但在任意给定时刻仅激活其中710亿个。该骨干网络由3280亿个所谓的N-gram参数提供支持,这些参数起到类似缓存的作用,能够保存频繁重复计算的结果,从而避免每次都要从头进行运算。

大语言模型中的人工神经元被组织成若干组,称为层。当模型在训练过程中学到新内容时,一种被称为梯度的数据会流经各层并优化其输出。梯度会从最后一层开始逐层向前传递,而最后一层正是负责最终确定并呈现提示词响应的部分。

Qwen4-Max包含一项功能,使梯度能够跳过某些层。这项功能,也被称为残差连接,实质上是模型内部的一条捷径。其目的是在训练流程中减少误差,进而降低成本并提升输出质量。

残差连接在许多其他大语言模型中也能见到。以往,该机制通常以单一的梯度传输通道实现。而Qwen4-Max的实现方式包含四条通道,并且这些通道还配备了“门控”装置,可以调节梯度的流动,从而进一步优化训练过程。

Qwen4-Max的注意力机制——这一模块帮助模型理解用户提示词——具备两项关键定制。第一项是名为Gated DeltaNet的技术,可降低处理大型提示词所需的硬件资源。第二项优化为QSA,能够跳过大语言模型回答提示词时不需要的数据片段。这一设计进一步降低了基础设施成本。

阿里巴巴使用一项包含知识型工作任务的内部基准测试,将Qwen4-Max与其前代产品Qwen3.8-Max进行了比较。结果显示,新模型得分更高,且完成任务所用的Token数量减少了最多35%。在采用Terminal-Bench 4.0编程挑战测试套件进行测试时,这一节省幅度进一步提升至49%。

目前,Qwen4-Max已可通过阿里巴巴的云平台使用。该公司计划未来基于同一系列技术,开源一批规模更小的模型。同时,阿里巴巴还将开源Qwen-Live-Delivery-Plugin插件,该扩展功能可提升Qwen4-Max执行耗时任务的表现。

当大语言模型被分配一项长周期项目时,用户通常需要等待模型完成全部工作后才能查看结果。阿里巴巴的这款插件缩短了等待时间,它使Qwen4-Max能够快速交付初步草案,随后再逐步迭代完善。用户可以在此过程中随时提供反馈,帮助模型优化其工作成果。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
到底是不是宿命?广东55岁千万老板饭局挨个告别隔天离世,网友叹无常,网友直言这是“终末信号”

到底是不是宿命?广东55岁千万老板饭局挨个告别隔天离世,网友叹无常,网友直言这是“终末信号”

王老师你还好吗
2026-11-19 18:33:48
比亚迪方程豹钛9上市 首发折叠智舱 27.99万元起售!

比亚迪方程豹钛9上市 首发折叠智舱 27.99万元起售!

CNMO科技
2026-11-19 21:23:07
美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

有牙的兔纸
2026-11-19 08:34:35
A·史密斯:詹姆斯、杜兰特、库里等人,阻止湖人队白人球员统治

A·史密斯:詹姆斯、杜兰特、库里等人,阻止湖人队白人球员统治

好火子
2026-11-19 23:03:56
失算了!订婚收了 28.8 万彩礼,女生转头全款买了一套属于自己的小公寓,男方得知后坚持退婚

失算了!订婚收了 28.8 万彩礼,女生转头全款买了一套属于自己的小公寓,男方得知后坚持退婚

扶苏聊历史
2026-10-24 13:40:19
实话实说,广东队已成为一支3无球队!

实话实说,广东队已成为一支3无球队!

体育哲人
2026-11-19 07:35:28
台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

人生录
2026-10-31 00:55:04
余文乐宣布离婚

余文乐宣布离婚

扬子晚报
2026-07-20 14:21:04
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
国际油价大幅收跌,美油跌3.65%

国际油价大幅收跌,美油跌3.65%

每日经济新闻
2026-11-19 06:10:07
法国网民破防了:我们在自己的课本里错过了本国的英雄,却在中国课堂上听到了他们的名字,这才意识到自己生活在一个多么糟糕的国家

法国网民破防了:我们在自己的课本里错过了本国的英雄,却在中国课堂上听到了他们的名字,这才意识到自己生活在一个多么糟糕的国家

人生录
2026-11-10 00:05:10
俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

古书奇谈
2026-11-18 15:15:03
美方在台湾问题上有了新说辞:若中国和平统一,美国不会反对

美方在台湾问题上有了新说辞:若中国和平统一,美国不会反对

吕醿极限手工
2026-08-27 14:18:48
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
近5战4负跌入附加赛!SGA场均33.6分独木难支 场下躺着1亿显无奈

近5战4负跌入附加赛!SGA场均33.6分独木难支 场下躺着1亿显无奈

颜小白的篮球梦
2026-11-19 20:38:31
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

叨唠
2026-11-19 00:04:18
2026-11-20 00:24:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23553文章数 49740关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
教育
时尚
游戏
房产

亲子要闻

宝宝气人但是聪明的4个行为

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版