网易首页 > 网易号 > 正文 申请入驻

中国唯一!阿里千问斩获全球AI顶会最佳论文

0
分享至

11月28日消息,人工智能领域顶级会议NeurIPS 2025公布了论文奖,阿里通义千问团队最新研究成果从全球2万多篇投稿论文中脱颖而出,被评为最佳论文,是唯一获得该奖项的中国团队。该论文首次在业内揭秘了注意力门控机制对大模型性能和训练的影响,业内人士普遍认为该研究是突破当下大模型训练瓶颈的重要一步,将有力推动AI大模型技术的发展。

阿里通义千问研究成果被评为NeurIPS 2025最佳论文

NeurIPS是人工智能领域影响力最大的顶会之一,该会议诞生了Transformer、AlexNet等里程碑式研究成果。今年,谷歌、微软、OpenAI、阿里巴巴及麻省理工学院等全球顶尖科技公司和机构共有2万多篇论文投稿,仅有约25%的论文被接收,而最佳论文仅有4篇,入选概率不及万分之二,代表了目前全球人工智能领域最有价值和影响力的研究。

2017年,谷歌在NeurIPS发表的论文首次提出Transformer模型架构和‌自注意力机制,这一研究让AI像人类一样具备有选择性地关注关键信息的能力,是当下大模型研究的基础。尽管现在大模型在很多领域已经取得接近甚至超越人类的表现,但现有注意力机制仍存在诸多局限,例如当下大模型会因为过度关注特定信息而导致对其它重要信息的忽略或处理偏差,这些局限性极大地影响了模型性能和训练稳定性,为此业界开始探索对注意力进行优化的新方案。

门控机制被认为是模型的“智能阀门”,可以帮助模型过滤无效信息并提升模型性能。近年来,AlphaFold2、Forgetting Transformer等学术界和工业界模型开始尝试将门控和注意力机制结合。但业界尚未破解门控在注意力中发挥作用的内在原因,也缺少大规模实践的经验。

此次,通义千问研究团队通过在1.7B稠密模型(Dense)与15B混合专家模型(MoE)上进行了数十组实验,单组实验训练最多超过 3.5 万亿 tokens,首次清晰揭秘了门控注意力背后的作用原理,并全面展示使用该方案的最佳方式。

实验结果显示,对各注意力头的输出进行门控,是提升模型性能最有效的方式。使用该方式,在引入额外1%参数的情况下,可实现0.2以上的困惑度下降、MMLU基准评测2个点的提升。研究还发现,该技术还能在更大规模的模型训练上实现更好的性能。

使用论文方法,在引入额外1%参数的情况下,可以实现0.2以上的困惑度下降、MMLU基准评测2个点的提升

目前,该研究成果已应用于Qwen3-Next模型,并显著提升模型的性能与鲁棒性,相关技术方案、实验模型及产品级模型均已开源。NeurIPS评审委员会指出:“这项工作将被广泛应用,并极大推动AI研究人员对大语言模型中注意力机制的理解。”

通义千问团队表示:“对门控注意力机制的深入理解,不仅为大语言模型架构设计提供了新思路,也为构建更稳定、更高效、更可控的大模型奠定了基础。”据悉,目前阿里千问已开源300多款模型,涵盖全模态、全尺寸,全球下载量突破7亿次,衍生模型超过18万个,位居全球第一。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

山河路口
2026-11-18 12:47:12
山东男篮4分险胜广东,徐杰15+4+5焦泊乔15+4,陈林坚15分陶汉林9+3

山东男篮4分险胜广东,徐杰15+4+5焦泊乔15+4,陈林坚15分陶汉林9+3

中国篮坛快讯
2026-11-18 21:56:13
黄仁勋夫人比他大两岁,年轻的时候很有魅力

黄仁勋夫人比他大两岁,年轻的时候很有魅力

微评社
2026-11-18 11:42:53
榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

你的篮球频道
2026-11-18 10:31:49
高市早苗拒不道歉,专机飞往中国之前,还提要求希望得到平等待遇

高市早苗拒不道歉,专机飞往中国之前,还提要求希望得到平等待遇

通鉴史智
2026-11-18 09:37:22
阿尔卡拉斯2-0完胜世界第5,迎来ATP年终总决赛2连胜

阿尔卡拉斯2-0完胜世界第5,迎来ATP年终总决赛2连胜

侧身凌空斩
2026-11-18 22:25:18
俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

环球网资讯
2026-11-18 11:06:11
英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

懂球帝
2026-11-18 20:36:46
新加坡总理黄循财已到中国深圳!APEC4天访华行程曝光

新加坡总理黄循财已到中国深圳!APEC4天访华行程曝光

新加坡万事通
2026-11-18 20:05:06
曝邝球庭审第二天落泪,哭着承认肢解蔡天凤,自称俩儿子毫不知情

曝邝球庭审第二天落泪,哭着承认肢解蔡天凤,自称俩儿子毫不知情

喜欢历史的阿繁
2026-11-18 16:01:18
是击毁、击落,还是干扰?中国如何应对印度可能到手的图-160

是击毁、击落,还是干扰?中国如何应对印度可能到手的图-160

文史道
2025-01-24 20:16:55
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
库里:还没想过退役 这有可能是我的最后一份合同

库里:还没想过退役 这有可能是我的最后一份合同

体坛周报
2026-11-18 07:56:11
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

澳洲红领巾
2026-11-17 11:17:20
极其罕见!美俄两国最顶级战略机竟然在深圳公开同框

极其罕见!美俄两国最顶级战略机竟然在深圳公开同框

阿芒娱乐说
2026-11-18 18:01:38
2027年法国总统大选:勒庞向乌克兰确认,若当选将终止法国财政援助,称公共财政状况不允许

2027年法国总统大选:勒庞向乌克兰确认,若当选将终止法国财政援助,称公共财政状况不允许

忧郁天空
2026-11-17 20:00:37
美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

无心小姐姐
2026-11-18 10:05:20
奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

发现新西兰
2026-11-18 12:11:59
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
2026-11-18 23:00:49
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71708文章数 656270关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
家居
旅游
游戏
公开课

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

PC Gamer试玩GTA6百小时:双主角出色但任务重复

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版