网易首页 > 网易号 > 正文 申请入驻

DeepSeek下一代技术提前曝光,梁文锋署名论文获ACL2025最佳论文

0
分享至

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

在ACL 2025的颁奖典礼上,由DeepSeek梁文锋作为通讯作者、与北京大学等联合发表的论文荣获最佳论文奖。

这次ACL 2025规模空前,总投稿量达到8360篇,相较于去年的4407篇几乎翻倍,竞争异常激烈 。

简单来说,他们提出的原生稀疏注意力(NSA)机制,通过算法与硬件的协同优化,直接把长文本处理速度提升了11倍。更厉害的是,性能不仅没降反而还超越了传统的全注意力模型。

一作袁境阳在会上发表演讲,透露这项技术可以把上下文长度扩展到1百万tokens,将被应用到下一个前沿模型中。

结合论文发表于DeepSeek-R1推出之后,实验设置中也提到使用了DeepSeek-R1的蒸馏数据来微调了新的模型。

大家纷纷猜测,这项技术将被用于下一代DeepSeek-V4以及DeepSeek-R2。

给注意力机制瘦身,速度狂飙11倍

长久以来,大语言模型处理长文本就像是戴着镣铐跳舞。传统的全注意力机制计算复杂度随序列长度呈平方级增长,处理64k长度的文本时,注意力计算竟然要占到总延迟的70-80%。

这篇论文的解决思路很巧妙:既然不是所有词之间的关系都同等重要,为什么不让模型学会”抓重点”呢?

NSA采用了一种动态分层的稀疏策略,通过三条并行的注意力分支协同工作:

  • 压缩注意力,负责捕捉粗粒度的全局信息模式,就像快速浏览全文抓住大意;
  • 选择性注意力,则专注于序列中最重要的词块,相当于精读关键段落;
  • 滑动注意力,负责获取局部的上下文信息,确保细节不丢失。

这种设计最精妙的地方在于,它不是简单地丢弃信息,而是通过精心设计的算法平衡了计算密度。

更重要的是,整个架构针对现代GPU硬件进行了深度优化,实现了端到端的原生可训练模式。

在实际测试中,处理64k长度序列时,NSA在解码、前向传播和反向传播的全生命周期中都展现出惊人的速度优势。

解码阶段速度提升11.6倍,前向传播提升9倍,反向传播也有6倍的加速,无论是模型推理还是训练,都能获得实实在在的效率提升。

不仅快还更准,长文本处理迎来新突破

速度快只是NSA的一面,更让人惊讶的是它在各项基准测试中的表现。

在通用基准测试中,采用NSA预训练的27B参数模型在9个评测指标中有7个超越了全注意力基线。特别是在推理相关的基准测试上,DROP提升了0.042,GSM8K提升了0.034,显示出稀疏注意力在强制模型聚焦关键信息方面的独特优势。

长文本处理能力的测试结果更是亮眼。在64k上下文的”大海捞针”测试中,NSA在所有位置都实现了完美的检索准确率。在LongBench基准测试上,NSA取得了0.469的平均分,不仅超越了全注意力基线(+0.032),更是大幅领先其他稀疏注意力方法。

特别值得一提的是,在需要复杂推理的多跳问答任务上,NSA相比全注意力分别提升了0.087(HPQ)和0.051(2Wiki);在代码理解任务(LCC)上提升了0.069;在段落检索任务(PassR-en)上提升了0.075。

研究团队还进行了一项有趣的实验:

他们用DeepSeek-R1的数学推理数据对模型进行微调,然后在美国数学邀请赛(AIME 24)上测试。

结果显示,NSA-R在8k上下文设置下的准确率达到0.121,而全注意力模型只有0.046;即使在16k上下文下,NSA-R仍然保持0.146的准确率,远超全注意力的0.092。

这些结果充分证明了NSA不是通过牺牲性能来换取速度,而是真正实现了效率和能力的双赢。

Three More Thing

这次总共评选出4篇最佳论文,另外三篇包括:

北大团队的《Language Models Resist Alignment: Evidence From Data Compression》

研究了大型语言模型的“弹性”,指模型经过对齐训练(让模型符合人类价值观、减少有害输出)后,很容易因为后续的微调而变回预训练时的状态,就像弹簧被拉伸后会反弹一样。

这意味着现有的对齐方法可能只是表面上改变了模型,不够稳固。未来需要更有效的对齐技术,才能让模型真正稳定地符合人类需求,尤其是在开源模型中,要避免恶意微调轻易破坏安全机制。

斯坦福团队的《Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs》

研究了大模型“公平性” 上的一个新视角 “差异感知”。简单来说,就是模型应该在合适的场景下对不同群体做出区分,而不是一味地 一视同仁。

研究发现那些在传统公平性测试中表现好的模型,在 “差异感知” 上得分并不高;模型能力越强(比如 MMLU 分数越高),情境感知能力越好,但差异感知能力未必提升;现有的 “去偏见” 方法(比如提示模型 “保持无偏见”)反而会让模型更 无视差异,甚至把正确答案改错。

亥姆霍兹信息安全中心等团队的《A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive》。

这篇论文指出大模型生成回答时的采样机制与人类决策类似,包含描述性成分(反映概念的统计常态)和规定性成分(隐含的概念理想状态)。

研究通过实验验证,无论是新创概念还是现有概念(涵盖 10 个领域的 500 个概念),LLMs 生成的样本都会偏离统计平均值,向其认为的 “理想值” 偏移,且这种现象在 15 种不同模型中均显著存在。案例研究显示,这种偏向可能导致医疗等领域的有偏决策,引发伦理问题。

DeepSeek论文地址:
https://arxiv.org/abs/2502.11089

参考链接:
[1]https://x.com/aclmeeting/status/1950572483637067786
[2]https://x.com/casper_hansen_/status/1950649481617342803

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
终于来了!苹果刚刚发布 iOS 27.3 新系统更新

终于来了!苹果刚刚发布 iOS 27.3 新系统更新

XCiOS俱乐部
2026-11-17 04:08:58
5-4!斯诺克一夜4场绝杀,中国军团3胜3负,附17日赛程白雨露出战

5-4!斯诺克一夜4场绝杀,中国军团3胜3负,附17日赛程白雨露出战

球场没跑道
2026-11-17 08:45:40
中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

浯江孤舟
2026-08-31 10:07:56
研究发现:百病始于肠,肠道最爱的6种食物,不要太节省

研究发现:百病始于肠,肠道最爱的6种食物,不要太节省

王二哥老搞笑
2026-11-17 03:43:49
打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

娱乐圈见解说
2026-11-17 08:20:03
乌克兰车臣志愿营唯一女兵拉亚娜,在顿涅茨克前线阵亡,这个业余泰拳教练,从2024年走上战场,打了3年最终倒下了!

乌克兰车臣志愿营唯一女兵拉亚娜,在顿涅茨克前线阵亡,这个业余泰拳教练,从2024年走上战场,打了3年最终倒下了!

吃瓜小侦探
2026-11-17 08:51:16
宝马沈阳生产基地传来大消息!

宝马沈阳生产基地传来大消息!

沈阳生活圈i
2026-11-17 11:14:47
65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

磊子讲史
2026-11-16 16:23:07
震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

火山詩话
2026-11-16 16:02:11
奉命执行死刑的战士向他敬礼后,开了枪

奉命执行死刑的战士向他敬礼后,开了枪

这才是战争
2026-11-16 15:08:10
笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

王老师你还好吗
2026-11-06 14:39:40
传央行摸底"债息税":国债地方债利息或征25%所得税

传央行摸底"债息税":国债地方债利息或征25%所得税

爆角追踪
2026-11-16 18:02:59
11月起开始严厉打击,这八类灰色行为将入刑!

11月起开始严厉打击,这八类灰色行为将入刑!

逍遥论经
2026-11-16 09:00:39
27岁女星自曝“被注射针剂”,身无分文露宿广东街头,还有更揪心的

27岁女星自曝“被注射针剂”,身无分文露宿广东街头,还有更揪心的

调侃国际观点
2026-11-15 23:32:33
中国股市大局已定?不出意外,11月起中国股市或将迎来3个变化

中国股市大局已定?不出意外,11月起中国股市或将迎来3个变化

星语者056
2026-11-17 08:46:01
他是任长霞独子,父母都已去世,如今他成副支队长,早已娶妻生子

他是任长霞独子,父母都已去世,如今他成副支队长,早已娶妻生子

不写散文诗
2026-11-16 16:35:03
今年双11的手机销量TOP10,第一名恐怖如斯

今年双11的手机销量TOP10,第一名恐怖如斯

刘奔跑
2026-11-15 01:10:10
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

专业聊房君
2026-11-14 15:10:12
一张图吓得研究员当场辞职!Anthropic最疯神图流出

一张图吓得研究员当场辞职!Anthropic最疯神图流出

新智元
2026-11-15 16:41:23
2026-11-17 15:52:49
量子位 incentive-icons
量子位
追踪人工智能动态
13688文章数 176601关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
艺术
数码
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版