网易首页 > 网易号 > 正文 申请入驻

北大拿下2篇最佳论文,DeepSeek实习生立功,华人横扫这场AI顶会

0
分享至

智东西7月31日报道,昨天,第63届计算语言学协会年会(ACL 2025)在奥地利召开。作为自然语言处理领域最具学术影响力的会议之一,本届ACL吸引了超过8300多篇论文的投稿,中国大陆科研人员在本届ACL实现明显突破。

最佳论文奖是ACL最受关注的奖项,今年ACL共评选出4篇最佳论文,其中2篇来自中国大陆,分别由北大、DeepSeek和华盛顿大学联合团队,以及北大-灵初智能联合实验室摘得。

DeepSeek等机构的获奖论文以原生稀疏注意力(NSA)为主题,第一作者为袁境阳。袁境阳在DeepSeek实习期间提出了NSA模型,现在在北京大学计算机学院攻读博士学位。DeepSeek创始人兼CEO梁文锋也出现在作者名单中。

NSA可用于超快速的长上下文训练与推理,以性价比极高的方式,罕见地在训练阶段应用稀疏性,在训推场景中均实现速度的明显提升,特别是在解码阶段实现了高达11.6倍的提升。

论文链接:https://aclanthology.org/2025.acl-long.1126/

北大-灵初智能联合实验室首席科学家杨耀东博士团队的获奖论文,则揭示了大模型参数结构中存在的一种弹性机制,并可能导致模型在后训练阶段产生抗拒对齐的行为。这一发现对AI治理和安全问题很有启发意义。

论文链接:https://aclanthology.org/2025.acl-long.1141/

其余2篇最佳论文来自美国、德国。斯坦福大学、康奈尔大学(科技校区)联合团队在获奖论文中提供了一套评估算法公平性的基准测试,并发现现有促进算法公平性的手段存在误区,如果盲目使用可能会适得其反。

论文链接:https://aclanthology.org/2025.acl-long.341.pdf

由德国CISPA亥姆霍兹信息安全中心、TCS Research以及微软三家机构合作的获奖论文,则聚焦于大型语言模型在自主决策中的采样偏差——揭示其背后由“描述性常态”与“规定性理想”共同塑造的启发式机制,并通过公共卫生与经济趋势等现实案例,论证这种向理想值偏移的现象如何在实际应用中导致显著偏差与伦理风险。

论文链接:https://aclanthology.org/2025.acl-long.1454/

ACL官方数据显示,2025年,所有投稿论文中的第一作者中,有51.3%来自中国大陆,与去年30.6%的比例实现了明显增长;今年所有作者中,中国大陆作者的比例也达到51%。过去两年,美国在第一作者数量上均位居第二,不过比例已经从2024年的29.6%下降至2025年的14.0%。

以下是本届ACL中两篇来自中国大陆的最佳论文的核心内容梳理:

一、DeepSeek联手北大:新型稀疏注意力机制,让模型解码狂飙11.6倍

北京大学、DeepSeek和华盛顿大学联合团队(后简称联合团队)的获奖论文全名为《原生稀疏注意力:面向硬件对齐且可原生训练的稀疏注意力机制(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)》,曾于今年2月份作为DeepSeek-R1开源的系列技术报告之一发布。

什么是稀疏注意力?与传统注意力机制相比,稀疏注意力方法能通过选择性计算关键的查询键对来减少计算开销。不过,现有许多稀疏注意力方法在实际推理中未能显著降低延迟,还无法适应现代高效的解码架构,也缺乏对训练阶段的支持。

联合团队希望解决现有稀疏注意力的两大问题,一是事后稀疏化导致的性能退化,二是现有稀疏方法在长序列训练的效率短板。

NSA的核心思想是通过动态分层稀疏策略,结合粗粒度的token压缩和细粒度的token选择,保留全局上下文感知能力和局部精确性。

在NSA机制中,模型会同时使用三种不同的注意力方式来处理输入文本,每种方式都有它自己的擅长领域:

(1)压缩注意力

这个分支把输入的信息聚合成块,捕捉粗粒度的语义信息,也就是对输入内容的关键信息进行总结提炼。压缩注意力可以减少计算的工作量,但会损失细节。

(2)选择性注意力

为了避免压缩时遗漏重要内容,NSA新增了选择性注意力机制。这一机制给每一块信息打个“重要程度”的分数,并选择最关键的信息进行更细致的计算。这样既能保留关键细节,又不会让计算变得太复杂。

(3)滑动窗口注意力

这个分支负责处理文本中临近的词之间的关系。它会在固定大小的窗口内计算注意力,比如只看当前词前后的几个词,这样可以更好地理解局部上下文。这个机制能防止模型太过依赖前两个机制,而忽视邻近词之间的联系。

整体来看,NSA通过这三种注意力机制互相配合,一方面节省计算资源,一方面又能兼顾全局语义和关键细节。

▲NSA架构概览

为测试NSA机制的实际效果,联合团队在同一模型的基础上,分别使用了不同的注意力机制,比如传统的全注意力机制、NSA机制等,并在多个测试任务上进行比较。

使用NSA机制的模型在9个测试中获得了7项最佳成绩,整体表现超过了其它所有方法,包括全注意力。尤其是在逻辑推理、问答等任务上,采用NSA机制的模型表现较好,这说明它能排除掉不重要的信息,把注意力集中在真正关键的部分。

除了质量方面的提升,NSA还带来效率方面的优势。联合团队在8张A100显卡上做了测试,他们发现:

(1)在64k长度的文本输入下,NSA的前向计算速度是全注意力的9倍;

(2)反向计算速度是全注意力的6倍;

(3)在解码时,NSA将速度提升至原有的11.6倍。

这些提速的关键在于NSA对硬件更友好,比如,其内存访问是按“块”来走的,最大化了张量核心的利用率,而且内部调度机制减少了不必要的计算负担。

二、北大-灵初智能团队:探索模型对齐困境,“弹性”机制或成开源模型隐忧

北大-灵初智能联合实验室首席科学家杨耀东博士团队(后简称该团队)的获奖论文全名为《语言模型抗拒对齐:来自数据压缩的证据(Language Models Resist Alignment: Evidence From Data Compression)》。这一研究揭示了一个关键问题:大语言模型在对齐时其实会反抗。

该团队发现,尽管我们可以通过各类对齐方式让模型变得更“安全”、更“符合人类价值观”,模型本身其实倾向于回到它原来预训练时学到的原始分布。就像一个弹簧被拉伸后又想回到原始状态,这种行为被称为“弹性”。

这种弹性体现在两个方面:

(1)抵抗(Resistance):模型不太愿意改变自己,仍然保留原来的分布特征;

(2)反弹(Rebound):对模型对齐越深,它反弹回原始状态的速度反而越快——如果用反方向训练(比如取消之前的对齐过程),它很快就会打回原形。

研究还发现,这种行为可以用压缩率变化来衡量——也就是说,模型对不同数据集的学习压缩程度变化,与数据量大小成反比。

为了进一步解释这种行为,该团队构建了一个理论模型:语言模型训练和对齐过程其实是一种信息压缩过程。他们基于“压缩定理”(compression theorem)和“压缩协议”(compression protocol),从信息论的角度来分析模型为什么会产生“弹性”——这为理解为什么对齐不稳定提供了数学框架。

最后,该团队通过一系列实验,验证了这一现象在不同的大模型中都存在。这说明“弹性”并不是个别模型的特例,而是语言模型训练过程中一种普遍的内在机制。

因此,要想实现真正稳固的对齐,不能只停留在表层的微调,而必须深入理解并对抗这种由压缩机制引发的反对齐倾向。

该团队还基于模型弹性机制,提出了对开源策略的思考。

一方面,开源模型权重有助于研究者快速发现漏洞、推动大规模对齐与安全研究;另一方面,模型弹性也意味着,即便是通过审计和安全微调的模型,如果被公开,一旦出现更先进的反对齐手段,这些模型也可能很容易被重置到未对齐状态,大大降低模型“越狱”的门槛,破坏原有的安全机制,带来现实风险。

结语:华人AI研究者集体崛起,安全成为ACL热点议题

除了中国大陆团队在最佳论文奖上的杰出表现,ACL 2025还见证了华人AI研究者的集体崛起。

本届ACL评选出26篇杰出论文,这是重要性仅次于最佳论文的奖项。这26篇论文中,有13篇论文的第一作者为华人,占比达50%。这也显示出,华人AI研究者在全球范围内的学术影响力,正不断扩大。

值得一提是,ACL的获奖论文中,有大量以AI安全、监督、对齐等为主题,学术界对这些重要议题的关注,给产业界的AI研究提供了极为有益的补充。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
AMD完成收购World Labs!李飞飞加盟出任首席科学家 直接向苏姿丰汇报

AMD完成收购World Labs!李飞飞加盟出任首席科学家 直接向苏姿丰汇报

快科技
2026-11-17 07:15:04
央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

削桐作琴
2026-11-09 15:29:05
12生肖各自戴什么首饰运气最好?戴对了财运翻倍,看看你戴的对吗

12生肖各自戴什么首饰运气最好?戴对了财运翻倍,看看你戴的对吗

千秋文化
2026-10-15 19:28:44
宝马沈阳生产基地传来大消息!

宝马沈阳生产基地传来大消息!

沈阳生活圈i
2026-11-17 11:14:47
巴拉圭主帅:日本是世界前十强队,这是长期积累的结果

巴拉圭主帅:日本是世界前十强队,这是长期积累的结果

懂球帝
2026-11-17 16:28:07
56岁退休女一句大实话:出轨率高的女人,不看长相,就看这3特征

56岁退休女一句大实话:出轨率高的女人,不看长相,就看这3特征

伊人河畔
2026-08-12 09:39:02
郎朗师妹、“钢琴魔女”王羽佳国家大剧院演出迟到17分钟,躲在琴房找感觉,引发观众不满;此前香港站临时缩减演出时长,主办方无奈退款

郎朗师妹、“钢琴魔女”王羽佳国家大剧院演出迟到17分钟,躲在琴房找感觉,引发观众不满;此前香港站临时缩减演出时长,主办方无奈退款

极目新闻
2026-11-17 16:39:40
英国公布的圆明园被毁前照片,美如仙境,引发世界关注

英国公布的圆明园被毁前照片,美如仙境,引发世界关注

贱议你读史
2026-05-23 15:23:34
成都舞厅真实内情:200元一小时,吃饭逛公园看电影样样配齐

成都舞厅真实内情:200元一小时,吃饭逛公园看电影样样配齐

成都人的故事
2026-08-08 17:35:06
深珠通道没影了?珠海唐家湾房价从3万8砸穿1万4,高管全套牢

深珠通道没影了?珠海唐家湾房价从3万8砸穿1万4,高管全套牢

珠三角港
2026-11-14 21:49:30
我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

财经要参
2026-11-03 12:00:06
多次公开预警!高志凯预判:年底至明年初全球可能迎一轮金融风暴

多次公开预警!高志凯预判:年底至明年初全球可能迎一轮金融风暴

相思赋予谁a
2026-11-17 20:29:52
美伊谈判突然反转!特朗普放狠话:攥着他们的钱和海峡!

美伊谈判突然反转!特朗普放狠话:攥着他们的钱和海峡!

新时代精神
2026-11-17 20:23:39
晨起后出现3个异常,暗示肝可能生病了,若一个不占,肝脏很健康

晨起后出现3个异常,暗示肝可能生病了,若一个不占,肝脏很健康

轩辕岛
2026-11-11 12:05:06
雨雪大风降温半夜到!大连降雪时段覆盖明后两天

雨雪大风降温半夜到!大连降雪时段覆盖明后两天

半岛晨报
2026-11-17 17:31:39
恩比德:收着打的时候感觉哪儿都不对 想全力以赴

恩比德:收着打的时候感觉哪儿都不对 想全力以赴

北青网-北京青年报
2026-11-17 20:51:03
国足全队为杨希出头!贺炜支持:不鼓励打架,但勇敢才能捍卫尊严

国足全队为杨希出头!贺炜支持:不鼓励打架,但勇敢才能捍卫尊严

风过乡
2026-11-17 13:56:49
1955年湖北一农民受主席点名,享受元帅待遇,他为何会如此特殊?

1955年湖北一农民受主席点名,享受元帅待遇,他为何会如此特殊?

沆砀无垠
2026-11-17 20:25:03
"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

一丝不苟的法律人
2026-11-04 15:22:28
英皇娱乐宣布:谢霆锋、容祖儿任集团董事,今日正式履职,“谢霆锋乃重要功臣,与集团休戚与共”!两人回应,杨受成表态

英皇娱乐宣布:谢霆锋、容祖儿任集团董事,今日正式履职,“谢霆锋乃重要功臣,与集团休戚与共”!两人回应,杨受成表态

扬子晚报
2026-11-17 15:39:51
2026-11-17 21:12:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12953文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

时尚
房产
旅游
公开课
军事航空

今年秋冬最火搭配:风衣+阔腿裤,怎么穿都时髦

房产要闻

5381亩之后,三亚绿谷,等一个500强!

旅游要闻

期待值拉满!北京将上新这些博物馆

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版