网易首页 > 网易号 > 正文 申请入驻

刚刚!DeepSeek重大发布!梁文锋参与共创!

0
分享至

2月18日,DeepSeek在海外社交平台发布了一篇纯技术论文报告,论文主要内容是关于NSA(Natively Sparse Attention,原生稀疏注意力)。

据介绍,NSA专为长文本训练与推理设计,能利用动态分层稀疏策略等方法,通过针对现代硬件的优化设计,显著优化传统AI模型在训练和推理过程中的表现,特别是提升长上下文的推理能力,在保证性能的同时提升了推理速度,并有效降低了预训练成本。

在这篇名为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的论文署名中,DeepSeek创始人兼CEO梁文锋也作为共创在列。

其他研究人员来自DeepSeek、北大和华盛顿大学,其中第一作者Jingyang Yuan(袁景阳)是在DeepSeek实习期间完成的这项研究。

值得一提的是,今日中午12点(太平洋时间17日晚8点),马斯克旗下AI公司xAI发布了Grok 3及其精简版Grok 3 mini。发布会采用视频直播形式,观看人数超过100万人。

Grok 3是xAI对OpenAI的o3-mini和DeepSeek的R1等模型的回应,它可以分析图像和回答问题,并为X上的许多功能提供支持。此前马斯克在X上造势称,Grok 3是“地球上最聪明的人工智能”。

在此次直播中,马斯克透露,实际上,到训练进行到92天时,集群的规模已经扩大到了20万块GPU。

编辑|金冥羽 杜波

校对|陈柯名

封面图片来源:视觉中国

每日经济新闻综合自券商中国、财联社、公开资料等

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
51岁网络主播车内性侵未成年女性,其亲属威逼利诱给被害人父亲60万元试图私了,检察机关介入后,主播获刑4年,亲属被追究刑事责任

51岁网络主播车内性侵未成年女性,其亲属威逼利诱给被害人父亲60万元试图私了,检察机关介入后,主播获刑4年,亲属被追究刑事责任

扬子晚报
2026-11-21 14:18:12
“DeepSeek们”都在退场:限额并非免费AI的终结?

“DeepSeek们”都在退场:限额并非免费AI的终结?

锌刻度
2026-11-20 17:23:46
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

篮球大视野
2026-11-21 14:35:12
A股关键时刻,重磅政策终于落地!大利好来了

A股关键时刻,重磅政策终于落地!大利好来了

星图金融研究院
2026-11-21 15:07:29
蒋介石曾说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

蒋介石曾说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

墨策史
2026-11-04 15:27:40
2.3万亿美元“灰飞烟灭”!美国芯片股上一次跌这么惨,还是2001年,英伟达已经“跌掉一个亚马逊”

2.3万亿美元“灰飞烟灭”!美国芯片股上一次跌这么惨,还是2001年,英伟达已经“跌掉一个亚马逊”

华尔街见闻官方
2026-11-21 10:29:07
加拿大总理震动舆论,出席深圳 APEC 会议,公开称要借鉴深圳发展

加拿大总理震动舆论,出席深圳 APEC 会议,公开称要借鉴深圳发展

健身狂人
2026-11-21 11:35:16
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
为什么现在部分股民对中国股市有这么大的怨气?

为什么现在部分股民对中国股市有这么大的怨气?

星语者056
2026-11-21 10:21:43
浓眉哥36+11!奇才15分逆转双杀奇才 特雷杨制胜两罚迪班萨20+10

浓眉哥36+11!奇才15分逆转双杀奇才 特雷杨制胜两罚迪班萨20+10

醉卧浮生
2026-11-21 11:33:10
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
沉迷短剧的第一批受害者出现了

沉迷短剧的第一批受害者出现了

LULU生活家
2026-11-21 18:14:01
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
中国香港飞巴新一客机凌晨备降,疑因右引擎着火 乘客回忆:飞行近3小时,坐紧急滑梯撤离

中国香港飞巴新一客机凌晨备降,疑因右引擎着火 乘客回忆:飞行近3小时,坐紧急滑梯撤离

红星新闻
2026-11-21 16:33:07
5.7GB压到1.7GB,他劝你别急着买内存

5.7GB压到1.7GB,他劝你别急着买内存

Ping值焦虑
2026-11-20 14:40:27
外媒:印度东北部发生假酒致人中毒事件,已致至少11人死亡、180余人入院

外媒:印度东北部发生假酒致人中毒事件,已致至少11人死亡、180余人入院

环球网资讯
2026-11-21 16:27:23
轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

体育火锅T
2026-11-21 12:51:57
2026-11-21 18:52:49
每日经济新闻 incentive-icons
每日经济新闻
中国主流财经全媒体平台。
1701937文章数 2729004关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
本地
房产
教育
公开课

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版