贵州
DeepSeek发布了最新的研究成果——原生稀疏注意力（Native Sparse Attention, NSA）直击当下推理模型的痛点：高数据成本及复杂架构复杂！值得一提的是，幻方科技、DeepSeek 创始人梁文锋作为co-authors也亲自下场参与了。
传统 Attention 机制的计算复杂度随着序列长度的增加而呈平方级增长，这成为了制约 LLM 发展的关键瓶颈。NSA 的核心亮点可以简单概括为：极致的降本增效，友好的硬件设计，挑战预训练Scaling Law规则，可以称得上是LLM 领域又一里程碑式进展！
NSA对应的KV-Cache是否也是稀疏的？
NSA的三个Attention各自目的是什么？是如何实现的？
NSA是否能减少超大的矩阵计算的空间复杂度问题NSA的training/forward/prefill/decoding各阶段的时空/计算复杂度是怎么样的？
NSA 的内核是如何减少对SRAM的访存的。
我整理了DeepSeek的资源大全，涉及到DeepSeek 的官方链接、开源项目、专业的技术分析文章，以及不断更新的行业资讯，你想知道的关于 DeepSeek 的一切，都可以在这里找到。扫码免费领取⬇️（下滑还有更多福利）
为了帮大家解决包括但不限于以上疑问，研梦非凡3月7日晚（周五）邀请了手握10余篇顶会的杨导师给大家详细介绍NSA的设计原理、实验设置以及实验结果，希望能为大家DeepSeek在相关领域的技术发展带来一些启发。
扫码预约直播课
直播课内容概览
1. Native Sparse Attention的核心根据
2. 相关工作
a. 固定的稀疏模式
b. 动态Token剪枝
c. Query意识的选择
3. 重新思考稀疏注意力模块
a. 高效推理的错觉
b. 可训练稀疏度
c. 原生的稀疏性
4. 算法框架
a. 背景
b. 整体结构设计
c. 算法设计
d. Token的压缩与选择
e. Kernel的设计
5. 实验要点
a. 实验配置
b. 主实验分析
c. 消融实验分析
d. 讨论
6. 总结与展望
a. 更加高效的长文本加速方法
b. 分层次的Token压缩
导师介绍
杨导师
【简介】毕业于知名计算机名校。博士期间研究方向聚焦为计算机视觉，自然语言处理，高效的深度学习训练和推理方法，大语言模型轻量化与高效微调技术。
曾在多家公司担任算法研究员，并进行计算机视觉，高效模型压缩算法，多模态大语言模型的研究，包括模型量化，剪枝，蒸馏，编译以及高效稀疏化训练与推理。
【科研成果】在国际顶级会议CVPR,ICCV, EMNLP等发表13篇论文，并担任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要会议和期刊的审稿人。
多项发明专利，指导学生有耐心，教学严谨，思维逻辑缜密，已经指导数十篇论文。对于成果好的学生，帮助学生写推荐信和指导申请硕/博申请。
研梦非凡可指导的研究方向
主流方向科研论文常用方法
扫码预约直播课领资料+福利
梦非凡科研论文指导方案
idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！
全程1v1论文辅导扫码咨询助教
研梦非凡导师团队
研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，以及国内外知名人工智能实验室研究员。
这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～～
<<< 左右滑动见更多 >>>
扫码预约研梦非凡1v1导师meeting
研梦非凡隶属于苏州研途教育，深耕考研辅导行业13年，累计服务1w+付费学员（60%高校学生/教师，40%职场精英）；科研为本，质量为先！我们有：500+ 国内外顶尖高校博士/教授，互联网大厂/独角兽公司的高级算法科学家组成的教师团队;深度定制的科研服务，根据每位学员的实际情况，提供个性化的科研辅导方案，确保交付结果;一站式、全方位科研支持，从选题到方案设计，从实验实施到论文撰写、成果发表，4V1全流程保姆式服务！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
