网易首页 > 网易号 > 正文 申请入驻

DeepSeek 开源第三枪:加速推理只需300行代码

0
分享至

DeepSeek开源周迎来第三弹——高性能矩阵计算库DeepGEMM 正式开源!

这个被称为“AI数学加速器”的工具,专为提升大模型训练与推理速度而生,在Hopper架构GPU上实现FP8精度下1350+ TFLOPS的恐怖算力 ,代码极简却性能炸裂,堪称算力领域的“暴力美学”。

FP8精度,算力天花板再突破,采用8位浮点数(FP8)格式,相比传统32位浮点运算,如同用“小杯装水”替代“大桶储水”,牺牲微小精度换取 3倍以上速度提升 ,完美适配AI场景对误差的容忍性。

在Hopper GPU上实测1350+ TFLOPS (每秒1.35千万亿次浮点运算),远超市面主流显卡(如RTX 4090的400-500 TFLOPS)。

300行代码,性能碾压手工优化核心逻辑仅需300行代码 ,却通过全流程JIT编译优化 ,实现比手工调优算子更高效能,真正诠释“少即是多”。无额外依赖项,开箱即用,开发者可快速集成至现有框架。

双模式支持,适配全场景计算同时支持稠密矩阵布局 (全量数据统一计算,如全班做同一张试卷)和混合MoE布局 (分任务处理,如数学题给专家A、语文题给专家B),灵活应对不同模型需求。

FP8的“省电模式” :低精度计算大幅降低显存占用和功耗,让万亿参数大模型在24G显存单卡上也能跑出28倍推理加速 (参考KTransformers项目)。

MoE杀手级优化 :通过连续/掩码双布局 ,解决专家模型计算中的通信瓶颈,让万亿参数MoE推理“快如闪电”。极简代码哲学 :摒弃冗余设计,专注底层优化,重新定义高性能计算边界。

随着DeepGEMM的开源,DeepSeek R2模型(预计5月发布)的算力瓶颈将进一步突破。未来,从训练到推理,从单卡到分布式,DeepSeek正构建一套全栈开源Infra体系 ,让AI创新不再受制于算力成本。

根据知情人士消息,DeepSeek 正在加速推出 1 月发布的 R1 模型升级版 — DeepSeek R2。其中两位知情人士表示,DeepSeek 原计划在 5 月初发布 R2,具体时间尚未透露。

同时DeepSeek 今天也重新开放了 API 充值入口,此前因资源紧张,其曾一度关闭充值入口。目前 deepseek-chat 模型优惠期结束,调用价格已变更为每百万输入 tokens 2 元,每百万输出 tokens 8 元。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
皇马切尔西酝酿重磅互换:巴尔韦德加钱换恩佐,门德斯牵线

皇马切尔西酝酿重磅互换:巴尔韦德加钱换恩佐,门德斯牵线

星耀国际足坛
2026-06-02 23:07:07
中方劝告失效,李在明我行我素,向世界宣告,韩国加快引进核潜艇

中方劝告失效,李在明我行我素,向世界宣告,韩国加快引进核潜艇

铁锤简科
2026-05-30 12:42:24
文班亚马评选历史最佳五虎,名单公布后热搜,第一是“科比无缘”

文班亚马评选历史最佳五虎,名单公布后热搜,第一是“科比无缘”

十点体坛
2026-06-02 21:15:46
洛杉矶发现部分邮寄选票被烧毁,选民干预选举加剧

洛杉矶发现部分邮寄选票被烧毁,选民干预选举加剧

亚太观澜
2026-06-02 20:50:03
六台:小蜘蛛经纪人已和巴萨会面,商谈一份为期五年的协议

六台:小蜘蛛经纪人已和巴萨会面,商谈一份为期五年的协议

懂球帝
2026-06-02 14:37:11
铭记这一刻,巴黎球迷将加布里埃尔踢飞点球的瞬间纹在小腿上

铭记这一刻,巴黎球迷将加布里埃尔踢飞点球的瞬间纹在小腿上

懂球帝
2026-06-02 11:14:56
逆袭美债!黄金登顶全球储备第一,5500美元才刚起步?

逆袭美债!黄金登顶全球储备第一,5500美元才刚起步?

格隆汇
2026-06-02 21:45:19
特朗普,开掉“不听话的情报头子”

特朗普,开掉“不听话的情报头子”

中国新闻周刊
2026-06-02 21:26:00
刘少奇之子刘源身陷困境求助宋庆龄,九字回复令他动容

刘少奇之子刘源身陷困境求助宋庆龄,九字回复令他动容

唠叨说历史
2026-05-29 14:16:53
U19国足被非洲球队横扫带来启示:业余球员赶紧转职业,职业球员尽量去欧洲

U19国足被非洲球队横扫带来启示:业余球员赶紧转职业,职业球员尽量去欧洲

文汇报
2026-06-03 04:12:09
偷情过后,男人和女人谁更想“再来一次”?答案很真实

偷情过后,男人和女人谁更想“再来一次”?答案很真实

心理观察局
2026-05-20 07:40:06
博福尔城堡陷落:黎巴嫩真主党为何“数万大军”形同虚设

博福尔城堡陷落:黎巴嫩真主党为何“数万大军”形同虚设

民间胡扯老哥
2026-06-01 16:12:33
2次!刻进DNA的恐惧!他被文班防到不敢投!

2次!刻进DNA的恐惧!他被文班防到不敢投!

柚子说球
2026-06-02 22:34:15
中美军方密谈了两天,谈完后才公布!真正让高市早苗哭的时刻到了

中美军方密谈了两天,谈完后才公布!真正让高市早苗哭的时刻到了

健身狂人
2026-06-02 18:24:28
巴顿将军80年前的预言正在变成现实,就看川普能否挽狂澜于既倒

巴顿将军80年前的预言正在变成现实,就看川普能否挽狂澜于既倒

壹家言
2026-05-31 08:29:09
特大串通投标案,涉案金额达110亿余元,22人已判刑!

特大串通投标案,涉案金额达110亿余元,22人已判刑!

新浪财经
2026-06-03 02:41:42
为什么领导都喜欢上班?网友曝光领导抽屉都是性用品:丝袜、套套

为什么领导都喜欢上班?网友曝光领导抽屉都是性用品:丝袜、套套

黯泉
2026-06-01 15:33:05
广州再添一座五星级酒店!明年开业

广州再添一座五星级酒店!明年开业

羊城攻略
2026-06-02 22:34:20
紫牛头条|砖块松动“坑倒”骑车人致其多处骨折,交警无法出具责任认定,咋索赔?

紫牛头条|砖块松动“坑倒”骑车人致其多处骨折,交警无法出具责任认定,咋索赔?

扬子晚报
2026-06-02 22:08:24
小米13kg洗烘一体机开售:洗净比1.3,国补到手不到3千

小米13kg洗烘一体机开售:洗净比1.3,国补到手不到3千

Ping值焦虑
2026-06-01 08:56:47
2026-06-03 06:19:00
PConline太平洋科技 incentive-icons
PConline太平洋科技
深度剖析未来趋势,实用解答科技疑惑,趣味呈现科技魅力!
39658文章数 865040关注度
往期回顾 全部

科技要闻

烧掉千亿后,美团、阿里、京东谁先止血?

头条要闻

演员魏宗万去世 曾在94版《三国演义》中饰演"司马懿"

头条要闻

演员魏宗万去世 曾在94版《三国演义》中饰演"司马懿"

体育要闻

1米74的业余联赛替补,在英超踢中卫

娱乐要闻

奚梦瑶何猷君补办婚礼超幸福

财经要闻

智元和宇树的“暗战”愈演愈烈

汽车要闻

星途神秘新车轮廓曝光 又一款性能SUV要来了?

态度原创

艺术
健康
游戏
房产
公开课

艺术要闻

二十年前割麦的场景

违规干细胞应用,暗藏致命隐患!

离发售不远了!《寂静岭》系列新作已公开游戏评级

房产要闻

5200巨量投资曝光!未来五年,海南格局大变!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版