网易首页 > 网易号 > 正文 申请入驻

KunLun AI Space 基于华为昇腾实现 DeepSeek V3.1 FP8 推理

0
分享至

IT之家 10 月 28 日消息,近期发布的 DeepSeek V3.1 大模型,因搭载了 FP8 精度格式(UE8M0 FP8)引发业界关注。据华为计算今日消息,河南昆仑技术有限公司(简称“昆仑技术”)基于昇腾 AI 的 Ascend C 算子编程语言,研发出软 FP8 解决方案。

据介绍,FP8 精度格式对比传统的 FP16 / BF16 精度能让模型的显存需求直接减半,降低服务器硬件压力;对比常见的 INT8 量化精度,推理精度更高、数据表示范围更广,解决了“降成本”与“保效果”的矛盾。

▲ 图源:KunLun AI Space 官网截图

该方案实现了“精度无损、成本减半”双重核心突破:

  • 将 FP8 权重模型输入昇腾硬件,通过精准的反量化算子,转化为 BF16 格式参与计算,既保障了计算过程的准确性,又为后续新 FP8 权重模型的快速适配预留了灵活空间,无需权重格式的多次转换;
  • 在模型精度几乎无损的前提下,单台 KunLun G8600 即可流畅运行满血版 DeepSeek V3.1 模型;即便在 KunLun G5500V2、KunLun G5580 等标卡机型上,也能实现模型参数规模翻番,同时大幅提升并发处理能力,让不同硬件配置的用户都能享受到 FP8 推理的技术红利。

昆仑技术的软 FP8 解决方案拥有三大核心技术:自研 FP8 反量化算子,显存与内存带宽双减半;算子整图下发,推理效率提升 32%;生态级兼容:主流模型无缝支持。

IT之家从华为计算获悉,KunLun AI Space 软 FP8 解决方案全面兼容 DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3 等主流 FP8 量化模型。同时,该方案具备很好的扩展性,可以快速支持后续新出的模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
诺兰放话:《奥德赛》删减片段永远不会公开

诺兰放话:《奥德赛》删减片段永远不会公开

娱圈观察员
2026-11-20 07:47:16
飞了60.4公里就落地,国产电动飞机被骂惨!真正看点根本不是航程

飞了60.4公里就落地,国产电动飞机被骂惨!真正看点根本不是航程

老娱记啊
2026-11-19 15:31:44
随着科莫2-0,拉齐奥3-0,意甲最新积分榜出炉

随着科莫2-0,拉齐奥3-0,意甲最新积分榜出炉

侧身凌空斩
2026-11-21 23:59:32
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
户上隼辅4-1成双冠王!桥本帆乃香连续两周女单夺冠,日本四冠收官

户上隼辅4-1成双冠王!桥本帆乃香连续两周女单夺冠,日本四冠收官

叮咚体坛
2026-11-21 23:37:53
50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

观鱼听雨
2026-11-21 19:16:00
日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

台州交通广播
2026-11-21 23:09:45
半夜小三把跟我老公的床上照片发来膈应我,我立马转给她爹妈:你家闺女真够忙的,睡个觉还得拍照汇报,第二天她家直接闹翻了天

半夜小三把跟我老公的床上照片发来膈应我,我立马转给她爹妈:你家闺女真够忙的,睡个觉还得拍照汇报,第二天她家直接闹翻了天

灵魂漂流瓶
2026-11-21 18:00:40
火箭惜败掘金!NBA最新排名:湖人联盟第一,火箭被灰熊反超,勇士第11

火箭惜败掘金!NBA最新排名:湖人联盟第一,火箭被灰熊反超,勇士第11

体育就你秀
2026-11-22 01:07:20
全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

徐德文科学频道
2026-11-20 15:21:42
原来有些东西换个名字搜就能便宜一半!网友:亲戚来我家都要问!

原来有些东西换个名字搜就能便宜一半!网友:亲戚来我家都要问!

另子维爱读史
2026-11-20 21:57:06
阿隆索:切尔西正处心理脆弱期,需共同渡过难关

阿隆索:切尔西正处心理脆弱期,需共同渡过难关

懂球帝
2026-11-22 02:35:41
“这种家庭,一年至少10w”,一张窒息的客厅照片,内行人却看懂了

“这种家庭,一年至少10w”,一张窒息的客厅照片,内行人却看懂了

泽泽先生
2026-11-02 13:39:10
纯电续航850km!比亚迪新车官宣:11月24日正式上市

纯电续航850km!比亚迪新车官宣:11月24日正式上市

科技阿维
2026-11-21 22:45:19
突然宣布结婚!今天的瓜,整个娱乐圈都羡慕不来

突然宣布结婚!今天的瓜,整个娱乐圈都羡慕不来

设计最前沿
2026-11-21 01:10:14
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
同样是央视剧,为何观众宁愿二刷《伟大的长征》,也看不下去《谷雨》和《多喜一家人》?

同样是央视剧,为何观众宁愿二刷《伟大的长征》,也看不下去《谷雨》和《多喜一家人》?

娱乐故事
2026-11-20 21:14:50
2026年11月21日:今日金价:大家做好心理准备,黄金将迎来大行情

2026年11月21日:今日金价:大家做好心理准备,黄金将迎来大行情

时尚的弄潮
2026-11-21 11:27:04
泽连斯基回应克里米亚大桥被炸:我们的东西,想怎么处置就怎么处置

泽连斯基回应克里米亚大桥被炸:我们的东西,想怎么处置就怎么处置

桂系007
2026-11-20 09:09:12
22-23日江苏短暂回暖到17℃,冷空气紧随其后

22-23日江苏短暂回暖到17℃,冷空气紧随其后

扬子晚报
2026-11-21 22:35:25
2026-11-22 03:27:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380694文章数 607744关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
本地
旅游
手机
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

广西南宁:冬日繁花似锦

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版