网易首页 > 网易号 > 正文 申请入驻

英伟达 Blackwell 架构与开源协同,推动 AI 推理成本降低 10 倍

0
分享至

AI 行业的花钱、省钱逻辑正迎来大变化。

以往用昂贵专有模型的高成本模式正在被颠覆,低成本、高性价比的开源模型 + 专用软硬件的组合有望成为主流。

英伟达日前发布全面分析,显示其最新的 Blackwell GPU 平台与开源推理模型的组合可使每 token 成本降低 4 到 10 倍。

该数据于 2026 年 2 月 13 日发布,强调行业正从昂贵的专有模型转向由开源智能与专用硬件-软件协同设计驱动的、更具成本效益且高性能的生态系统。这些成本降低是通过多层方法实现的,涵盖 Blackwell GPU 架构、原生低精度 NVFP4 数据格式,以及包括 TensorRT-LLM 和 Dynamo 推理框架在内的优化软件库。

英伟达表示,这些技术进步使得 Baseten、DeepInfra、Fireworks AI 和 Together AI 等推理服务提供商能够以远低于以往的成本提供前沿级智能。

例如,采用 NVFP4 格式时,每百万 token 的成本从旧的 Hopper 平台上的 20 美分降至 Blackwell 上的仅 5 美分——单就硬件成本而言就下降了 75%,还未计算切换到开源模型带来的额外节省。

这一变化的现实影响已在多个高需求领域显现。

在医疗领域,AI 初创公司 Sully.ai 报告称,通过将业务从专有闭源模型迁移到由 Baseten 托管、基于 Blackwell 的开源替代方案,推理成本下降了 90%。这一 10 倍的成本降低伴随着 65% 的响应时间提升,使公司能更高效地自动化医疗编码与文档工作。

同样在游戏领域,开发商 Latitude 利用 DeepInfra 的 Blackwell 基础设施为其原生 AI 游戏 Voyage 保持低延迟响应的同时,将 token 成本降低了 4 倍。这使得在流量高峰期间也能部署更复杂的模型而不影响玩家体验。

从分析角度看,这一进展标志着许多企业 AI 应用的“专有溢价”时代的终结。

在过去两年中,闭源模型的高成本成为许多初创公司进入的障碍。然而,随着开源模型与前沿专有系统达成性能上的可比,瓶颈已从模型智能转向基础设施效率

英伟达的“极致协同设计”战略——将硬件(Blackwell)、数据格式(NVFP4)和软件(TensorRT)同步开发——正在打造一道竞争护城河,使得使用通用硬件的云服务提供商难以在每 token 成本上竞争。

这种 10 倍的成本降低对所谓的“代理式”工作流尤为关键,在此类场景中,单个用户查询可能触发数十个后台自主交互。开发开源推理系统的 Sentient Labs 报告称,在病毒式发布期间,使用基于 Blackwell 的 Fireworks AI 提供了处理单周 560 万次查询所需的吞吐量。

若无这些效率提升,多代理系统的基础设施开销对大多数开发者而言在经济上无法支撑。此外,在客户服务方面,Decagon 在语音 AI 上实现了低于 400 毫秒的响应时间,与专有模型相比,每次查询成本降低了 6 倍。这种性能水平对 24/7 的语音部署至关重要,因为延迟直接影响用户信任。

展望未来,token 成本下降的趋势预计将加速。

英伟达的路线图显示,即将推出的 Rubin 平台将目标是在 Blackwell 基础上再实现 性能与成本效率 10 倍的提升

随着 token 经济学的持续改善,我们很可能看到从“把 AI 当作一个功能”向“把 AI 作为基础设施”的转变,智能成本在运营预算中将变得微不足道。

这很可能导致高频 AI 应用的激增,例如实时视频翻译和自主工业机器人等领域,这些此前因过高的推理开销而被排除在外。(本文首发钛媒体App , 作者|AGI-Signal,编辑|秦聪慧)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
著名学前教育学者、华东师范大学教授刘晓东因病逝世

著名学前教育学者、华东师范大学教授刘晓东因病逝世

澎湃新闻
2026-08-14 10:04:26
“数学天才”柳智宇转身这16年:很满意现在的生活状态,若坚持走数学这条路也不太可能成为邓煜或王虹

“数学天才”柳智宇转身这16年:很满意现在的生活状态,若坚持走数学这条路也不太可能成为邓煜或王虹

极目新闻
2026-08-13 19:04:08
福特宣布2030年起将林肯生产移回美国,结束中国进口,涉及数万岗位

福特宣布2030年起将林肯生产移回美国,结束中国进口,涉及数万岗位

摸鱼算法
2026-08-13 21:20:29
不闷热,但局部暴雨!网友:台风走了,为什么雨还没停?

不闷热,但局部暴雨!网友:台风走了,为什么雨还没停?

上海静安
2026-08-14 06:36:58
伏明霞一家五口参加晚宴,48岁的她完全富婆样,23岁大女儿好漂亮

伏明霞一家五口参加晚宴,48岁的她完全富婆样,23岁大女儿好漂亮

柒佰娱
2026-08-14 11:32:01
从赢张本到输给世界第64,他只用了一个春天!王皓,你看走眼了

从赢张本到输给世界第64,他只用了一个春天!王皓,你看走眼了

曹老师评球
2026-08-14 08:16:40
后悔也晚了!本想40天打服普京,不料把俄打开窍,4年多来第一次

后悔也晚了!本想40天打服普京,不料把俄打开窍,4年多来第一次

冰语历史
2026-08-13 10:26:46
七旬老人被撞身亡,肇事车仅有交强险,司机当庭表示没有能力赔偿,46.8万赔偿家属如何要回?律师说法

七旬老人被撞身亡,肇事车仅有交强险,司机当庭表示没有能力赔偿,46.8万赔偿家属如何要回?律师说法

大风新闻
2026-08-14 14:39:03
当“不生”成为潮流,如果只剩5亿人口,我们真的会过得更轻松吗?

当“不生”成为潮流,如果只剩5亿人口,我们真的会过得更轻松吗?

老郭在学习
2026-08-14 14:57:36
网传王水牛查出艾滋病,曾被爆和200多名中国女孩发生危险性关系,粉丝从16万掉到1万多

网传王水牛查出艾滋病,曾被爆和200多名中国女孩发生危险性关系,粉丝从16万掉到1万多

Mr王的饭后茶
2026-08-13 22:25:55
“他身上衣服是破的,却给女儿买新的”,浙江大叔递纸条买衣,看哭网友!服装店老板娘一条视频,全网播放量超2000多万

“他身上衣服是破的,却给女儿买新的”,浙江大叔递纸条买衣,看哭网友!服装店老板娘一条视频,全网播放量超2000多万

都市快报橙柿互动
2026-08-14 14:39:38
邹市明45岁重返拳击赛场!坦言:听老婆的话,重返拳台并非单纯为了还债,冉莹颖:“打赢了有钱花,打输了大不了换老公,还有保险拿”

邹市明45岁重返拳击赛场!坦言:听老婆的话,重返拳台并非单纯为了还债,冉莹颖:“打赢了有钱花,打输了大不了换老公,还有保险拿”

都市快报橙柿互动
2026-08-13 18:20:10
来杭州养老的老爸走失14小时,女儿跟着30多人找了一个通宵!在荒山草垛里看到他浑身是泥,哭着憋出三个字:对不起……

来杭州养老的老爸走失14小时,女儿跟着30多人找了一个通宵!在荒山草垛里看到他浑身是泥,哭着憋出三个字:对不起……

环球网资讯
2026-08-14 09:24:47
水穷而云起:朱同志的风雨来时路

水穷而云起:朱同志的风雨来时路

将军箭
2026-08-13 16:31:00
特朗普老婆跑了?美国第一夫人人间蒸发,大难临头各自飞了?

特朗普老婆跑了?美国第一夫人人间蒸发,大难临头各自飞了?

秋枫凋零
2026-08-14 02:10:51
朝鲜导弹顶到基辅鼻子底下,北约却连个屁都不敢放!这世界怎么了

朝鲜导弹顶到基辅鼻子底下,北约却连个屁都不敢放!这世界怎么了

浯江孤舟
2026-08-12 11:15:07
中国女子吐槽英国地铁太脏,被香港影帝骂又穷又土

中国女子吐槽英国地铁太脏,被香港影帝骂又穷又土

寒士之言本尊
2026-08-13 18:22:29
郭德纲被举报,代表纯坏氛围已经很立体了

郭德纲被举报,代表纯坏氛围已经很立体了

林中木白
2026-08-13 12:07:40
杭州高铁大面积晚点,部分列车延误超80分钟!湖州长兴强降雨引发山体滑坡

杭州高铁大面积晚点,部分列车延误超80分钟!湖州长兴强降雨引发山体滑坡

上观新闻
2026-08-14 15:25:46
世界杯决赛绝杀阿根廷!26岁费兰加盟巴黎:转会费5000万欧 巴萨狂喜

世界杯决赛绝杀阿根廷!26岁费兰加盟巴黎:转会费5000万欧 巴萨狂喜

风过乡
2026-08-14 06:23:20
2026-08-14 16:44:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
138091文章数 862516关注度
往期回顾 全部

科技要闻

苹果为中国训练自有大模型,阿里提供支持

头条要闻

老人被撞身亡肇事车仅有交强险 司机当庭称没能力赔偿

头条要闻

老人被撞身亡肇事车仅有交强险 司机当庭称没能力赔偿

体育要闻

离开雷霆后,威少再也没成为威少

娱乐要闻

郭麒麟瘦到全网认不出,为新剧塑形

财经要闻

黄仁勋正在加速AI泡沫破裂!

汽车要闻

越野/新能源/豪华全覆盖 成都车展重磅新车前瞻

态度原创

时尚
游戏
健康
亲子
本地

这4种版型的牛仔裤,真的很好穿!

Epic商店将支持Linux!后续无需第三方启动器

孩子高低肩,是不是脊柱侧弯了?!

亲子要闻

10个月婴儿就诊后19小时死亡,认定一级甲等医疗事故,医院只担“轻微责任”,合理吗?

本地新闻

黄景藏用半刀泥刻瓷都魂

无障碍浏览 进入关怀版