网易首页 > 网易号 > 正文 申请入驻

英伟达 Blackwell 架构与开源协同,推动 AI 推理成本降低 10 倍

0
分享至

AI 行业的花钱、省钱逻辑正迎来大变化。

以往用昂贵专有模型的高成本模式正在被颠覆,低成本、高性价比的开源模型 + 专用软硬件的组合有望成为主流。

英伟达日前发布全面分析,显示其最新的 Blackwell GPU 平台与开源推理模型的组合可使每 token 成本降低 4 到 10 倍。

该数据于 2026 年 2 月 13 日发布,强调行业正从昂贵的专有模型转向由开源智能与专用硬件-软件协同设计驱动的、更具成本效益且高性能的生态系统。这些成本降低是通过多层方法实现的,涵盖 Blackwell GPU 架构、原生低精度 NVFP4 数据格式,以及包括 TensorRT-LLM 和 Dynamo 推理框架在内的优化软件库。

英伟达表示,这些技术进步使得 Baseten、DeepInfra、Fireworks AI 和 Together AI 等推理服务提供商能够以远低于以往的成本提供前沿级智能。

例如,采用 NVFP4 格式时,每百万 token 的成本从旧的 Hopper 平台上的 20 美分降至 Blackwell 上的仅 5 美分——单就硬件成本而言就下降了 75%,还未计算切换到开源模型带来的额外节省。

这一变化的现实影响已在多个高需求领域显现。

在医疗领域,AI 初创公司 Sully.ai 报告称,通过将业务从专有闭源模型迁移到由 Baseten 托管、基于 Blackwell 的开源替代方案,推理成本下降了 90%。这一 10 倍的成本降低伴随着 65% 的响应时间提升,使公司能更高效地自动化医疗编码与文档工作。

同样在游戏领域,开发商 Latitude 利用 DeepInfra 的 Blackwell 基础设施为其原生 AI 游戏 Voyage 保持低延迟响应的同时,将 token 成本降低了 4 倍。这使得在流量高峰期间也能部署更复杂的模型而不影响玩家体验。

从分析角度看,这一进展标志着许多企业 AI 应用的“专有溢价”时代的终结。

在过去两年中,闭源模型的高成本成为许多初创公司进入的障碍。然而,随着开源模型与前沿专有系统达成性能上的可比,瓶颈已从模型智能转向基础设施效率。

英伟达的“极致协同设计”战略——将硬件(Blackwell)、数据格式(NVFP4)和软件(TensorRT)同步开发——正在打造一道竞争护城河,使得使用通用硬件的云服务提供商难以在每 token 成本上竞争。

这种 10 倍的成本降低对所谓的“代理式”工作流尤为关键,在此类场景中,单个用户查询可能触发数十个后台自主交互。开发开源推理系统的 Sentient Labs 报告称,在病毒式发布期间,使用基于 Blackwell 的 Fireworks AI 提供了处理单周 560 万次查询所需的吞吐量。

若无这些效率提升,多代理系统的基础设施开销对大多数开发者而言在经济上无法支撑。此外,在客户服务方面,Decagon 在语音 AI 上实现了低于 400 毫秒的响应时间,与专有模型相比,每次查询成本降低了 6 倍。这种性能水平对 24/7 的语音部署至关重要,因为延迟直接影响用户信任。

展望未来,token 成本下降的趋势预计将加速。

英伟达的路线图显示,即将推出的 Rubin 平台将目标是在 Blackwell 基础上再实现 性能与成本效率 10 倍的提升。

随着 token 经济学的持续改善,我们很可能看到从“把 AI 当作一个功能”向“把 AI 作为基础设施”的转变,智能成本在运营预算中将变得微不足道。

这很可能导致高频 AI 应用的激增,例如实时视频翻译和自主工业机器人等领域,这些此前因过高的推理开销而被排除在外。(本文首发钛媒体App , 作者|AGI-Signal,编辑|秦聪慧)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
前列腺喜欢“1物”,不是豆浆,医生:放开吃,前列腺一天天变强

前列腺喜欢“1物”,不是豆浆,医生:放开吃,前列腺一天天变强

健康科普365
2026-10-11 16:35:10
马斯克前任集体开麦,疯狂爆料:把女人当生育机器,还想生一支儿童军团!?

马斯克前任集体开麦,疯狂爆料:把女人当生育机器,还想生一支儿童军团!?

英国那些事儿
2026-10-10 23:54:53
佟丽娅跑到烟台买一箱苹果寄回新疆,新疆网友炸了:你忘了阿克苏糖心苹果吗?

佟丽娅跑到烟台买一箱苹果寄回新疆,新疆网友炸了:你忘了阿克苏糖心苹果吗?

草莓解说体育
2026-10-11 01:44:56
三状元轰28分24板!奇才加时险胜,7投2分,活塞1.5亿续约看走眼

三状元轰28分24板!奇才加时险胜,7投2分,活塞1.5亿续约看走眼

你的篮球频道
2026-10-11 10:10:09
妹子家闹鼠灾,把外婆的猫接去除害,结果外婆每天视频800遍,网友笑疯:外婆和猫是真爱了

妹子家闹鼠灾,把外婆的猫接去除害,结果外婆每天视频800遍,网友笑疯:外婆和猫是真爱了

拜见喵主子
2026-10-10 12:41:15
硬刚到底,懂车帝再发声不认同极端工况说法,尊界免费升级不召回,连新华社都撤稿了

硬刚到底,懂车帝再发声不认同极端工况说法,尊界免费升级不召回,连新华社都撤稿了

Mr王的饭后茶
2026-10-09 08:46:28
我月薪2万每月给侄女2000她突然告诉我:叔叔,我男朋友欠了车贷

我月薪2万每月给侄女2000她突然告诉我:叔叔,我男朋友欠了车贷

有态度网友19Dsym
2026-10-11 12:23:21
冲击中网冠军!郑钦文今晚大战安德烈娃,两年前曾打哭对手

冲击中网冠军!郑钦文今晚大战安德烈娃,两年前曾打哭对手

体育吐槽
2026-10-11 15:50:15
健身房真的乱吗?!

健身房真的乱吗?!

健身S叔
2026-10-10 14:02:26
从万众期待到日渐冷清:汉口里还有翻盘机会吗?

从万众期待到日渐冷清:汉口里还有翻盘机会吗?

荷兰豆爱健康
2026-10-11 11:53:57
交涉无效!英国要赶以大使,内塔:英国是第一个拥核的伊斯兰国家

交涉无效!英国要赶以大使,内塔:英国是第一个拥核的伊斯兰国家

经纬戎韬
2026-10-11 00:37:58
苑举正谈蔡康永:它就是个艺人,整天装文化人,哪有啥家国大义

苑举正谈蔡康永:它就是个艺人,整天装文化人,哪有啥家国大义

小徐讲八卦
2026-10-11 06:48:51
李小璐发文称“已经足够好”,贾乃亮“送礼又成梗”!

李小璐发文称“已经足够好”,贾乃亮“送礼又成梗”!

默默有话说
2026-10-10 13:18:52
没人猜中结局!81岁杜特尔特收到噩耗,两国下场,尚存一线生机?

没人猜中结局!81岁杜特尔特收到噩耗,两国下场,尚存一线生机?

碧海孤航
2026-10-11 14:46:37
全世界集体“生不动”:从来不是没钱,是现代文明偷走了普通人的生育底气

全世界集体“生不动”:从来不是没钱,是现代文明偷走了普通人的生育底气

青苹果sht
2026-10-08 06:08:57
1947年,张灵甫阵亡后,粟裕清点战场惊出一身冷汗,当即下达两道命令

1947年,张灵甫阵亡后,粟裕清点战场惊出一身冷汗,当即下达两道命令

磊子讲史
2026-08-20 14:39:49
太狠了!丈夫送锦旗到男小三小区和妻子单位,妻子当街下跪引热议

太狠了!丈夫送锦旗到男小三小区和妻子单位,妻子当街下跪引热议

火山詩话
2026-06-07 16:12:39
大反转!警方回应楼顶挖出尸骨,死者不是7岁男童,真相荒谬至极

大反转!警方回应楼顶挖出尸骨,死者不是7岁男童,真相荒谬至极

哄动一时啊
2026-10-10 11:32:00
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
王仁君获奖,我不意外,但真正让我意外的是,王仁君居然就是长柏哥哥

王仁君获奖,我不意外,但真正让我意外的是,王仁君居然就是长柏哥哥

乡野小珥
2026-10-11 01:11:50
2026-10-11 17:12:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
140333文章数 862671关注度
往期回顾 全部

科技要闻

卸任CEO后,苹果董事长库克再度到访中国

头条要闻

46岁数学博士AI炒股一年大赚超640亿元 日均超1.7亿元

头条要闻

46岁数学博士AI炒股一年大赚超640亿元 日均超1.7亿元

体育要闻

十年回首:湖人三榜眼的夏天,与NBA无关

娱乐要闻

梅艳芳63岁冥诞骨灰被盗,亲哥从不知情

财经要闻

黄仁勋长女完婚,万亿帝国如何传承?

汽车要闻

红旗天工07上市 限时16.79万起 硬核通关巴音布鲁克

态度原创

手机
教育
旅游
时尚
军事航空

手机要闻

3000元档手机性价比TOP10出炉:REDMI K90至尊版断层领先

教育要闻

简便计算,11-11X11十11=?

旅游要闻

看北京|北京最大可免费观赏的“矮大头”油葵花海迎客

秋天衣服不用总买贵的,用针织衫搭配半身裙,温柔高级又提气质

军事要闻

沙特利雅得机场遭袭致12死309伤 中国大使馆紧急提醒

无障碍浏览 进入关怀版