网易首页 > 网易号 > 正文 申请入驻

省钱,我只服梁文锋

0
分享至



DeepSeek最让人诟病的地方就是服务器总崩,但是从现在开始,DeepSeek可能再也不会出现服务器卡顿和宕机了。

原因在于,梁文锋挂名发表了一篇论文,标题为《DSpark:基于置信度调度的推测解码与半自回归生成》。按照DeepSeek的传统,DSpark读起来应该是D·Spark,而不是DS·park。

这是梁文锋从2024年发表的《DeepSeek LLM》之后,他挂名发表的第12篇论文。不只是如此,DSpark这篇论文,还和梁文锋在2010年发表的硕士毕业论文“撞车”了。

DSpark相当于是给DeepSeek装上了加速器,对用户来说,体感就是快、稳、不崩。

同样质量的回答,速度直接快了60%到80%,原来等10秒的回复现在五六秒就出来.

最关键的是,高峰时段,DeepSeek也不会再一直“转圈”了。

这个DSpark到底有多神奇?别急,我讲给你听。

01

DSpark到底是什么,解决了DeepSeek什么老问题

大模型生成文字这件事,本质上是一个“猜字游戏”。模型每写一个字,都要把前面所有写过的字重新看一遍,算一遍,才能决定下一个字该写什么。

每写一个字,AI就得从头到尾跑一次,写100个字,就要把自己写的东西重新消化99遍。学术上,把这个“自己回归自己”的过程,叫做“自回归生成”。

整个过程就是现在的自己在跟上一步的自己较劲,上一步没算完,下一步就动不了。

所以过去几年,业界都在琢磨同一件事,能不能让模型一口气猜一串字?

这个思路,就是DSpark论文中提到的核心机制——投机解码(Speculative Decoding)。

它的运行逻辑是这样的,找一个跑得快但水平一般的模型当草稿,让它先凭感觉一口气猜出后面好几个字,然后把这一串字一次性拿给大模型验证。

大模型扫一眼,前面连续猜对的直接保留,从第一个猜错的地方开始,大模型自己写一个对的,草稿模型再接着往下猜。

这样就可以确保,输出的内容是大模型认可的,而且速度还比一个字一个字猜地要快。

业内普遍认为有两种投机解码。

第一种是“老实人”打法。草稿模型也一个字一个字地猜,猜完一个、看一眼前文、再猜下一个。好处是输出质量更高,坏处是它猜得太慢了,速度跟大模型自己写都差不多了。

第二种是不管三七二十一,刷刷刷一口气把后面所有字全猜出来。虽然速度快,但是猜字时根本不会考虑前面完整的句子,它只看上一个字是什么。

这就导致一开始还好,但是猜字越往后,输出质量就会越低。

论文里把这个现象叫“后缀衰减”:第一个字的正确率还行,第二个大幅下滑,到了第五个第六个基本上就是在瞎猜了。

DSpark的核心思路叫半自回归生成。简单来说,它把上述两种办法给结合在一起了。

第一步,以极快的手速哗哗哗把后面的字全给你猜出来。猜完之后回过头来检查一遍,看看有没有什么语句不通顺、错别字之类地。

第二步,DSpark会给每个字打个“靠谱分”,比如第一个字90分,第二个80分,第三个60分,第四个30分。但是这里有个问题,打完分之后,DSpark就知道哪个字写错了,如果要给它改对,相当于回到了一开始自回归的方法当中,好不容易提高的效率,又送回去了。

所以DSpark提出了一个方法,它会提前测量好大模型在不同批大小下的处理速度,然后每个请求的草稿按靠谱分从高到低排好队。

它先把所有请求里最高分的那一批,拿给大模型验。

这个过程很快,因为量少。然后它问自己:要不要把第二批也加进去?加了之后大模型要多花一点时间,这批字有80%是对的,能多赚几百个正确结果。多花的时间除以多赚的正确字,算出来一个效率值。赚了,加。第三批,60%正确率。以此类推。

根据当前服务器的忙碌程度,不忙的时候,全拿过去,能多猜对一个就多猜对一个。

如果大模型此时很忙,那就只把前几个高分拿过去让大模型验,后面那些大概率错的就别去添乱了,省下时间多服务几个用户。

整个过程,叫做置信度调度验证。

之前有很多加速方案,但它们都有一个共同的毛病,那就是单用户测起来快得不得了,一上高并发就崩。

现在的DeepSeek,一到晚上高峰就卡、就崩。

本质上就是高峰时段用户请求多,GPU的批处理压力极大,但之前MTP-1的投机解码方案会把大量算力浪费在验证那些大概率猜错的token上。

这些token被草稿模型随便猜出来,大模型看了一眼就驳回,但驳回的过程已经消耗了宝贵的GPU周期。

有效吞吐量被严重拉低,请求越积越多,排队越来越长,用户体验就是卡顿甚至加载不出来。

DSpark部署后,这个问题应该会得到缓解。



实测数据显示,在严格的低延迟要求下,比如V4-Flash要保证每个用户每秒看到120个字,之前的MTP-1系统基本撑不住多少并发就崩了,而DSpark还能保持6倍以上的吞吐量。

在更常规的中等负载场景下,要求每个用户每秒80个字,DSpark单GPU的总吞吐量从10000 token每秒提升到15100 token每秒,直接涨了51%。

02

成本打下来多少,会不会牺牲回答质量?

在AI行业,训练成本是一次性的,推理成本却是永续的。

怎么理解这个问题呢?你训练一个大模型,不管你花了几个亿、几十个亿,花完就花完了。

推理不一样,模型上线之后,用户每问一个问题,GPU就要跑一次,这个成本7×24小时不停,用户越多跑得越多,永远停不下来。

这就意味着,谁能把推理成本打下来,谁就能赚钱。也可以反过来说,模型再强,如果推理成本控制不住,那么模型的规模越大,厂商死得就越快。

同样的GPU数量,DSpark在完全不改变硬件的前提下,可以让每个用户的生成速度快60%到85%。

原来等10秒钟才出来的回复,现在五六秒就出来了。

DeepSeek还给出了一个非常极端的场景。遇到热点事件、大量用户同时涌进来的时候,之前的系统如果扛不住,要么排队排到用户放弃,要么直接崩掉。扩容需要时间,GPU也不是你说加就能立刻加上的。

DSpark靠动态调度,负载一高,自动缩短验证长度,避免占用关键的批处理容量。这样就能在不扩容的情况下扛住流量尖峰。

那么问题又来了,快是快了,DeepSeek会因此而偷工减料?回答质量会不会下降?



答案是零损失。

这是投机解码这个技术路线本身的数学性质决定的。拒绝采样机制从数学上严格保证:大模型最终输出的每一个token,它的概率分布和大模型自己一个字一个字写出来的分布完全一致。所以单从数学验证上来讲,质量不会下降。

DSpark论文原文写到:“the acceptance rule preserves the target distribution exactly, speculative decoding accelerates generation without any quality loss.”接纳规则能够精准完整地保留目标分布,投机解码可在不损失输出质量的前提下加速生成过程。

不仅如此,论文还在数学推理、代码生成、日常对话三个领域做了离线准确率测试,和原模型没有统计显著差异。

线上部署之后,也没有收到回答质量下降的用户反馈。

而且由于草稿模型本身体积非常小,只占总计算量的不到10%,虽然多多少少会影响服务器负载,但是在51%的实测提升面前,这点负载可以忽略不计。

DeepSeek向来以便宜著称,推理成本打下来40%之后,DeepSeek就有了更大的降价空间。

它本来的API定价就已经是行业最低的了,现在成本再降一截,token价格可能也会跟着降。甚至有可能进一步提高免费用户的额度。

更关键的是,这次DeepSeek不光是发了模型权重,还把整个DeepSpec训练框架开源了。

DeepSpec是专门用来训练投机解码草稿模型的统一训练工具箱,也就是说,你可以用这套工具给自己的Qwen3、Gemma等模型训练草稿模型。

等于把整个行业的推理成本基准线又往下拉了一个台阶。

03

坚持省钱16年

2010年,梁文锋在浙江大学读硕士,他的硕士论文题目叫《基于低成本PTZ摄像机的目标跟踪算法研究》。

这个名字现在看起来非常“梁文锋”。

当时做计算机视觉目标跟踪的实验室,标配是几万块一台的工业相机,精度高、可控性强。梁文锋不买,他用的是几百块钱的普通民用球机。

他的论点是,硬件的差距可以用算法补。通过自研的跟踪算法优化,他把便宜摄像头的跟踪精度做到了接近贵价设备的水平。

16年过去,梁文锋依然执着于用算法给硬件省钱,可以说是相当的不忘初心了。

为什么别的大模型公司都想方设法提升性能,DeepSeek却想要省钱?因为钱是梁文锋自己的。



在DeepSeek完成融资后,外媒爆料称,DeepSeek成立近三年,完全由梁文锋创立的幻方量化用利润养活,并且期间多次拒绝外部投资。

幻方量化2025年平均收益率高达56.55%,全年营收约86亿元,梁文锋个人持股85%,每年分红数十亿元,个人资产据估算在500亿至1000亿元之间。今年启动的首轮超500亿元融资中,梁文锋个人掏了200亿,占总融资额的40%,是最大单一出资方。

外部投资者的钱不直接进 DeepSeek 主体,而是先注入由梁文锋担任普通合伙人的有限合伙企业,外部投资方成为有限合伙人,只有收益权和财务信息查阅权,没有任何投票权,全部股份锁定五年,禁止转让和退出。

在DeepSeek,梁文锋同时扮演投资者、管理者和研究者。

省下来的每一分成本,都是直接装进梁文锋自己的口袋里。

面对“多买100张GPU还是让团队做工程优化”这道题时,大多数人的答案都是前者。快,并且有OpenAI和Anthropic作为开路先锋,花的又不是自己的钱,是投资人的钱,也没什么好心疼的。

梁文锋选后者,因为他比任何人都清楚这张卡要跑多少token才能回本。

三个角色叠在一个人身上,产生了一个AI行业里极其罕见的决策闭环。

研究者提出“可以省”,管理者判断“应该省”,投资者确定“自己买单也愿意省”。没有层级汇报,没有跨部门拉齐。

DSpark就是这条决策链的最新产物。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
成都一场婚礼的寒酸程度把全国人民都看愣了

成都一场婚礼的寒酸程度把全国人民都看愣了

七月生活情感驿站
2026-10-11 21:16:41
官媒罕见统一发声,尊界要凉凉了

官媒罕见统一发声,尊界要凉凉了

凤眼论
2026-10-11 16:59:28
曹操去世,司马懿41岁;曹丕去世,司马懿47岁;曹叡去世,司马懿60岁

曹操去世,司马懿41岁;曹丕去世,司马懿47岁;曹叡去世,司马懿60岁

言过于诚
2026-10-11 23:28:07
女子整租一套三室一厅的民宿,洗澡后裸身取衣服被客厅监控拍下,事后紧急报警,房东:为保障财产安全而安装,已对订单做退款处理

女子整租一套三室一厅的民宿,洗澡后裸身取衣服被客厅监控拍下,事后紧急报警,房东:为保障财产安全而安装,已对订单做退款处理

大风新闻
2026-10-12 08:33:30
首批问界M9车主实名发声:电量掉到19%四驱突切后驱撞车,投诉后还被删帖封号

首批问界M9车主实名发声:电量掉到19%四驱突切后驱撞车,投诉后还被删帖封号

三言四拍
2026-10-11 21:43:44
中网结束后,4人锁定年终资格!郑钦文夺冠升至第20,还有机会晋级?

中网结束后,4人锁定年终资格!郑钦文夺冠升至第20,还有机会晋级?

侃球熊弟
2026-10-12 01:08:55
中国将迎来史上最大规模的退休潮。

中国将迎来史上最大规模的退休潮。

荆楚寰宇文枢
2026-10-10 22:52:15
“找搭子”暗藏灰色交易:酒托、旅游托设局消费,24瓶啤酒收938元;有偿陪伴用“纯绿、半绿”暗语引流,有客服称有500多名“小姐姐”可选

“找搭子”暗藏灰色交易:酒托、旅游托设局消费,24瓶啤酒收938元;有偿陪伴用“纯绿、半绿”暗语引流,有客服称有500多名“小姐姐”可选

大风新闻
2026-10-12 09:35:03
郑钦文2比0赢下中网!没想到安德列娃赛后这么说,把主场球迷都逗笑了

郑钦文2比0赢下中网!没想到安德列娃赛后这么说,把主场球迷都逗笑了

全呆
2026-10-12 03:31:26
唐斯:我对纽约尼克斯的决定非常失望

唐斯:我对纽约尼克斯的决定非常失望

本泽体育
2026-10-12 08:46:15
比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

元气科技馆
2026-10-10 21:56:30
猪肉连跌15个月,中国猪价回到近二十年前水平,国内需求正在消亡?

猪肉连跌15个月,中国猪价回到近二十年前水平,国内需求正在消亡?

风向观察
2026-10-12 00:19:13
台湾拟提高老农津贴至每月1万新台币,不存退休金的农民也可领

台湾拟提高老农津贴至每月1万新台币,不存退休金的农民也可领

桂系007
2026-10-11 20:11:13
又一家老牌酒楼扛不住!红了21年,今现场甩卖,大酒店时代落幕了

又一家老牌酒楼扛不住!红了21年,今现场甩卖,大酒店时代落幕了

青眼财经
2026-10-11 20:20:27
王曼昱夺冠后比“1”庆祝,赛后感谢3人!邓亚萍盛赞!丁宁陈梦惊喜现身观战!马琳拍背肯定

王曼昱夺冠后比“1”庆祝,赛后感谢3人!邓亚萍盛赞!丁宁陈梦惊喜现身观战!马琳拍背肯定

好乒乓
2026-10-11 21:02:01
“奔驰这话真扎心!一句话捅到肺管子上了”,尊界刹车踏板断裂引爆全网,网友翻出奔驰旧P图玩梗对线

“奔驰这话真扎心!一句话捅到肺管子上了”,尊界刹车踏板断裂引爆全网,网友翻出奔驰旧P图玩梗对线

火山詩话
2026-10-11 13:38:51
地产首富已超李嘉诚,但越南楼市的狂欢突然退潮

地产首富已超李嘉诚,但越南楼市的狂欢突然退潮

21世纪经济报道
2026-10-11 19:08:43
你把他当民族品牌捍卫,他把你当爱国韭菜收割

你把他当民族品牌捍卫,他把你当爱国韭菜收割

名人苟或
2026-10-12 07:03:25
青春少女红墙下的运动系穿搭,撞色健身套装活力出片

青春少女红墙下的运动系穿搭,撞色健身套装活力出片

只要高兴就好
2026-10-12 07:33:40
决赛前紧张到呕吐,郑钦文:最后那口气我顶住了

决赛前紧张到呕吐,郑钦文:最后那口气我顶住了

澎湃新闻
2026-10-11 23:14:16
2026-10-12 10:59:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2832文章数 8095关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

牛弹琴:特朗普郑重宣布新消息 最具讽刺性一幕出现了

头条要闻

牛弹琴:特朗普郑重宣布新消息 最具讽刺性一幕出现了

体育要闻

英超-曼城3-0十人利物浦 豪取6连胜领跑

娱乐要闻

梅启明自资办梅艳芳追思会,34人到场

财经要闻

外资加速撤离 韩股从全球最强变全球最弱

汽车要闻

大6座插混SUV新选择 阿维塔T09概念版亮相巴黎车展

态度原创

本地
旅游
数码
健康
军事航空

本地新闻

踏访沙县第一村,寻国民小吃本源

旅游要闻

文旅竞争从“拼资源”迈向“拼内容”

数码要闻

金陵热浪即将来袭!雷神南京传媒学院校园行官宣启程

痘坑留下后,还能填平吗?

军事要闻

视频:沙特方面公布利雅得机场遭袭画面

无障碍浏览 进入关怀版