北京
分享至
在线大模型服务最怕什么？一个字：慢。要么砸钱堆算力，要么眼睁睁看着用户流失。但DeepSeek刚开源的DSpark推测解码框架，直接把吞吐量拉高了60%到85%，给其他方案一记响亮的耳光。
这框架不靠堆硬件，核心在于两个关键组件。一个是“半自回归生成”，它不再老老实实逐个token往外蹦，而是用更精巧的方式批量生成候选项，从而打破顺序解码的速度天花板。另一个是“置信调度验证”，负责高效地调度并验证这些候选项，精准剔除不可信的部分，保证加速的同时不掉精度。
两套机制一配合，在线部署的吞吐量直接跃升了一个台阶，60%-85%的提升幅度让不少优化方案相形见绌。DeepSeek这次开源，相当于给所有苦于推理延迟的团队递上了一把快刀。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
