四川
10月20日，DeepSeek宣布开源内部推理框架DeepInfer。这个核心技术所解决的问题，每个使用大模型的人都能感受到。
DeepInfer公开的正是其中关键的一部分，官方仓库将其定位为支撑DeepSeek大规模生产服务的高性能推理框架。
用户发来一段问题，大模型后台需要处理输入、安排计算、保存中间结果，再持续生成回答。如果同时涌入成千上万个请求，哪些任务一起计算，哪些任务暂时等待，显存怎样分配，都会影响最终体验。
DeepInfer的引擎代码显示，它负责接收请求、组织模型生成，并通过细粒度调度和内存管理提高吞吐能力。这里的吞吐，可以简单理解为一段时间内系统能够完成多少工作。
芯片算得快，并不意味着它时时刻刻都在有效计算。等待数据、等待其他设备、等待下一批任务，都可能消耗时间。因此，推理框架就需要更高效。
对于用户来说，感受可能只是回答快了几秒。但对于运营大规模服务的企业来说，背后则关系到同样一批设备，究竟能支撑多少业务。这也是为什么讨论大模型的竞争力，除了模型参数和测试成绩，还要关注其运行效率。
DeepInfer背后，包含多种加速技巧。此前公开的FlashMLA、DeepGEMM、DeepEP等项目，分别处理不同的底层问题。把这些组件组织起来，让它们在完整推理过程中有效配合，同样需要大量工程工作。
大模型运行涉及大量矩阵运算，DeepGEMM提供的，就是面向这类运算的高性能底层实现。对于应用开发者来说，这些代码通常藏在很深的位置，但一次回答背后，它们可能被反复调用。
这些细节决定了芯片的实际工作效率，原本需要多次启动、搬运数据的操作，如果能够合理融合，就有机会少走几道流程。一次节省的时间很短，重复次数足够多，累计效果便不可忽视。
还有一个更容易被低估的问题，设备之间的通信。大型模型往往需要多张加速卡协作，对于混合专家模型，任务会被分配给不同专家模块处理，计算结果还要汇总。DeepEP重点优化的，就是专家并行过程中任务分发、结果合并等通信环节。
大模型生成回答，通常需要连续进行许多轮计算。如果能够提前提出若干候选内容，再让目标模型验证，就有机会减少逐步生成所需的时间。这类方法被称为推测解码。可以把它理解成有人先写出一小段草稿，再交给负责定稿的人检查。草稿符合要求，就能更快推进。草稿不合适，则需要修正。
DeepInfer列出的DSpark和基于置信度安排验证的能力，就与这一思路有关。它利用草稿词元加速解码，并根据置信度安排验证。输入有多长，输出有多长，同时处理多少请求，草稿接受情况怎样，都会影响结果。
此外，速度之外还要检查回答质量。官方评估目录提供了AIME 2026、HLE、GPQA Diamond等测试流程，并将生成与评分分成两个阶段，便于保存原始输出、重新评分和比较结果。
支持华为昇腾，国产部署多了什么？
DeepSeek这次开源还有一个受到关注的细节，硬件平台。按照官方说明，DeepInfer目前列出的支持硬件包括英伟达SM100 GPU和华为昇腾950 NPU，并分别给出了对应的软件环境要求。
企业采购一批加速设备之后，仍然需要模型、算子、通信库和运行环境相互配合。硬件拥有较高的理论算力，只是起点。真实业务能跑出多少效率，还要经过适配和调优。尤其是大规模部署，单个算子能够运行，与整条服务链稳定工作，还有不小的差距。
如今，开发者可以沿着公开代码，查看任务如何组织、平台如何选择、依赖如何构建。DeepInfer的构建脚本明确区分英伟达与昇腾平台，按平台安装依赖和构建相关组件。
DeepSeek开源消息令人振奋，DeepInfer当前提供离线推理能力，以及面向规模化运行的核心功能。
与DeepInfer相关联的另一个公开项目deepseek-recipe，则处理服务接口与模型输入输出之间的转换。它可以将不同格式的请求转成统一会话，组织模型提示内容，并把模型输出转换为相应响应。
DeepSeek为什么愿意公开内部推理框架？
从技术发展的角度看，开源能够让更多开发者检查实现、发现问题、验证优化，也能让不同团队围绕共同基础开展工作。
DeepInfer最终能够带来多大改变，还需要开发者和企业在真实业务中检验。现在，代码已经公开，更多人有机会参与这个过程。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
