广东
DeepSeek又一次开源了自己最重要的商业机密之一。
10月20日，深度求索公司宣布，将内部推理框架“DeepInfer”全面开源，并同步开放生产级Token编解码组件deepseek-recipe。
这意味着，云厂商可以使用DeepSeek原生推理框架部署DeepSeek模型，实现接近DeepSeek官方调用的性能和成本——并且在负载调度合理的情况下，大规模云厂商部署非原生DeepSeek的调用成本甚至存在低于官方原生的可能性。
有报道称，相关代码已在GitHub等开发者社区发布。
据记者了解，在全球头部大模型企业中，DeepSeek是首个开放原生实际运行推理框架的企业。
公开信息显示，DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为昇腾算力平台。配套开源的deepseek-recipe，功能是与DeepSeek官方API的Token处理逻辑对齐，使社区部署获得与官方线上服务一致的编解码体验。
DeepSeek方面表示，基于DeepInfer，其已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务，后续新模型的推理代码及优化也将在该框架内持续更新。
“大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于一个长期未被公众了解的中间层：推理框架……面对如今海量的用户调用，推理框架负责统筹调度庞大的算力集群，其效率直接决定了 AI 服务的算力成本与电力消耗。”DeepSeek在公告中表示。
值得注意的是，在此之前，官方推理框架和编码组件被认为是导致原生部署与社区部署（即非原生部署）成本差异最大的系统层原因。从商业模式的角度，MaaS企业开放模型权重，但不开放推理框架在一定程度上维系了官方Token API的收入水平。
“我们希望通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。”公告还指出。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
