上海
10月20日，DeepSeek又放大招了，这次直接开源了内部大规模云服务的推理框架DeepInfer，这是支撑DeepSeek大模型高吞吐、低延迟线上推理服务的核心技术，这一开源对AI行业意义重大。
比开源更受关注的是，在同步发布的技术报告中，DeepSeek公布了集群服务的吞吐和关键收入数据。DeepSeek提到，基于这一推理框架，团队已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。目前单一集群的服务吞吐是155万亿Tokens/天，整体收入是每卡每小时38美元（按谷价）。
“真正的‘OpenAI’来了”。有网友评价道。在报告的评论区，大家纷纷赞叹DeepSeek这一毫无保留的开源行为，认为DeepSeek“不仅授之以鱼，还授之以渔”。
在公告中，DeepSeek阐述了推理框架的重要性。大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，取决于一个长期未被公众了解的中间层，即推理框架。
训练使模型学有所成，推理则让模型为人所用。面对海量的用户调用，推理框架负责统筹调度庞大的算力集群，其效率直接决定了 AI 服务的算力成本与电力消耗。
DeepSeek一直在研究如何将推理性能推向极致，积累了不少成果。在此前开源一系列大模型、TileLang编译工具及推理算子库的基础上，这次他们决定进一步将内部推理框架DeepInfer全面开源。
谈及原因，DeepSeek表示希望通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，“让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。”
“这是纯粹的开源精神。”行业人士表示。
在具体技术细节上，DeepSeek提到，DeepInfer框架集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码等能力，可以在英伟达与华为昇腾平台上运行。
在DeepSeek V4.1 Flash 推理系统设计之初，内部就确立的目标之一是，兼容多种厂商的计算芯片，支持在不同硬件平台上部署，并充分发挥各平台的性能。
不过，开源框架也有明确的交付边界。官方仓库说明，此次发布提供离线推理及大规模服务所需的核心能力；要搭建完整在线服务，开发者仍需补齐KV缓存系统、推理阶段分离部署及跨副本负载均衡等组件。因此，这次开源是开放核心引擎与工程经验，企业落地仍需要系统集成和运维投入。
从这个角度看，DeepInfer开源的价值在于，让更多团队有机会理解并改进模型服务的运行方式。实际能够节省多少成本，仍取决于硬件配置、业务负载和部署能力。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
