北京
分享至
DeepSeek又开源了。这次拿出来的不是模型，是推理框架。
据36氪获悉，DeepSeek表示，在此前开源一系列大模型、TileLang编译工具及推理算子库的基础上，决定进一步将内部推理框架DeepInfer全面开源。
换句话说，此前对外开放的是模型权重和底层工具，这一次连跑推理的那套框架也交了出来。
DeepInfer并非实验室里的半成品。基于这套框架，DeepSeek已实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务。也就是说，它已经在真实的大规模推理场景里跑过。
开源之后还有后续动作：DeepSeek新模型的推理代码及后续优化，也将在此持续更新。框架不是一次性交付，而是跟着模型一起往前走。
从大模型到TileLang编译工具、推理算子库，再到DeepInfer，这条开源链条一层层往下沉，落点越来越靠近推理服务的底座。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
