上海
分享至
品玩2月27日讯，据 ARxiv 页面显示，DeepSeek与北京大学、清华大学合作，在ArXiv平台发表论文，提出面向智能体系统的全新大模型推理框架——DualPath。该框架旨在解决长上下文场景下KV-Cache加载引发的I/O瓶颈问题。
DualPath突破传统“存储→预填充（Prefill）”单路径模式，创新引入“存储→解码引擎（Decode）→预填充”第二路径，利用解码端闲置的存储网络带宽，通过RDMA高速网络将缓存动态调度至预填充端，实现集群存储带宽的全局池化与负载均衡。
在660B参数规模的生产级模型测试中，DualPath使离线推理吞吐提升1.87倍，线上服务吞吐平均提升1.96倍，显著优化首Token延迟（TTFT），且不影响逐Token生成速度（TPOT）。
论文第一作者为北京大学博士生Wu Yongtong，师从Jin Xin教授，现就职于DeepSeek系统组，专注于大模型推理基础设施的性能优化与多硬件平台部署。该成果标志着国产大模型在底层系统架构创新上取得重要突破。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
