北京
分享至
近日，DeepSeek团队联合清华大学、北京大学计算机学院发表名为《DualPath：突破智能体LLM推理中的存储带宽瓶颈》的论文，将研究方向投向了决定大模型实际应用落地的关键一环——推理速度，为日益复杂的AI智能体，提供一套高效的底层系统解决方案。
具体来说，新论文介绍了一个名为DualPath的创新推理系统，专门针对智能体工作负载下的大模型（LLM）推理性能进行优化。通过引入“双路径读取KV-Cache（类似记忆缓存）”机制，重新分配存储网络负载，将离线推理吞吐量最高提升1.87倍，在线服务的每秒智能体运行数平均提升1.96倍。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
