观点网讯:11月17日消息,最新数据显示,国内日均词元调用量已突破500万亿。
智能算力短期内难以补足,只能从存量算力中提升效率。
2025年,郑纬民院士团队研发的大模型推理系统Mooncake获得埃里克·里德尔最佳论文奖,核心是用PD分离技术提升存量算力利用效率,通过软件调度把现有算力用足。
据介绍,P负责读入用户问题,D负责生成回答。传统方式下,同一批算力轮流承担这两项任务;PD分离让一组算力只读题,把结果传给另一组专门答题。
在同样硬件规模下,该系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.