河南
快科技5月13日消息，开发者Stormrage34近日发布llama.cpp分支TurboQuant-HIP v0.3.0版本，通过重写矩阵乘法内核，成功将AMD RX 6800 XT显卡的MoE大模型预填充速度从上游llama.cpp主分支下的约480 t/s提升至1770 t/s
该团队长期维护面向AMD GPU深度适配的llama.cpp专属分支，专门针对AMD硬件特性优化大语言模型推理性能。
上游官方版本llama.cpp此前将AMD GPU作为通用后端适配，核心计算内核均针对NVIDIA架构开发，随后直接移植到AMD后端，在RDNA2架构上存在大量带宽浪费问题，MoE场景运算完全受内存带宽限制。
该团队从HIP底层切入做针对性改进，新开发的基于BFE的IQ4_XS反量化内核，独立运行速度较原有方案提升13倍。
同时，新增异步流水线调度逻辑，将内核启动延迟和运算过程做重叠处理，直接降低31%的内核启动开销。
带来MoE场景约4倍性能跃升的核心，是实验性LDS双缓冲矩阵乘法内核，实现权重加载和DP4A计算并行，最大化利用硬件算力资源。
目前该核心优化功能仅开放手动标志位启用，仍存在对称瓦片尺寸下的LDS存储体冲突问题，导致延迟波动偏高暂不适合生产环境，完整修复方案已经制定完成。
用户可通过项目仓库提供的脚本直接构建测试版本，无需修改CMake配置文件，该分支完整保留上游全部原有功能。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
