北京
分享至
7月30日消息，清程极智旗下赤兔推理引擎宣布首发适配智谱AI最新开源旗舰大模型GLM-4.5，并同步上线支持华为昇腾910B平台。这标志着国产推理引擎、国产算力与国产大模型在部署链路上实现重要协同。当前版本已在赤兔GitHub主页上线，开发者可直接下载部署。
赤兔推理引擎由北京清程极智科技有限公司（以下简称“清程极智”）开发，并联合清华大学团队发布开源版本。核心技术在于打破GPU对FP8原生支持的硬件限制。通过底层算子优化（如GeMM、MoE的指令级重构）与编译器优化，赤兔可在不支持FP8的英伟达GPU及多数国产卡上运行FP8模型，且几乎无精度损耗。今年3月，赤兔已实现首个国产FP8部署突破。
此次适配的GLM-4.5是智谱专为智能体构建的多功能基础模型，具备原生编码、推理与工具调用能力。模型支持网页前端编写、后端数据库管理及复杂Agent应用开发，并在包括MMLU Pro、GPQA、LiveCodeBench等12项评测中综合排名全球第三、国产第一、开源模型第一。（袁宁）
本文来源：网易科技
责任编辑：
袁宁_NB35110
