北京
分享至
【网易科技9月12日报道】近日，记者获悉，地平线成功在旭日3中的BPU®计算单元上，部署运行参数规模高达14亿的大语言模型。
据介绍，此次部署源于旭日3所搭载的双核BPU®伯努利计算单元对神经网络计算的原生性支持，能够在处理大语言模型方面提供高性能、低功耗的计算处理能力。
另一方面，地平线通过软硬协同编译，采用算子重写、算子重排、算子融合和KV-Cache等技术，优化了模型结构，实现推理速度的提升。
据了解，该模型的运行效能相较于LLaMA.cpp等纯CPU方案有所提升。这也意味着，旭日3对此大语言模型的支持性可达到产品级应用水平。（江淼）
本文来源：网易科技报道
责任编辑：
赵芙瑶_NB31785
