谷歌LiteRT框架新增高级硬件加速能力

谷歌从TensorFlow Lite演进而来的现代化端侧推理框架LiteRT，引入了基于下一代GPU引擎ML Drift的高级加速能力。

这一里程碑在1月28日宣布，巩固了LiteRT作为通用端侧框架的地位，并代表着相对前身TFLite的重大飞跃。谷歌表示，LiteRT提供比TFLite快1.4倍的GPU性能，为边缘平台上的GPU和NPU加速提供统一工作流程，支持生成式AI模型的卓越跨平台部署，并通过无缝模型转换提供对PyTorch和JAX的一流支持。该公司在去年5月预览了LiteRT的新加速能力。

谷歌表示，可在GitHub上找到的LiteRT为数十亿台设备上每天使用的应用程序提供支持，提供低延迟和高隐私保护。通过新的ML Drift GPU引擎，LiteRT支持OpenCL、OpenGL、Metal和WebGPU，使开发者能够在移动设备、桌面和网页端部署模型。在Android平台上，LiteRT会自动优先选择可用资源以获得峰值性能，同时回退到OpenGL以实现更广泛的设备覆盖。此外，根据谷歌的说法，LiteRT提供了统一简化的NPU部署工作流程，抽象化了底层的供应商特定SDK，并处理了众多SoC（片上系统）变体之间的碎片化问题。

LiteRT的文档可在ai.google.dev上找到。

Q&A

Q1：LiteRT相比TensorFlow Lite有哪些性能提升？

A：LiteRT相比前身TensorFlow Lite实现了显著的性能提升，GPU性能提升了1.4倍。同时，它提供了统一的GPU和NPU加速工作流程，支持更好的跨平台部署能力，特别是对生成式AI模型的支持，并且通过无缝转换提供了对PyTorch和JAX框架的一流支持。

Q2：LiteRT的ML Drift GPU引擎支持哪些平台？

A：LiteRT的ML Drift GPU引擎支持多种主流图形API，包括OpenCL、OpenGL、Metal和WebGPU，使开发者能够将模型部署到移动设备、桌面和网页端等不同平台。在Android平台上，系统会自动优先选择可用资源以获得最佳性能，同时也能回退到OpenGL以支持更广泛的设备。

Q3：LiteRT如何解决不同硬件芯片的兼容性问题？

A：LiteRT提供了统一简化的NPU部署工作流程，将底层供应商特定的SDK进行了抽象化处理，有效解决了众多SoC（片上系统）变体之间的碎片化问题。这意味着开发者不需要针对不同芯片厂商编写特定代码，就能实现跨硬件平台的模型部署。