CEVA：助力从移动设备到汽车应用生成式人工智能的部署

Ceva市场资讯副总裁Richard Kingston

与目前基于云的传统人工智能相比，边缘智能将有许多更小、功耗更低的用例。边缘智能的范围非常广泛，从在MCU和小型NPU上运行的非常小的神经网络（如TinyML），适用于语音、视觉、传感等多种应用，一直扩展到在智能手机上运行的生成式人工智能和完全自动驾驶汽车。由于在设备上运行人工智能成本更低，无需将数据发送到云端，因此边缘智能拥有广阔的未来发展前景。将人工智能引入许多行业都极具吸引力，尤其是智能手表、耳塞、智能手机、相机等消费类设备，以及预测性维护、工厂自动化、个人电脑、电视、汽车等工业领域。

Ceva市场资讯副总裁Richard Kingston坦言，未来几乎所有行业都会采用人工智能。随着处理架构的改进和优化网络的软件的完善，未来大部分推理操作都将在边缘设备上进行。

生成式人工智能要求NPU 等处理器能够运行transformer、全连接（FC）、FC 批处理、RNN、3D 卷积等新网络。现有的人工智能处理器解决方案无法支持这些生成式人工智能网络。它们还需要具有灵活性，以支持新的层级和网络，而不仅仅是在硬件中提供所有的网络支持。因此，这是边缘人工智能行业的拐点。生成式人工智能将用于边缘设备，生成与语音、声音和图像相关的用例和应用。Ceva市场资讯副总裁Richard Kingston介绍，边缘人工智能需要新的 NPU 架构，如上所述，因为针对普通人工智能的NPU、DSP、GPU等无法支持生成式人工智能。此外，编译和缩减网络以在边缘设备上运行的软件必须具备很强的能力，能够以尽可能小的网络提供全部性能，以节省内存资源。为此，CEVA在市场上推出了生成式人工智能NPU IP产品Ceva-NeuPro-M，它采用了可扩展的架构，可以满足移动设备对生成式人工智能的任何需求，而且功耗极低、效率极高。Ceva生成式人工智能NPU架构方法的一个优势是包含一个矢量引擎，即使移动处理器已安装在设备中，仍可升级NPU 以支持新网络。

Ceva-NeuPro-M可从32 TOPS扩展到256 TOPS，因此非常适合用于从移动设备到汽车等使用案例中的生成式人工智能。Ceva-NeuPro-M重新定义了智能边缘设备和边缘计算的高性能人工智能（AI）处理，具有异构协同处理功能，主要针对生成式和经典人工智能推理工作负载。Ceva-NeuPro-M采用异构协处理器，首先在每个内部处理引擎内，其次在引擎之间进行复合并行处理，从而实现了性能上的重大飞跃。

对于Ceva来说，NPU是包括矢量和NPU的异构处理器，以获得最高性能和支持未来的灵活性。此外，您还可以添加一个DSP处理器来处理传统的视觉、声音和传感算法。还可以添加Arm或RISC-V处理器来运行RTOS，但这并非必要。除了这些硬件IP外，Richard Kingston介绍Ceva还提供了完整的软件Studio，即Ceva-NeuPro Studio。这是一项全面的人工智能编译器技术，可为Ceva-NeuPro-M NPU IP架构创建全面优化的运行时软件。Ceva-NeuPro Studio面向大众市场的嵌入式设备，将广泛的网络优化、先进的量化算法、数据流管理和全面优化的计算CNN和RNN库整合到一个整体解决方案中，从而能够将云训练的人工智能模型部署到边缘设备上进行推理处理。

随着边缘智能的普及，Richard Kingston表示，Ceva将提供一整套处理器来处理MCU用例的最小网络和应用，直到极高性能的自动驾驶汽车，所有处理都将在边缘高能效地完成。这就是Ceva-NeuPro系列的战略。我们还提供蓝牙、Wi-Fi、UWB、蜂窝5G等所有连接IP，用于连接这些智能设备以及DSP和应用软件，使得这些设备能够感知周围环境。Ceva的愿景是促使任何边缘设备都能连接、感知和推断。