破解边缘AI硬件与软件挑战，意法半导体解读三大创新要点

芯东西（公众号：aichip001）
作者 ZeR0
编辑 漠影

芯东西2月27日报道，今年开年，意法半导体举办了一场Edge AI线上媒体沟通会，分享了意法半导体的AI解决方案及设想、开发人员面临的挑战以及解决这些难题的方法。

意法半导体亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA告诉芯东西，意法半导体的产品可以跑绝大多数的人工智能（AI）模型，包括基于机器学习的模型（如决策树、随机森林、SVM等）和深度学习模型（如基于全连接的架构、CNN卷积神经网络、RNN循环神经网络等），唯一的限制就是模型的复杂性和参数量。

他说截至目前还没有看到在边缘AI设备上支持生成式AI的必要性，直到最近智能手机应用处理器才缩短生成式AI和Transformer推理运行时间，生成式AI还没有进入边缘设备，但意法半导体认为他们很快就会到来，因此正在为此做准备。

Matteo MARAVITA谈道，AI对于建设未来互联世界至关重要，因为这是一个由数十亿个设备构成的万物智能的世界，它们具有更高的安全性、连接性和智能，意法半导体称之为云连接智能边缘。

意法半导体团队认为，这些设备将具有更强的自主能力，将有更多的设备连接到云端，不仅是数据量在提高，而且本地数据处理能力也在提高。边缘AI将给未来带来广泛影响。

一、边缘AI需要自主性，意法半导体提供多种整体方案

Matteo MARAVITA说，边缘AI需要三个基本要素：安全性、连接性、自主性。

就自主性而言，以车规传感器为例，意法半导体正在与HPE集团合作，利用边缘AI优化电动汽车的电机运维。相应解决方案叫虚拟传感器，AI算法运行在其最新的Stellar系列车规微控制器上，通过传感器获取电机运行数据来推断预估无法直接测量的电机内部温度，同时这个车规微控制器还能运行额外的预测性维护AI算法，以识别减震、机械和电气系统中可能存在的异常状态。

在优化笔记本电脑节能策略方面，意法半导体与惠普合作，基于六轴IMU MEMS传感器，使用智能传感器技术，通过避免过热和电池耗尽来优化笔记本电脑的电源监控。

另一个例子是洗衣机，意法半导体用的STM32微控制器和AI算法来估算待洗衣服的重量，使用恰好所需的电流驱动电机，并减少整体用水和洗涤剂、数据接收器和整体功率的使用，一个洗涤周期可节省15~40%的能源和水。运行AI算法搭配六轴IMU传感器，还能提前检测滚筒在旋转时可能发生的碰撞以及可能撞击外壳的情况。

开发者面临性能、安全、能效等方面的硬件挑战，以及构建、部署和维护机器学习模型的软件挑战。应对这些挑战，意法半导体提供了各种不同的硬件设备整体方案。

二、从十年前开始AI研发，帮助开发者应对硬件挑战

意法半导体大约在十年前开始AI研发计划，从机器学习技术基础研究开始，专注于边缘设备。

2018年，意法半导体发布首个STM32 AI库，并自那时起与客户合作开发了很多项目，向市场推出了首款带有机器学习模型硬件加速器的传感器。之后意法半导体陆续有了加入TinyMl联盟、开始将AI布局和支持范围扩展到其他芯片、发布了新的AutoML工具生态系统NanoEdge AI、发布具有更先进的硬件加速器的MEMS传感器、发布STM32开发者云模型库等进展。

Matteo MARAVITA强调说，谈到通用微控制器，STM32是在ML Per Tiny基准测试提交项目数量排名第一的解决方案，在所有提交的项目中有73%是基于STM32的。

大量开发人员正在基于意法半导体的平台开发和探索边缘AI。他认为这与三个主要因素有关：一是意法半导体在通用微控制器、工业和消费微控制器市场的优势地位，二是STM32适用于工业和消费应用以及意法半导体为边缘AI基准测试做出的贡献，三是STM32 AI开发者云可帮助客户和开发人员用其在线工具和各种STM32板轻松测试他们的模型。

他补充说，意法半导体的目标是通过优化其工具和库来实现机器学习模型在硬件设备上的实现和移植，如STM32，进而帮助客户解决性能、安全和能效方面的挑战，方便开发者把机器学习模型导入CPU算力和内存受限的硬件设备。

得益于现有的软件工具，意法半导体能够充分利用STM32上的存储容量和CPU性能。这个通用微控制器还没有AI加速器，过去几年意法半导体在MEMS中引入了硬件加速器，还将发布适用于STM32和STM32 MPU系列的硬件加速器。具有AI硬件加速器的前两个设备是STM32N6和STM32MP2。

STM32N6允许客户运行复杂的模型，例如直接在边缘设备上实现物体检测，同时保持较低的功耗和成本，较小的PCB尺寸，有助于解决硬件性能挑战；其安全功能不仅可以保护存储器内的数据，还能保护机器学习模型的安全。

集成NPU后有什么好处呢？以意法半导体与合作伙伴Lacroix合作开发的机器学习模型为例，它是一个运行在STM32N6上的多对象识别跟踪AI算法，在做检测和跟踪行人、自行车和汽车的交通信号灯管理时，该算法是全都运行在MPU上或集成在N6微控制器内部，而基于Cortex的主核心的负荷不到5%。

Matteo MARAVITA认为，下一个创新是IMC存内计算或存算一体技术，意法半导体已经在研发这项技术。几年后，存内计算将转化为产品进入市场，这将改变市场的游戏规则，不仅让开发人员能够运行类似的模型，还能把计算性能提高到现有水平的十倍，同时把功耗降低到现有水平的十分之一。

此外意法半导体正在不断努力优化NPU等硬件加速器的编译器，将来还要优化IMC编译器。鉴于硬件架构越来越复杂，软件编译器将极其重要。

在车载场景，我们很快就会看到边缘AI在车内的应用普及，并与多个传感器整合，可能出现不同类型的用例，比如监测电池的健康状态、识别系统中可能存在的异常等。

三、应对软件挑战，打造全能边缘AI开发套件

如果想要开发边缘AI解决方案，需要拥有多种开发技能的不同类型的AI工程师。

其中，软件工程师，即嵌入式软件工程师，需要关注边缘AI的实现以及如何将其集成到整个系统中，因此这类工程师可能从可靠的示例项目开始开发，根据特定应用情况修改参考设计。

机器学习工程师、AI工程师或者数据科学家主要关注机器学习模型的开发，不仅关注机器学习模型的数据集，还需要关注根据被选目标硬件设备的特点优化学习模型。

硬件工程师需要一个简单的对标测试工具，在不同的硬件平台或不同的部件号上测试数据科学家提供的高级算法，并在性能、功耗、尺寸、价格等方面找到最佳折衷方案。

对此，意法半导体推出了新的ST Edge AI开发套件，以满足这些工程师的所有需求。

ST Edge AI开发套件基本上整合了边缘AI开发所需的全部工具和模块，从用模型库创建用例开始，到收集数据集，再到把模型部署到特定的硬件上，涵盖了整个开发过程。

客户可以用其AutoML工具直接从数据开始创建模型，或者可以将他们用自己开发的工具或第三方公司的工具自主开发的模型导入套件，进行模型基准测试，在硬件上部署模型。Matteo MARAVITA说，目前还无法在MEMS上运行大型计算机视觉模型，这是唯一的硬件限制。

意法半导体希望这个工具能够涵盖之前提到的所有不同的硬件产品，例如，MEMS传感器、微控制器、MPU微处理器以及汽车微控制器。大家还可以在ST Edge AI套件中找到所需的开发资源，例如，文档、教程、社区访问权限等。

结语：边缘AI尚无通用开发方法，三大要点实现边缘AI创新

针对边缘AI创新，Matteo MARAVITA总结说，今天意法半导体被公认为全球边缘AI大厂之一，其创新有三个看点：1）集成AI硬件加速器的硬件产品；2）配套软件工具；3）为客户提供参考设计和概念验证原型。

他谈道，目前边缘AI并没有一个统一通用的开发方法，意法半导体认为在开发边缘AI解决方案的过程中，为开发者提供指引和信息是非常重要的。因此，12月初预发的ST Edge AI套件考虑到了这个因素。

意法半导体正在将几个工具集成到边缘AI开发套件中。其生态系统兼容外部的AI开发生态系统，支持TensorFlow Lite、Keras、PyTorch等主流深度学习框架，也有示例证明与英伟达工具包的兼容性，并提供了连接到亚马逊云科技（AWS）和微软Azure等云服务的可能性，同时还兼容MATLAB等仿真工具。

这些工具都是免费的。意法半导体宣布自去年12月起，其Nano AI Studio在任何STM32上都可以无限量免费使用；还将继续根据特殊许可协议，为客户提供其他基于Arm Cortex-M的微控制器支持。