神经网络推理硬件加速器Movidius神经计算棒

Movidius现在是Intel的一部分（由Intel在2016年收购）。

性能测试

Ubuntu 16.04下的SDK安装顺利。该SDK还包含脚本，从互联网上获取朱古力的模型。默认情况下，以下型号可用：Age，AlexNet，Gender，GoogLeNet，SqueezeNet。

此例编译用了C编写的例子（位于ncapi / c_examples /文件夹），并进行了一些检查。与硬件的所有交互都是使用libusb（看起来像构建在libusb之上的libmvnc.so），而不需要任何内核级的驱动程序。

C示例允许我们做“图像分类”。现在我们来做一些测试。这是一个性别检测过程：

时间./c_examples/ncs-fullcheck -c100 ./networks/Gender// mona-lisa.jpg
OpenDevice 2成功
分配图
女性（99.51％）男性（0.48％）
推理时间：237.392059 ms，总时间241.811815 ms
...
推理时间：234.574295 ms，总时间238.665898 ms
取消分配图，rc = 0
设备关闭，rc = 0
真0m26.086s
用户0m1.051s
sys 0m0.071s

正如我们可以看到，Mona Lisa的性别被准确地检测到（99.51％的女性）。

检测时间约为26秒，100次。这意味着我们已经通过硬件加速实现了约4 fps（每秒帧数）。

功耗和能源效率

在这次测试中能够控制功耗，平均电流为0.18Amps。

在5V USB上，这给了我们5 * 0.18 = 0.9Watts。这意味着我们可以实现4 / 0.9 = 4.4 fps每瓦。为了更明确，与iphone7（11Wh）相同规格的电池可以为该设备供电约12小时。这些都是移动和自主用例的好结果。

顺便说一下，使用Joker主模块（使用英特尔的x5-z8500），使用相同的任务（图像分类），功耗约为5W，达到2 fps。因此，这相当于每瓦0.4 fps。与Movidius神经计算棒相比，这个结果是11倍。一个很大的特点是我们将神经网络任务卸载到“协处理器”，为其他重要任务留下了主要的CPU功能。

停电状态下的功耗

默认情况下，在Linux中禁用USB设备的挂起。我们已经使用Movidius Neural Compute Stick连接到以下命令的端口：

echo“auto”> / sys / bus / usb / devices / 1-2 / power / control

几秒钟后，内核日志显示设备已切换到挂起状态：

7,101290,1988008779700， - ; usb 1-2：usb自动挂起，唤醒0 SUBSYSTEM = USB DEVICE = C189：83

暂停状态下的功耗约为0.07A（70mA）。该值高于USB规格（应小于2.5 mA）。这可能会在移动应用中引起更高的电池排放率。