图像识别领域四大天王谁最强？谷歌实力碾压微软IBM亚马逊

新智元报道 来源：perficientdigital 编辑：大明、张佳 【新智元导读 】作为机器学习最热门的领域之一，图像识别是判断AI聪明与否的一个重要标准。作为主要的参与者，微软、IBM、谷歌和亚马逊在这项技术上投入巨资，那么，到底哪一家做得更好呢？研究发现，谷歌在图像识别方面取得了81.7％的准确率，仅次于人类，四家中排名第一。 机器学习最热门的领域之一是图像识别。有许多主要参与者在这项技术上投入巨资，包括微软，IBM，谷歌和亚马逊。但哪一个做得最好？
Perficient Digital的研究团队发布了一份对这四家科技巨头图像识别的研究报告。报告显示， 谷歌在图像识别方面取得了81.7％的准确率，在四家中最高； IBM在图像识别方面取得了55.6％的准确率，在四家中最低 。 本次研究涉及的图像识别引擎包括：

• 亚马逊AWS Rekognition

• 谷歌Vision

• IBM Watson

• 微软Azure Computer Vision

• 图表

• 风景

• 人物

• 产品

• 来自每个图像识别引擎的标签的准确度（500个图像），称之为“准确度评估”。

• 来自图像识别引擎的标签是否是描述每个图像的最佳匹配（2000个图像），这被称为“匹配人类描述评估”。

IBM Watson：
微软Azure Computer Vision： 在所有的引擎中，我们都可以看到，它们在分配给更高置信度分数的标签上做得更好。 二、图像识别引擎与人类的想法相匹配的程度如何？
匹配人类描述评估的不同之处在于，研究人员向用户呈现了每个引擎为每个图像提供的前五个最高置信度标签，而没有告诉他们来自哪个图像识别引擎。 然后，在2000张图像中，研究人员要求用户选择并排列他们认为最能描述图像的前五个标签。与之前的数据集不同，这里的重点是最佳匹配人类的想法。这次评估的目的是看看哪个引擎最接近这一点。 对于数据，让我们从平台的平均得分开始，总计：

如图所见，“手动标记”图像的得分远高于任何引擎。这是可以预料到的，因为手动标记的标签的图像描述是准确的。 四个图像识别引擎和人类水平之间的差距非常大。值得注意的是，四个引擎中Google Vision明显性能更高，但手动标记结果的选择频率仍远高于任何引擎给出的结果。 总之，人类仍然可以比机器API更好地识别图像，并对其他人解释自己的看法。这是因为几个因素的作用，其中包括语言的特异性、具备广阔背景知识基础的引擎常常会关注对人类没有重大意义的属性，因此虽然这些属性是准确的，但人类更有可能描述他们的感受，更准确地识别图像。 下图为按图像类型分类的分数视图： 按图像类别划分很有意思。人类手动标记的标签仍是每个类别中目标最多的标签。Google Vision在四个类别中的三类中获胜，亚马逊AWS几乎没有在任何类别中占据优势。 当引擎标签的置信度为90％以上时，四个引擎中的三个得分高于人工标注标签。

三、图像识别引擎的词汇表

本研究最有趣的发现之一就是不同平台上词汇引擎的变化情况。以下是参与比较的四个平台的原始数据，以及我们的“手动标记”结果。

当然，根据图像类型不同，词汇发生变化是自然而然的事情（详细数据以下给出）。

下图为 AWS Rekognition 的结果：

Google Vision:
IBM Watson:

微软 Azure Computer Vision： 如上所见，你可能已经注意到了，我们将数据分成了一个个单词，但不少数据标签长度都不止一个单词，而且标签的平均长度会随着不同引擎发生一定程度的变化，下图所示为每个标签下的平均单词数量。

总体看来，所有的引擎距离人类描述图像的方式还有很大的距离。

其他特征：IBM Watson是“艺术家”，AWS是“时尚达人”

IBM Watson最爱五颜六色： 其API具有最独特的颜色变化组合和最多的颜色种类。 Google Vision和微软Azure Computer Vision也经常提到“黄色”，但都比不上IBM Watson的“艺术家”气息。 Microsoft Azure Computer Vision可以描述图像质量： 引擎会返回“模糊”以及“像素级”的结果。 进行时词汇： IBM Watson有112个回复以进行时“ing”结束，Amazon AWS Rekognition这样的回复结尾有62个，Microsoft Azure Computer Vision有87个，Google Vision有103个。 IBM Watson喜欢高度描述性的词语 , 并为这些词汇添加语境：pinetum（松树），牛轭（河），LED显示屏（计算机/电视），rediffusion（分布），'蔓藤花纹（装饰），'dado（骰子），'登山杖（攀登装备）。 实际上，IBM Watson在很多方面都过于极端地描述了图像。这可能导致IBM Watson面临的一些准确性上的问题。从积极方面来说，这种对高度描述性词语的关注应该使用户更容易找到与其查询请求相关的图像。 AWS Rekognition是一个“时尚达人”： 亚马逊AWS Rekognition喜欢服装。它比其他API更能识别出短裤、裤子和衬衫。 Google喜欢猫，IBM Watson喜欢狗： 谷歌更善于识别出猫的品种，IBM Watson更善于识别出狗的品种，并对它们有更具体的了解，甚至可以具体到“德国短毛指针犬”。Microsoft Azure在猫的识别上仅次于Google Vision，位居第二。

总结

很明显，Google Vision是这场比拼中的赢家，在原始精度和与人类描述图像的一致性上处于领先。

IBM Watson在测试中排名最后，但应该注意到IBM Watson在自然语言处理方面表现优异，而NLP这不是本研究的重点。它是迄今为止唯一一家为自定义NLP模型创建构建完整GUI的主要AI供应商，Watson平台不仅允许分类，还允许通过该GUI提取自定义实体。

同样令人兴奋的是，当置信度大于90％时，四个引擎中的三个引擎的原始精度得分要高于人类手动标记。 这是图像识别引擎性能和发展潜力的强有力的证明。不过，从图像识别引擎以类似人类的方式描述图像，并以此进行图像标记的表现来看，未来还有很长的路要走。