AI预测的2018年世界杯为什么不靠谱？

本文系网易智能工作室（公众号smartman 163）出品。聚焦AI，读懂下一个大时代！

【网易智能讯7月19日消息】以下是我们从人工智能未能预测2018年俄罗斯世界杯结果中学到的东西。

2018年俄罗斯世界杯于7月15日星期日结束，法国成为世界冠军，紧随其后的是克罗地亚和比利时。就像之前的2014年世界杯一样，许多研究人员都试图提前预测俄罗斯赛场上的比赛结果。今年，国际足联2018年世界杯也不例外，研究人员和科学家们试图利用人工智能（AI）和统计数据来预测世界杯64场比赛的结果，可它有多可靠呢？

在这篇文章中，我将谈及人工智能在预测2018年世界杯结果的表现。无论你是否是人工智能领域的专家，我会尽可能让这篇文章读起来简单易懂。

预测世界杯结果的方法有很多种，一种方法是从团队的能力和获胜的几率上来成对模拟比较所有单场比赛。Zeileis，Leitner和Hornik（2018）使用了同样的技术，他们预测巴西将以16.6%的概率赢得2018年世界杯，紧随其后的是德国（15.8%）和西班牙（12.5%）。

瑞银集团（UBS）也预测了三支球队的排名，但顺序不同。他们预测德国（24.0%）是冠军，其次是巴西（19.80%）和西班牙（16.1%）。该模型的产生基于四项因素：一是Elo评级系统的评分；二是球队在世界杯前的表现；三是球队在之前的世界杯比赛中取得的成绩；四是主场优势。

该模型通过10000次蒙特卡罗模拟（Monte Carlo simulations）校准来确定球队的获胜概率和最后五场比赛的结果。

2018年6月8日，多特蒙德技术大学（德国）、根特大学（比利时）和慕尼黑工业大学（德国）的四名研究人员（A. Groll et al.等）在arXiv上发布了一篇关于2018年世界杯结果预测的研究论文。他们使用是著名的人工智能算法：随机森林（Random Forest）和泊松排名算法（Poisson ranking algorithm）。6月14日，在俄罗斯与沙特阿拉伯举行的世界杯揭幕战之前，这篇文章被发表在网上。他们使用了一个数据集，该数据集能够涵盖过去四届世界杯（2002-2014）的所有比赛。他们预测西班牙将成为冠军，紧随其后的是德国和巴西。以上三项研究都提及了西班牙、德国和巴西三个顶级团队，只是顺序不同。他们使用了三种不同的方法、数据和数据特性，但预测结果几乎是一样的。现在，世界杯已经结束了，我们可以看到，所有这些模型都未能正确预测世界杯的结果，也没有任何预测真正发生。

在这些研究中，A. Groll et al等人的研究方法是我在这一领域的最爱。首先，他们使用了一个好的数据源；其次，他们考虑了许多训练的特点和参数。第三，他们采用了随机森林的算法。在本文的其余部分中，我将讨论其数据特性、错误以及在该领域失败的原因。

数据特性

A.Groll et al.等人考虑了与团队本身相关的各种特征，例如：经济因素（人均GDP、人口）；体育因素（ODDSET概率，国际足联排名）；主场优势（东道主、洲、联盟）；球队的结构因素（每支球队成员的最大数量、平均年龄、冠军联赛球员的数量）；球队的教练因素（年龄、任期、国籍）。总的来说，他们为每个队和每届世界杯总结了16个数据特性作为考虑因素。

分类模型

正如我前面提到的，他们使用了“随机森林（Random Forest）”的方法，这是人工智能和数据挖掘中众所周知的算法之一。该算法以“决策树（Decision Tree）”为基础，在许多案例中，决策树在数据分类中表现出较高的性能。他们还使用泊松模型（Poisson models），根据球队当前的能力对团队进行排名。

（图1:由随机森林算法预测的2018年世界杯足球赛结果——来源：参考文献[3]）

预测

在完成了10万次比赛的模拟后，预计西班牙将以28.9%的几率成为冠军，紧随其后的是德国（26.3%）和巴西（21.9%）。

错误

正如我们在2018年世界杯上所观察到的，没有任何一个预测排名领先的球队进入了半决赛，更不用说总决赛了。根据世界杯的实际结果和预测，模型的根均方误差（RMSE）和平均绝对误差（MAE）计算如下：

RMSE：8.052

MAE：6.468

这两个指标显示了模型的错误，以及它在总体上能够准确预测团队排名的程度。RMSE和MAE的值都很高，这使得模型不可靠，尽管团队使用了16个特性和大数据集（收集了过去4届世界杯的数据），人工智能机器学习（特别是随机森林）仍然无法可靠地预测结果。在本届世界杯上，俄罗斯、日本和伊朗的表现明显好于预期，而另一方面，德国未能晋级。

（图2：在2018年世界杯上，每个球队的预测排名、实际排名和预测的误差）

为什么人工智能会失败？

在人工智能和机器学习中，有适当的数据进行训练和建模是非常重要的。但是在这种情况下，尽管有适当的数据、相对较大的数据、好的算法和正确的参数，训练模型仍表现欠佳。这种失败的原因在于，我们所预测事物的性质。

国际足联世界杯就像任何其他基于人类的事件一样，在比赛前（（不只是16分钟））和比赛期间（至少90分钟）都依赖于太多的因素，这就是众所周知的混淆变量（confounding variables）。为了正确地预测结果，应该模拟每一场比赛的每一分钟。每个状态的结果取决于前面的状态。这也被称为马尔可夫链过程（Markov Chain Process）。

一个不正确的模拟状态很容易导致比赛行进中状态的不可靠结果。

除了内部因素外，足球比赛的结果也可能受到一些外部因素的影响，比如不公平的裁判、天气、政治状况、球员的个人问题等等。这些重要的特征通常很难被测量和收集。此外，总有一些探索的机会和不确定性。例如，出现一个关键性错误或一个乌龙球，这是不容易预测的。简单地说，像国际足联世界杯或人类活动这样的随机和动态的环境是当今人工智能技术无法很好地发挥作用的领域。这是一个很好的例子，我们必须关注人工智能在类似的动态领域中的适用性。另外，由于有一个非常复杂的数据结构，对于任何潜在的偏见来说，对经过训练的模型进行审查是非常困难的。人工智能中存在的偏见会导致对某一特定群体的歧视性决定。将这种预测系统作为唯一标准的决策者可能会给个人和公司带来巨大的影响。建议政府和企业只把人工智能作为一个用于随机和动态环境预测的辅助决策平台。

参考文献：

[1]Zeileis, A. C. Leitner, K. Hornik（2018）:基于bookmaker共识模型的2018年世界杯概率预测,2018-09工作论文,经济学和统计学工作论文,研究平台实证和实验经济学,因斯布鲁克大学.

[2]Audran, J. M. Bolliger, T. Kolb, J. Mariscal, Q. Pilloud （2018）:投资和足球（特别版）：2018年俄罗斯世界杯,工作论文,瑞士联合银行.

[3]Groll, A. C. Ley, G. Schauberger, H. Van Eetvelde（2018）:2018年世界杯预测——基于一种强调团队能力参数的随机森林算法,工作论文.

（选自：medium 编译：网易智能 参与：nariiy）

关注网易智能公众号（smartman163），为你解读AI领域大公司大事件，新观点新应用。