这是一个数据爆炸的时代,数据的作用被无限放大。
美国管理学家、统计学家爱德华·戴明有一句名言:除了上帝,任何人都必须用数据说话。
然而,这也带来了一个问题:数据也许是客观的、科学的,但是获取、分析和处理数据的方法,却未必是科学和客观的。
美国统计专家达莱尔·哈夫在其传世之作《统计数据会说谎》中说到:“世界上有三种谎言:谎言、弥天大谎和统计数据!”
著名数学家亚伯拉罕·瓦尔德(Abraham Wald)1902年出生于当时的克劳森堡,隶属奥匈帝国(后隶属罗马尼亚)。
瓦尔德凭借出众的数学天赋,被维也纳大学录取,二战期间由于众所周知的原因去了纽约。
瓦尔德都在哥伦比亚大学的统计研究小组(SRG)中工作。统计研究小组是一个秘密计划的产物,它的任务是组织美国的统计学家为“二战”服务。
在英国和德国进行的空战中,双方都损失了不少轰炸机和飞行员。当时英美军方需要解决飞机被击落的概率问题,只要降低飞机被击落的概率,就可以夺得空战的优势。
当时的英国军方研究了那些从欧洲大陆空战中飞回来的轰炸机。如上图所示,飞机上被打到的弹孔主要集中在机身中央,两侧的机翼和尾翼部分。因此研究人员提议,在弹孔最密集的部分加上装甲,以提高飞机的防御能力。
然而,瓦尔德力排众议,指出更应该注意弹痕少的部位,因为这些部位受到重创的战机,很难有机会返航,而这部分数据被忽略了。
为此,瓦尔德连续写了8篇研究报告,指出这些百孔千疮的轰炸机是从战场上成功飞回来的“幸存者”,因此它们机身上的弹孔对于飞机来说算不上致命。
飞机各部位受到攻击的概率应该是均等的,但是引擎罩上的弹孔却比其余部位少,那些失踪的弹孔在哪儿呢?瓦尔德深信,这些弹孔应该都在那些未能返航的飞机上。
胜利返航的飞机引擎上的弹孔比较少,其原因是引擎被击中的飞机未能返航。
大量飞机在机身被打得千疮百孔的情况下仍能返回基地,这个事实充分说明机身可以经受住打击(因此无须加装装甲)。
如果去医院的病房看看,就会发现腿部受创的病人比胸部中弹的病人多,其原因不在于胸部中弹的人少,而是胸部中弹后难以存活。
要想救那些轰炸机飞行员的性命,更正确的方法应该是去研究那些被打中并坠毁的轰炸机。只有研究那些没有成功返航的轰炸机,才能找到这些飞机最脆弱的地方并用装甲加强。
当然,瓦尔德是对的。瓦尔德的建议后来被英美军方采纳,不久之后,联军轰炸机被击落的比例,果然显著地降低了,挽救了成千上万的飞行员性命。
为了确认这个决策的正确性,一段时间后,英国军方动用了敌后工作人员,搜集了部分坠毁在德国境内的联军飞机残骸,他们中弹的部位,果真如沃德教授所预料,主要集中在驾驶舱与发动机的位置。真所谓看不见的弹痕最致命!
在这之前英美军官们在无意间做出了一个假设:返航飞机是所有飞机的随机样本。如果这个假设真的成立,我们仅依据幸存飞机上的弹孔分布情况就可以得出结论。
但是,一旦认识到自己做出了这样的假设,我们立刻就会知道这个假设根本不成立,因为我们没有理由认为,无论飞机的哪个部位被击中,幸存的可能性是一样的。
用数学语言来说,飞机幸存的概率与弹孔的位置具有相关性。
关于返航飞机上弹孔分布不均的这个现象,我们称之为“幸存者偏差”(survivorship bias),而这种现象几乎在各种环境下都会出现。
幸存者偏差,指的是在做统计分析时,我们只专注于那些成功的例子,从而得出以偏概全的错误结论。
大致来讲,成功的例子往往只属于少数。如果我们只看成功的幸存者,而忽略那些沉默的大多数,那么就会得出很多不符合常理的荒唐结论。
两千年前的古罗马,有一个政治家和无神论者叫西塞罗,他的朋友劝他去拜神,他反问朋友为什么要去拜神?朋友说:“海难当中活下来的都是拜神的人”
西塞罗反问:“那你把那些拜神的被淹死的给我拉过来”。西塞罗是第一个提出幸存者偏差的人。
飞机失事和车祸,哪个概率高?
很明显,车祸发生概率更高,而且死亡人数也更多。但是,因为机失事是重大事件,一般都会有新闻报道,而车祸很少被报道,或者说车祸因为发生较为普遍,即使报道出来了,我们一般会忽略。
所以,大家得出结论:飞机不安全。这就是典型的幸存者偏差问题,事实上飞机远比汽车安全。
袜子总会丢一只:因为两只袜子都丢了就不容易发现袜子丢了,所以往往注意到袜子丢了的时候都是只丢了一只袜子。
读书无用论:如今很多人在说,谁谁谁当初没好好上学如今照样挣大钱,而好多用功读书的人,毕业后反而不如那些没好好学习的人混得好。并且因为这样的例子有很多,所以很多人得出“上学没有用处”,“读书无用”的结论。
这些其实只是个例,因为基数太大,所以看起来有很多。2010年第六次全国人口普查的官方口径,可以算出来大专以上文化程度的人口仅占总人口的8.7%左右。可以看出学历低的人数远高于学历高的人数,所以即便低学历者成功率远低于高学历者,也照样会导致低学历者出现大批成功人士。
幸存者偏差存在于很多方面,而有些例子的结论甚至被很多人当成真理,被心灵鸡汤利用。心灵鸡汤的特征是简单归因,缺乏缜密的逻辑,只能成为弱者的安慰剂,不符合事实真相。如果相信心灵鸡汤,就会陷入思维的误区,导致逻辑能力的缺乏。
既然幸存者偏差存在于很多方面,应该如何应对?
最好的应对方法是避免数据的偏差。让沉默的数据或者说是“死人”的数据也被收集到,并参与到统计和分析中,就可以得到更全面的结论。
此外,双盲对照实验也可以有效避免幸存者偏差。
有些情况下,无法避免数据的偏差,只能收集到片面的数据,这时候就需要逆向思考。逆向思考可以有效避免以偏概全、简单归因等造成幸存者偏差的因素,跳出思维惯性,可能会看到更多的因素。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.