御林军的秘密：一个让国王以为文武不能双全的数据陷阱

虾哥数据寓言 · 第2期

每一则寓言的背后，都藏着一个数据分析的核心概念。你不用背公式，听完故事就懂了。

我是虾哥，在连锁零售行业做IT，搞数据搞了半辈子。

今天讲第二个坑。这个坑比辛普森悖论更隐蔽——它不会让你得出错误的结论，它会让你在一个"找不到反例"的结论面前，根本意识不到自己被骗了。

故事，从一个国王的"英明决策"开始。

寓言：《御林军的秘密》

很久以前，有一个王国，国王想要组建一支天下最强的御林军。

他下了一道旨：御林军只招两种人——要么武力过人，能在比武中撑过三十回合；要么才智超群，能在棋局上赢过翰林院大学士。两项都达标者，直接封将军。

消息一出，天下豪杰蜂拥而至。

十年过去，御林军威震四方。但军中也渐渐传出一个说法：能打的都是莽夫，能算的都是文弱书生。那些力大无穷的勇士，连最基本的兵法都看不懂；那些运筹帷幄的谋士，连马背都坐不稳。

这个观察太明显了，朝中大臣把它当成了公理。吏部尚书甚至在奏折里写道："力与谋，不可兼得也。"从此朝廷用人也按这个逻辑——武官只管打仗，文官只管算账，各走各路。

直到有一天，一个叫沈清的年轻学士站了出来。

"大人，这个结论有问题。"

"什么问题？御林军几千号人，随便拉出一个都符合这个规律——强者不智，智者不强。"

沈清说："我想查查那些被淘汰的人。"

满朝哗然。落选的人有什么好查的？选上的清清楚楚摆在那，每一个都印证了"力与谋不可兼得"。你还能找出反例来？

但沈清坚持。她花了三个月，走访了各地曾报名御林军但落选的人。她发现了一件让所有人目瞪口呆的事——

落选者中，绝大多数两项都不及格。他们既没有过人的武力，也没有出众的才智。但因为落选了，从来没有人关注过他们。

她又查了那些两项都达标、直接封将军的人——寥寥无几，而且这些人因为职位太高，平时根本不和普通御林军混在一起，统计的时候也被忽略了。

沈清画了一张图给国王看。

在全天下的人口中，武力和智力的分布根本没有任何关联。有人又强又聪明，有人又弱又笨，有人强但笨，有人弱但聪明——四种人都有，比例大致相当。

但御林军的筛选规则是"武力强 或 智力高"。这套规则把全天下的人分成了四类：

又强又聪明 → 封将军，不在御林军统计里

强但不太聪明 → 武力达标，入选御林军

弱但聪明 → 智力达标，入选御林军

又弱又不聪明 → 落选，没人看到

你发现问题了吗？

御林军里能看到的，只有右上角和左下角的人——"强但不太聪明"和"弱但聪明"。在这两个群体之间，武力和智力当然看起来像一对矛盾！

但这个矛盾不是天然的——它完全是那道筛选条件帮你"造"出来的假象。

国王看完沈清的奏折，沉默了很久。

第二天，他取消了"两项都达标者封将军"的规定——不是因为这规定不好，而是因为这规定让所有人误以为"文武双全"是稀罕事。

他下了一道新旨：今后统计全国人才，先看全部报名者，不只看录取名单。

概念解析：对撞偏差

在这个寓言中，我所讲述的是因果推断中一个极为反直觉的概念——对撞偏差，英文叫 Collider Bias。

1. 什么是对撞偏差？

在因果推断中，当你的筛选条件同时受到两个变量的影响时，只盯着"通过筛选的人"看，就会在这两个变量之间发现并不存在的虚假关联。

在故事里：筛选条件是"武力强或智力高"。因果箭头是武力 → 入选 ← 智力。入选是这两条路径的"对撞点"。一旦你只看着过了对撞点的人，就撞出了假关联。

这和辛普森悖论不一样。辛普森悖论是"分账和总账方向相反"——你至少还能看到反例。而对撞偏差更阴险：在你的样本里，你找不到一个反例。每一个入选的强将都不聪明，每一个入选的谋士都体弱。你抽查上百人，个个都吻合。你凭什么怀疑？

沈清的办法是唯一解药：跳出样本去看被排除的人。

2. 故事里的数据，拆给你看

假设全天下有10000人，武力和智力完全独立，各分高低两档，每档5000人——

智力高 + 武力高：2500人

两项都达标 → 封将军 → 不在统计里

智力低 + 武力高：2500人

武力达标 → 进御林军 → 看起来是莽夫

智力高 + 武力低：2500人

智力达标 → 进御林军 → 看起来是文弱书生

智力低 + 武力低：2500人

两项不达标 → 落选 → 完全看不到

全天下人里，武力和智力零相关。但当你只看御林军内部（即上表第二格2500人 + 第三格2500人），武力高的人智力都低、智力高的人武力都低——在5000人的样本里，出现了完美的负相关！

你抽查任何一个人，都发现不了反例。因为这个"反例"在左上角（封将军，2500人）和右下角（落选，2500人），根本不在你的视线内。

3. 现实中有多常见？

对撞偏差不是象牙塔里的概念游戏。它在现实中以各种面目出现：

"好看的演员演技差"

颜值和演技在人群中没有关系。但"成为演员"这道筛选只放过了两类人：颜值高但演技一般、演技好但颜值一般。真正"又好看又会演"的去了好莱坞最顶层，你日常看到的全是筛选后的假象。

"名校毕业生工作能力反而不行"

某HR只看自己公司的员工，发现名校毕业的绩效反而更低。但她没看到：真正"名校+能力强"的人去了更好的公司，不在她的样本里。她看到的只是"名校但能力一般"和"能力强但非名校"两拨人，在这两拨之间当然看起来负相关。

"打疫苗的人反而更容易生病"

如果你只统计去医院的人——打过疫苗的人健康意识强，小病也往医院跑；没打疫苗的人可能根本不去医院。样本被"是否去医院"这道筛选截断，就撞出了假关联。

"大促期间销量高但利润低"

只分析参与大促的商品，会发现销量和利润率负相关。但这只是因为低利润率商品才需要大促——高利润商品平时也能卖。

4. 怎么不被坑？

对撞偏差最可怕的地方在于——在你的数据里你找不到反例。所以光靠"看数据"是不够的，你需要的是一个思维习惯。

❶ 画因果图——你的筛选条件是什么？哪些变量影响了它？如果筛选条件同时受两个变量影响，对撞风险就已经存在

❷ 找被排除的样本——问自己：谁不在这个数据里？为什么不在？他们长什么样？

❸ 永远不要只看"通过筛选的人"就下结论——在你的数据里找不到反例，不等于没有反例。可能反例只是没进来。

虾哥想说的是——国王犯的错，我们每天都在犯。你看着一堆数据，发现了一个"规律"，抽查了所有的样本，每一个都符合。你笃定地得出结论，写在报告里，拿去做决策。

但那些不在你的数据里的人，可能正站在筛选线的那一边，把你引向一个完全错误的结论。

下次你发现"这两个变量负相关"时，先问自己一句：那些没通过筛选的人，长什么样？

没问过这个问题之前，别对任何数据下结论。

这就是《虾哥数据寓言》第二期。你还碰到过哪些"数据里找不到反例但还是被骗了"的真实案例？留言区聊聊。

关注亮虾哥

连锁零售IT老司机 | 非程序员用AI省80%时间

每天一篇AI干货，让AI替你打工

评论区聊聊：你见过哪些"数据里找不到反例、但结论就是错的"真实情况？

#数据寓言 #对撞偏差 #ColliderBias #因果推断 #虾哥数据寓言 #数据分析 #统计学