模型考古 · 第 4 季《第06篇：有些差异，你这辈子都验不出来》

模型考古 · 第 4 季 验货 第 06 篇 有些差异，你这辈子都验不出来 一个数据分析模型在 74,291 场数据上的失败史

有些差异，你这辈子都验不出来

一、一个让人清醒的计算

前面几篇留下几个"没通过检验"的结果：

总进球层：模型 21.04% vs 永远猜 3 球 20.71%，差 0.32pp，p=1.000

让球层：模型 51.13% vs 基线 46.28%，差 4.85pp，p=0.144

比分 Top3：模型 30.10% vs 基线 25.57%，差 4.53pp，p=0.126

这些"不显著"里，有一种是样本不够，攒下去就能验出来；另一种是永远验不出来。

区别在哪？可以算出来。

二、★ 需要多少场

两个比例的检验，给定显著性水平（α=0.05）和检验功效（80%，即"真有差异时 80% 的概率能查出来"），需要的样本量有现成公式。把实际数字代进去：

要检测的差距

每组需要

55% vs 50%

1565 场

53% vs 50%

4356 场

52.43% vs 41.10%（方向层已证实）

304 场

51.13% vs 46.28%（让球层）

1667 场

21.04% vs 20.71%（总进球层）

238094 场

最后一行不是笔误：二十三万八千场。

三、为什么差之毫厘，需要谬以千里

关键在公式的分子里有个平方项：

n ≈ (常数) ÷ (p₁ − p₂)²

差距缩到 1/2，样本量要 4 倍；缩到 1/10，要 100 倍。

方向层的差距是 11.33pp → 304 场就够（我们实际有 309 场，刚好够，所以 p=0.0002）

让球层的差距是 4.85pp → 约是前者的 1/2.3，样本量要 (2.3)² ≈ 5.3 倍 → 1667 场

总进球层的差距是 0.32pp → 约是方向层的 1/35，样本量要 35² ≈ 1225 倍 → 238094 场

一天推演 30 场，一年约 1 万场。二十三万场需要二十四年。

而"24 年"还是乐观估计——它假设这 24 年里模型和数据口径完全不变。

四、这改变了什么

它改变的是"继续收集数据"这个策略的价值判断。

对于总进球层，即使你再跑 3000 场（比现在多 10 倍），0.32pp 的差距仍然验不出来。因为需要的是 80 倍，不是 10 倍。

所以正确的问题不是"再攒多少场"，而是：

这个差距即使存在，它值得我去证实吗？

0.32 个百分点意味着：每 300 场，模型比一句"就猜 3 球"多对 1 场。就算它是真的，也小到没有实用价值。

这时候"验不出来"反而是个解脱——它告诉你，该换方向了，而不是继续加样本。

同样的"待证实"标签，需要的样本量差了 780 倍

差距越小，需要的样本量按平方反比爆炸

五、反过来用：先算，再做

这个公式最有价值的地方不是事后解释，而是事前刹车。

以后要动一个参数、加一个因子，先问一句：我预期它能带来多大改善？

预期改善

需要的场次

5pp

≈ 1565

3pp

≈ 4356

1pp

≈ 39000

0.3pp

≈ 238000

如果手上只有 300 场，那么只有 5pp 以上的改善才可能被证实。任何你预期只能带来 1~2pp 的改动，在 300 场的样本上，无论结果看着多漂亮，都不可能是"证据"——它只能是线索。

前面几季验证过的那些"换个更漂亮的模型"（贝叶斯动态、Elo、负二项、Copula），全部卡在这里：它们带来的改善都在 1~3pp 量级，而样本只有 309 场。这不是方法不好，是尺子不够细。

六、三个现实的提醒

第一，功效 80% 是我选的，不是标准答案。 选 90% 的话，样本量还要再涨三成；选 70% 能省一些，但假阴性风险上升。这个参数要在做之前定好，不能看着结果调。

第二，公式假设两组样本独立且等大。 我们的对比常常是配对的（同一批比赛比两种方法），配对设计效率更高，实际需要的样本会少一些。所以 1667 场是个保守估计，真实门槛可能略低——但量级不变。

第三，"验不出来"不等于"没有"。 总进球层那 0.32pp 也许真实存在，只是永远无法用这批数据证实。科学上，一个无法被证实的命题，等同于没有命题。

七、一个反过来的用法：它证明了什么

这个公式也能用来说明哪些结论是稳的。

方向层 +11.33pp 需要 304 场，我们有 309 场——刚好越过门槛。这不是巧合，它说明方向层的优势是"量级足够大"的那种，不需要海量样本就能看见。

换句话说：一个结论如果需要几千场才能证实，那它的效应量本身就小到不算什么。 反过来看，能在 300 场里站住的结论，才是真的有大效应。

八、一句话

在动手改模型之前，先算一下"这个改动需要多少场才能被证明"——答案常常是"比我这辈子能攒到的还多"，这时候最理性的做法不是继续攒，是承认它不重要。

>>> 下期预告：第 07 篇《验货之后》——本季小结。六个工具跑完，这套东西还剩什么是站得住的，什么只是看起来站得住。

本系列为体育数据统计与概率知识科普，所有结论来自公开比赛结果的统计，不构成任何投注建议。