幂律分布的数学机制--随机过程 v.s 优化原理｜陶如意

导语

幂律分布是自然界和社会中一种普遍存在的统计模式，但其起源机制一直是科学界争论的焦点。本文追溯并对比了两位思想巨擘——赫伯特·西蒙（Herbert Simon）和伯努瓦·曼德布罗特（Benoit Mandelbrot）——对此提出的两种根本对立的解释范式。西蒙的“优先连接”模型代表了基于随机过程、历史依赖和微观因果的生成论视角；而曼德布罗特的“信息优化”模型则代表了基于全局约束、均衡态和目的论的设计论视角。本文将通过数学形式精确阐述两种模型的内核，并深入探讨其在哲学层面上的本质差异，最终论证这两种看似矛盾的理论在现代复杂性思维中如何共存并相互补充。

关键词：随机过程、历史依赖、微观因果、生成论、全局约、均衡态、目的论

陶如意丨作者

无处不在的幂律

这场争论的核心是齐普夫定律（Zipf's Law），一种特殊的幂律分布。齐夫定律最初由语言学家乔治·金斯利·齐普夫（George Kingsley Zipf）在20世纪40年代推广，他发现，在任何足够长的语料库中，将单词按其出现频率排序，则一个单词的频率与其排名（rank）成反比。例如，最常见的词的频率大约是第二常见词的两倍，是第三常见词的三倍，以此类推。用数学形式表示就是：

其中 f(r) 是排名为 r 的单词的频率，指数 α 约等于1。这种“排名-频率”的幂律关系后来在城市人口、公司规模、网站访问量、个人财富等众多社会经济现象中被反复发现，引起了科学家们的极大兴趣：为什么如此不同系统会涌现出如此相似的统计规律？这种简洁的数学形式背后，是否隐藏着深刻的原理？对于幂律的起源，赫伯特·西蒙和伯努瓦·曼德布罗特在上世纪中叶提出了两种截然不同的解释，这场旷日持久的智力交锋，至今仍在塑造我们对复杂世界的理解。

西蒙模型：历史、机遇与“富者愈富”

赫伯特·西蒙是一位典型的大杂家，是经济学家、计算机科学家、心理学家、社会学家。1975年图灵奖得主，同时也是1978年诺贝尔经济学奖得主，在AI教父Hinton之前，西蒙是历史上唯一一位同时获得诺贝尔奖和图灵奖的跨界天才。他是“有限理性”（Bounded Rationality）和人工智能的先驱。

赫伯特·亚历山大·西蒙，美国经济学家、政治科学家、认知心理学家、和计算机科学家（详情请见集智百科https://wiki.swarma.org/index.php/%E8%B5%AB%E4%BC%AF%E7%89%B9%C2%B7%E4%BA%9A%E5%8E%86%E5%B1%B1%E5%A4%A7%C2%B7%E8%A5%BF%E8%92%99_Herbert_Alexander_Simon）

1955年，西蒙发表了著名论文《On a Class of Skew Distribution Functions》，提出了一个模型漂亮地给出了齐普夫定律的解释机制，后来被称为西蒙模型（Simon Model）或者优先链接（Preferential Attachment）。

西蒙的解释是一个关于过程（Process）的故事。他认为，幂律分布是特定随机过程随时间演化的必然产物。他的模型，是一个动态的、具有历史依赖性的生成模型。让我们以城市人口增长为例来精确描述这个过程。假设我们有一个不断增长的城市系统：

1. 新成员的加入： 在每个时间步 t，一个“新公民”进入系统。

2. 定居决策：

• 以一个固定的、很小的概率 p，该公民会选择建立一个全新的城市（即一个规模为1的新类别）。

• 以概率 1-p，该公民会选择迁入一个已经存在的城市。

优先连接法则： 当选择迁入旧城市时，选择某个特定城市的概率，正比于该城市已有的人口规模。

这里我们稍微给出更严格的数学形式，但跳过这部分也不影响对全文的定性理解。

令Nk(t)为在时间t时，人口规模为k的城市数量。在下一个时间步t+1，总人口从t 变为 t+1。考虑一个规模为k的城市，其人口发生变化的可能性有两种：

• 人口增加（k→k+1）： 一个新公民迁入。发生这种情况的概率正比于该城市的人口k和系统中所有这样城市的数量Nk(t)。总概率为

• 原始的西蒙模型并没有考虑人口减少的情况

可以构建主方程来刻画不同规模的城市数量变化：

其中 δk1 是 Kronecker delta函数，用来区分K=1（新城市的诞生）和K>1（旧城市的人口变化）的两种情况。

西蒙证明了：当 t→∞ 时，人口为 k 的城市所占的比例 满足：f(k)∝k−α，其中指数。特别地，当新城市出现的概率 p 非常小时（p→0），α→1。而这恰好完美解释了齐普夫定律。

西蒙模型的本质主要是三点：

• 历史依赖性（Path Dependence）： 一个城市早期的偶然成功会自我加强，使其在未来吸引更多资源。系统的最终形态严重依赖于其演化路径。

• 微观因果（Micro-causality）： 模型提供了一个清晰的、一步一步的因果链条：个体基于局部信息（城市规模）做出决策，宏观的幂律分布是这些微观行为累积涌现的结果。

• 随机性中的结构： 随机性并非完全均匀。它被“优先连接”这一规则所结构化，创造了不平等

曼德布罗特模型：效率、约束与“最优设计”

无独有偶，伯努瓦·曼德布罗特 (Benoit Mandelbrot）也是一位涉猎广泛的大杂家，他是数学家，同时也是IBM研究员，而他最具有代表性的贡献，就是提出了“分形”这一概念，被称为“分形几何学之父”。贯穿他研究生涯的思想核心是尺度不变性（Scale Invariance）和优化（Optimization）。所以和西蒙不同，曼德布罗特倾向于从一个全局的、静态的、甚至带有目的论色彩的视角来寻找普适的数学结构。

伯努瓦·曼德尔布罗，分形几何创始人

曼德布罗特在他的博士论文和随后的论文《An Informational Theory of the Statistical Structure of Language》中，首次对齐夫定律提出了一个基于优化的解释。他将语言视为一个通信系统，并假设其演化遵循“效率最大化”原则。

具体来说，他假设人类在交流时，会下意识地在信息传递量最大化和编码/解码成本最小化之间取得平衡。他构建了一个模型，其中单词的“成本”与其长度或发音难度有关。然后，他使用拉格朗日乘子法进行约束优化，发现在给定平均成本的约束下，要使信息熵（即信息量）最大化，单词的频率分布必须是幂律分布。这个解释非常优雅，它将齐夫定律归因于最大化通信效率的结果。

所以，与西蒙的过程论不同，曼德布罗特的解释是一个关于状态（State）的故事。他认为，幂律分布是系统在特定约束下达到最优均衡态的标志。他的经典模型将语言视为一个经过优化的通信代码。

同样的，我们在这里给出更严格的数学形式化：

假设一个词汇表包含 M 个单词，第 i 个单词的使用频率为 pi，其“成本”（如长度、发音难度等）为 Ci。曼德布罗特的目标是：在总平均成本固定的约束下，最大化语言的信息熵。

1. 信息熵 (H): 衡量信息量或不确定性。

2. 成本约束 (C): 总平均成本为一个常数C0

3. 概率归一化约束:

这是一个经典的约束优化问题，可以使用拉格朗日乘子法解决。我们构造拉格朗日函数 L：

对任意 pi 求偏导并令其为零 ，可得：

这表明，最优频率 pi 随成本 Ci 指数衰减。这还不是幂律。曼德布罗特接着做了一个关键假设：成本与排名（rank）的关系。他认为，一个高效的编码系统会把最低的成本分配给最常用的词。他假设成本 Ci 与其频率排名 ri 的对数成正比，即Ci∝log⁡ri。这个假设本身也源于信息论中的编码思想。将 Cr=Alog⁡r+B（r为排名）代入，我们得到：

令α=λA，我们就得到了一个标准的幂律分布：

同样的，我们可以总结一下曼德布罗特模型的本质：

• 目的论（Teleology）： 模型假设系统存在一个“目标”——效率最大化。分布形式是实现该目标的结果，而非无意识的演化产物。

• 全局优化（Global Optimization）： 它描述的是整个系统在所有可能性中找到的一个最优静态解，不关心达到这个解的具体动态过程。

• 普适性原理： 幂律的出现被归因于一个普适的经济学/物理学原理（在约束下最大化某个效用函数），而非特定系统的历史偶然。

二人之争

尽管曼德布罗特比西蒙要年轻几岁，且二人关于幂律的模型提出之时，西蒙已经是一位颇具盛名的经济学家，但曼德布罗特可能由于年轻气盛，对西蒙的模型非常不屑，并主动发起“进攻”，最终引起了二人在期刊information and control上精彩的“对决”。

因为这一过程非常有趣，请允许我列一下这几篇论文的标题让大家感受下

• Benoit Mandelbrot (1959)："a Note "on a class of skew distribution functions:analysis and critique of a paper by H.A. simon"

• Herbert A. Simon(1960)："Some Further Notes on a Class of Skew Distribution Functions "

• Benoit Mandelbrot (1961): "Final Note on a Class of Skew Distribution Functions: Analysis and Critique of a Model Due to H. A. Simon"

• Herbert A. Simon(1961): Reply to "Final Note" by Benoit Mandelbrot》

• Benoit Mandelbrot, 1961: "Post Scriptum to "Final Note""

• Herbert A. Simon(1961): "Reply to Dr. Mandeibrot's Post Scripture"

这场明面上的争论以information and control的编辑似乎不想再搅混水为节点告一段落，但两人的学术观点本质上并未达成共识。文章的语气越到后面措辞越不客气。细品一下二人在最后一篇文章的态度，两个人的摘要都只有一句话，这可以说已经是势不两立的状态了。

Benoit Mandelbrot：My criticism has not changed since I first had the privilege of commenting upon a draft of Simon (1955). Herbert A. Simon：Dr. Mandelbrot has proposed a new set of objections to my 1955 models of the Yule distribution. Like his earlier objections, these are invalid.

而且我个人的观感是，曼德布罗特确实有点挑刺的意味，西蒙一开始确实是在认真回应曼德布罗特的质疑，尤其是甚至会据此扩展他的模型。而曼德布罗特根本不买账，会在新的note提出全新的质疑。且Simon在自己自传中还提到过这段有趣的辩论，而曼德布罗特则丝毫未提及。

回到二人的分歧所在，曼德布罗特认为西蒙的解释是“特定情况下的”和“平庸的”。他嘲讽道：“你可以通过假设一个幂律过程来‘解释’一个幂律结果，但这并没有真正解释任何东西。” 他认为西蒙只是把幂律现象直接编码到了模型的假设中，因为“选择概率正比于出现次数”本身就是一种幂律倾向。

而西蒙则反驳说，他的模型基于一个非常简单、直观且在社会学中广为人知的机制（马太效应），它是一个因果机制，解释了分布是如何一步步演化而来的。而曼德布罗特的优化模型，虽然数学上很漂亮，但却像一个“黑箱”，它假设系统达到了一个最优的“平衡态”，却没有说明系统是如何达到这个状态的。它更像一个“目的论”的解释（为了达到某个目的），而不是一个“因果论”的解释。

而用当今的眼光去看二者的理论，我们会发现，历史并没有宣布一个唯一的胜利者。相反，它揭示了这两种思想范式的价值和适用范围。在很长一段时间里，由于曼德布罗特在数学界的声望和他后来在分形几何上的巨大成功，他的观点似乎更受物理学家和数学家的青睐。而西蒙的模型则在社会科学、计算机科学，尤其是后来的网络科学中找到了深厚的根基。

1999年，物理学家Barabási和Albert“重新发现”了优先连接机制，并用它来解释复杂网络（如万维网、社交网络）的无标度（Scale-free）特性。之所以说“重新发现”，是因为他们并没有引用西蒙的文章，而后续有人指出，他们提出的BA模型本质上就是西蒙模型在网络图论上的一个变体。这使得西蒙的“过程”思想在21世纪初的复杂性科学中获得了巨大的复兴和成功。如今，“优先连接”已成为解释各种增长现象的标准模型。

而曼德布罗特的“优化”和“尺度不变性”思想，则成为了分形理论、混沌理论以及金融市场分析（如多重分形模型）的基石。他的思想强调了系统在不同尺度上展现出的自相似结构，这种视角在物理学和许多自然科学中至关重要。

因此，西蒙与曼德布罗特的争论，最终并未以一方的胜利告终。相反，它为我们这些后来的探索者留下了两套强大的思想工具。面对一个幂律现象，我们既可以追问：“它是如何一步步变成这样的？”（西蒙的问题），也可以追问：“它这样存在是否满足了某种最优原则？”（曼德布罗特的问题）。这场争论的意义并不在于告诉我们“谁对谁错”，而在于它清晰地展示了科学解释的两种路径：过程驱动的、历史性的解释 vs. 状态驱动的、普适性的解释。而这两条路径，共同构成了我们理解这个由随机与秩序交织而成的复杂世界的完整图景。

参考资料

1. Herbert A. Simon. On a Class of Skew Distribution Functions. Biometrika, 1955, 42(3/4): 425-440

2.Mandelbrot, B. An Information Theory of the Statistical Structure of Language. Communication Theory, 1953, 84: 486-502

3.

4.

5.

6.

7.

8. pdodds.w3.uvm.edu

城市科学读书会

随着工业化和现代化的发展，世界范围内的城市化率不断提高，越来越多的人口聚集在城市，使得交通拥堵、环境污染、资源短缺等城市问题日益严峻。 我们迫切需要对城市的基本运行规律有科学的认知。 近十几年来，智能手机、物联网、卫星遥感可以帮助获取高精度的城市数据； 机器学习、人工智能的发展，为处理大规模多源异构数据提供了技术手段。 此外，复杂科学从演生视角，在不同时空尺度上研究城市现象的基础规律，丰富了城市科学的理论框架； 基于复杂系统的模拟方法也在实践中有广阔的应用前景。

在这个大背景下，集智俱乐部由北京大学助理教授董磊联合明尼苏达大学助理教授朱递、中南大学地球科学与信息物理学院教授李海峰、北京航空航天大学计算机学院博士寄家豪共同发起，分享、讨论和梳理“城市作为复杂系统”的理论、研究方法及应用，希望促进相关领域学者的交流，推动交叉学科间的合作，促进城市科学的发展和研究。读书会已完结，现在报名可加入社群并解锁回放视频权限。

详情请见：

1.

2.

3.

4.

5.

6.

7.