McCulloch-Pitts人工神经元模型80周年纪念：思想、方法与意义

来源：图灵人工智能

McCulloch-Pitts人工神经元模型80周年纪念：思想、方法与意义

缪青海 1王雨桐 2吕宜生 1,2 那晓翔 3王飞跃 1,2

（1. 中国科学院大学人工智能学院,北京 100049；2. 中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190；3. 剑桥大学工程系,英国 剑桥 CB2 1PZ ）

DOI：10.11959/j.issn.2096-6652.202314 转自智能科学与技术学报

摘 要 1943年，Warren McCulloch和Walter Pitts发表论文《神经活动内在思想的逻辑演算》，证明可以使用逻辑演算描述神经网络的运行机理，拓展了计算神经科学的领域前沿，奠定了人工神经网络的发展基础。恰逢M-P论文发表80周年之际，结合时代背景和作者学术生涯的变迁，探索M-P理论的思想源泉；借助原文中的示例，概述M-P模型的基本原理；以作者对循环因果和反馈机制的研究为主线，探讨M-P模型对信息科学发展的影响、对控制论发展的贡献，及其在当今人工智能大模型时代的意义。

关键词 M-P模型；人工神经网络；循环因果；控制论；平行系统；人工智能

0 引言

正值M-P论文发表80周年之际，本文探索M-P模型的思想源头，浅析M-P模型的基本原理，讨论M-P模型对后世信息科学的深远影响，希望能引人思考，启发对智能本质的未来探索。

1 M-P模型的起源

M-P模型源于McCulloch对用神经机制解释心智现象的追求与探索，在与Pitts合作不到两年的时间内，便发表了M-P论文。图1给出了McCulloch和Pitts职业生涯的主要经历。本节通过介绍两位作者所处的时代背景和关键人物，帮助读者理解McCulloch的核心思想以及Pitts在其中的贡献。

图1 McCulloch和Pitts职业生涯概览

1.1 麦卡洛克（McCulloch）

在耶鲁大学，McCulloch积极学习逻辑，参加了一系列哲学家的讨论班。但是他所掌握的逻辑知识还不足以支撑他的理论设想，特别是神经系统中的闭环回路工作机理尚不清楚，通过逻辑演算难以处理。直到1941年他搬去芝加哥，与Pitts合作，这一问题才有了解决方案。

1.2 拉舍夫斯基（Rashevsky）

不同之处主要有两点：首先，Rashevsky模型中，神经元输出信号的兴奋或抑制性质是固定的，而在M-P模型中，神经元输出信号是兴奋或抑制，仅取决于建立连接的位置。这表明McCulloch和Pitts比Rashevsky更远离现实，在这一点上，他们的处理方式更简化、更抽象；其次，更重要的一点是两者采用的数学工具不同。Rashevsky模型需要建立并求解微分方程，M-P模型是基于命题表示与逻辑演算的。从Rashevsky模型到M-P模型，微分方程被更简单的逻辑命题所取代，是从“连续”到“离散（二值）”、从“模拟”到“数字”的转变。基于逻辑的模型适合用图灵提出的计算理论进行分析，可与图灵讨论的智能关联起来，这也是M-P模型成为人工智能起源的重要原因。

1939年，Rashevsky创建了世界上第一份数学生物学国际期刊，即《数学生物物理学会刊》（Bulletin of Mathematical Biophysics）。4年之后，McCulloch和Pitts的论文正是在此期刊上发表的。

1.3 皮茨（Pitts）

1.4 图灵（Turing）

图灵定义了“可计算性”的概念，提供了无法由任何图灵机计算的数学函数的示例，表明可以通过算法计算的内容是有限的。图灵进一步提出了“通用图灵机”（universal computing machine）的概念，即可用于计算任何可计算序列的机器。图灵建立了计算、逻辑和机器之间清晰而严格的联系，对后来的数字计算机和人工智能等信息科学领域的发展起到了至关重要的作用。

可以看出，图灵的工作深刻影响了McCulloch 对“body-mind”问题的研究思路。M-P模型中的命题逻辑演算、闭环和无环神经网络，与图灵机中的逻辑表示和计算、循环和无环计算机器的概念可以类比对应。1948年的一次公开讨论中，McCulloch认为图灵的论文将他引向了“正确的方向”。正是这个原因，基于逻辑演算的M-P模型成为现代人工智能的源头，而基于微分方程的Rashevsky神经网络模型则逐渐隐匿于文献海洋的深处。

图2总结了M-P模型的重要思想源泉。M-P模型的成功源于McCulloch对“body-mind”这一科学问题的不懈追求，汇聚了Rashevsky、Turing、Russell、Carnap、Pitts等神经生理学家、数学家的智慧，是建立在前人工作基础上的创新探索。M-P模型也对计算机科学、控制论的发展起到关键促进作用。

图2 M-P模型思想探源

2 M-P模型原理

M-P模型以神经生理学为基础，以逻辑为数学工具，描述无环和有环神经元网络的行为，在有形的大脑与无形的意识之间建立联系。

2.1 M-P模型的神经生理学基础

（1）神经元的活动是一个“全有或全无”的过程；

（2）一个神经元的激发（fire），充要条件是有固定数目的突触受到外部刺激，这个数目与此神经元上一次活动模式及受到刺激的突触位置无关；

（3）神经系统中唯一明显的延迟是突触延迟；

（4）任何时刻，抑制性突触的活动会绝对阻止神经元的兴奋；

（5）网络的结构不随时间变化。

2.2 M-P模型的逻辑符号

在论文中，McCulloch和Pitts采用了Carnap《语言的逻辑语法》中的符号体系，并基于Russell和Whitehead的《数学原理》一书中的各种符号进行了扩充。经过大约一个世纪的发展，这些经典著作中的逻辑符号已被新的写法取代，给今天的初学者带来巨大的阅读障碍。因此，本节对M-P论文中的符号和现代常用符号进行了对比（见表1），方便进一步对M-P模型的基本原理进行分析。

表1 部分M-P论文符号与常用逻辑符合对照表

在M-P论文中，逻辑合取操作符使用“.”，而现在常写为“^”。此外，M-P论文采用了《数学原理》一书中规定的计算顺序分级表示形式，即用不同数量的“.”表示不同层级分隔符，例如第一级用“.”分隔，第二级用“:”分隔，第三级用“:.”分隔，以此类推。容易让读者困惑的是，第一级分割符与逻辑合取操作符都是“.”，而现代逻辑算式中不同层级的区分常用不同形式的括号（例如 ( ) [ ] { }）来表示。S是作者额外引入的操作符，表示神经元状态的时间步回退，即 ，用于辅助时序命题表示。

2.3 无环网络

M-P论文对神经网络模型理论的介绍分为两个部分：一个是没有闭环回路的无环网络（nets without circles），另一个是有环网络（nets with circles）。可以看到，这里使用的术语与图灵1936年论文中描述“图灵机”时使用的词语一致，即circle-free和circular computing machine。

M-P论文首先介绍没有循环回路的网络。McCulloch和Pitts设计了一系列基本的神经网络结构，如图3所示（即原文中的图1a~d），对应于逻辑运算中的合取（与）、析取（或）、否定（非）等基本操作。通过这些基本运算结构的组合，可以实现更复杂的网络用于表达更复杂的逻辑功能。这些基本网络结构对应于数字计算机中的逻辑门电路。

图3 4种基本网络结构与对应的命题逻辑表达

M-P原文中的图1-e是一个相对复杂且特殊的例子，网络的结构如图4所示。McCulloch和Pitts通过此例说明M-P神经网络可以解释有趣的精神现象：当用一个冰块短时接触皮肤后立刻移开时，人的感觉是热的；而当冰块持续接触皮肤时，人才会产生冰冷的感觉。

图4 可以解释精神现象的网络结构

对应图4左侧的网络（原文图1-e），原文中的逻辑表达式如下：

按照表1所示，用括号替换“.”号分隔符，以上两式可重新表述为：

图4中，神经元1和2分别是热接收和冷接收神经元，神经元3和4分别是热感和冷感神经元。当冰块短时接触皮肤时，如 所示，即热接收或冷接收神经元发射一次然后立即停止，热感神经元3满足触发条件，人皮肤感觉是热的。而当冰块持续接触皮肤时，如 所示，神经元2连续激发两次，隐层神经元会激发冷感神经元4，而不是热感神经元3，从而产生冷感。

图4右侧所示为该网络在结构上等价的现代神经网络表示形式，可以看出，变换后的 网络结构有3层：神经元1和2是输入层，神经元a和b是隐藏层，神经元3和4是输出层。与ResNet类似，网络连接有跨层（神经元1到神经元3）。

2.4 有环网络

当神经网络中存在闭合回路时，上述逻辑演算（因果推理）不再适用。根据McCulloch和Pitts的分析，脉冲信号将在环路中不停回响（reverberating），逻辑命题的判定则需要依赖过去无穷远的事件。Pitts凭借其深厚的逻辑功底，在论文中用4页篇幅给出了解决方法。这套方法是出了名的晦涩难懂，并未在后续得到普遍认可，有逻辑基础的读者可深入探索Pitts的思想和技巧。

值得注意的是，在介绍有环网络的最后一段，作者将M-P网络与图灵机联系起来，认为M-P模型为图灵可计算数理论提供了神经生理学层面的验证。

2.5 M-P论文的总结

3 M-P模型的后续影响

3.1 Macy会议

3.2 循环因果

梅西系列会议拓展了McCulloch关于循环因果的认识。从会议的名称“Circular Causal and Feedback Mechanism in Biological and Social Systems”可以看出，人们已经认识到循环因果和反馈是生物和社会系统中普遍存在的机制，是重要的研究课题。

1964年，美国控制论学会（American Society for Cybernetics，ASC）在华盛顿特区成立，致力于促进控制论这一跨学科领域的新发展，McCulloch当选为第一任ASC主席。

循环因果和反馈机制是控制论的核心思想，图5给出了形象化表示。其中图5（a）是具有古老历史的衔尾蛇，在控制论中表示信息闭环反馈。图5（b）是美国控制论学会时任主席米德设计的学会图标，旨在展示两个不同领域之间的循环，是对一般闭环反馈的扩展。其中飞龙代表着以生物学为基础的有形世界，蝾螈代表无形的思想世界。两者相互影响，互为因果。

图5 循环因果和反馈机制的形象化表示

3.3 平行系统

控制论在20世纪七八十年代进入低谷，但循环因果和反馈机制的思想不会磨灭。1994年，王飞跃提出影子系统（shadow system），并于1999年在中国科学院创建复杂系统与复杂性科学实验室，研究控制论、社会与物理系统。2004年由王飞跃提出的平行系统（parallel systems）理论，体现了循环因果和反馈机制在新时代的延伸与扩展。如图6所示，平行系统是指由某一个自然的现实系统和对应的一个或多个虚拟或理想的人工系统组成的共同系统。其中，人工系统是对实际系统的软件化定义，不仅是实际系统的数字化“仿真”，也为实际系统运行提供可替代版本。平行系统的主要目的是：通过实际系统与人工系统的相互连接，对二者之间的行为进行实时的动态对比与分析，以虚实互动的方式，完成对各自未来的状况的“借鉴”和“预估”，人工引导实际，实际逼近人工，达到有效解决方案以及学习和培训的目的。

图6 平行系统原理

3.4 ChatGPT与RLHF

当前，ChatGPT的成功推动人工智能进入大模型时代，循环因果和反馈机制是ChatGPT中指令学习和对齐训练的核心思想。具体来说，以ChatGPT为代表的大模型具备了一定的通用人工智能的能力，然而要想大模型的输出符合人类的伦理、道德和法律规范，必须对大模型的输出进行引导和控制。一方面，基于人类反馈的强化学习（reinforcement learning from human feedback，RLHF），本质上是在大模型和人类之间建立语言上的闭环回路，通过负反馈校正大模型，使其生成的内容符合人类社会的规范。另一方面，大语言模型基于人类海量文本资料训练而来，是对现实世界的描述，与现实世界一同构成平行系统。平行智能体现出的循环因果和反馈控制的思想，为大模型时代的人工智能研究提供了研究框架。

4 结束语

虽然80年已经过去，M-P论文对当前人工智能的研究仍然有很多启示。

M-P模型是对神经生理学机制的简化，McCulloch和Pitts设计的神经网络甚至还不具备学习的能力，但其价值在于神经元数学建模方法的拓展，以及通过人工神经元网络的设计可以实现逻辑运算的论证。这项工作的意义在于，它为理解神经网络如何处理信息提供了理论基础，为神经计算和人工智能领域的进一步发展铺平了道路。

同时，我们敬佩作者（特别是McCulloch）在“body-mind”这一人类智能本质问题上的勇敢探索和不懈努力，他们汇聚罗素、卡尔纳普、图灵、拉舍夫斯基等众多先驱的智慧，形成了M-P模型这一里程碑式的工作。McCulloch对神经网络中闭环回路机理的不断研究和探索，以及作为主席召开的10届梅西会议，为控制论的创建做出了突出贡献。即使在今天看来，循环因果和反馈机制仍然是人工智能研究的核心思想，对于新时期的人工智能发展具有不可忽视的重要意义。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。