比特如何成为数字时代的语言？信息论领域发展回顾丨周日直播·因果涌现读书会第四季第二期

导语

11月26日（本周日）上午9:00-11:00，因果涌现读书会第四季第二期将由圣路易斯华盛顿大学（WUSTL）系统科学与数学系研究生吕奥博分享，主题为“信息论领域发展回顾”。从克劳德·香农关于信息论的开创性工作开始，追踪后香农时代信息论的发展，展望其在现代技术、人工智能等领域的作用，最后引出本季读书会的主题“新信息论”——整合信息论与信息分解。

因果涌现读书会第四季「」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，旨在梳理信息论领域的发展脉络，从香农的经典信息论开始，重点关注整合信息论和信息分解这两个前沿话题，及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨，帮助我们理解什么是意识，什么是涌现，并找到不同学科，不同问题背后的统一性原理。

分享内容简介

你是否对数字世界的底层——信息理论感兴趣？你是否想知道在我们这个互联时代，信息是如何度量、编码、传输和解密的？本期读书会将会回顾信息论的发展历史，了解信息熵概念及信息测度的发展，帮助大家建立对信息概念以及熵的直觉，为读书会后续内容奠定基础。

在本期读书会中，我们将首先回顾信息论诞生的历史背景，从早期信息概念到克劳德·香农的开创性工作。之后，我们将关注信息熵、信道和噪声等基本概念，了解比特如何成为数字时代的语言。在此基础之上，我们将追踪后香农时代信息论的发展，了解 Wiener 和 Weaver 对信息论的推广工作，探索信息论从通信、计算机科学到生物、社会学等更加广泛场景中的应用。最后我们会展望信息论的当代应用和未来趋势，简单介绍信息论在现代技术、人工智能等领域的作用，引出本季读书会后续主题——整合信息论与信息分解。

本次分享面向所有对信息理论感兴趣的人，希望体现出信息论的跨学科性质及其在各个领域的影响，不会涉及任何理论上的探讨，因此无需具备信息论知识——只需带上你的兴趣和好奇心即可！

内容大纲

1. 信息论概述

2. 历史背景

2.1. 早期概念和基础

2.2 现代信息论的出现

基本术语

信息测度

1. 信息论的发展

3.1. 后香农时代

3.2. 拓展其他领域

1. 当代应用和趋势

4.1. 数字时代的信息论

4.2. 新兴趋势（新信息论）

1. 结论与未来展望

核心概念

• 信息熵 Information Entropy：衡量一组可能结果的不确定性或不可预测性，对于理解信息内容至关重要。

• 比特 Bit：信息论中信息的基本单位，代表两个同等可能性的选择之间的选择。

• 数据压缩 Data Compression：减少表示信息所需的数据量的技术，强调信息编码的效率。

• 互信息 Mutual Information

• 信道容量 Channel Capacity: 通过通信信道可靠传输信息的最大速率。

• 噪声 Noise：信号在传输或处理过程中发生的任何不需要的改变，影响通信的质量和可靠性。

参考文献

书籍：

Cover, T. M. (1999). Elements of information theory. John Wiley & Sons.

论文：

Shannon, C. E. (1948).A mathematical theory of communication. The Bell system technical journal, 27(3), 379-423.

Katok, A. (2023). Fifty years of entropy in dynamics: 1958–2007. In Frontiers in Entropy Across the Disciplines: Panorama of Entropy: Theory, Computation, and Applications (pp. 353-404).

学习资料推荐

MIT课程：

https://ocw.mit.edu/courses/6-441-information-theory-spring-2010/

主讲人简介

吕奥博，圣路易斯华盛顿大学（WUSTL）系统科学与数学系研究生，研究方向为系统科学、信息论、控制等。

集智斑图个人主页：https://pattern.swarma.org/user/74882

直播信息

时间：

2023年11月26日（本周日）上午9:00-11:00

斑图地址：https://pattern.swarma.org/study_group_issue/563

扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。

新信息论：从分解到整合

因果涌现读书会第四季招募中

什么是意识？意识能否度量？机器能否产生意识？对于意识问题，人们可能即将迎来一个大的突破，各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论（IID）被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果，那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别，除了 Erik Hoel 的有效信息因果涌现框架，还有一个是 Rosas 的信息分解（PID）框架，此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID，尝试构建新的意识理论。

一边是信息整合（IIT），一边是信息分解（PID），看似分裂，实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，旨在梳理信息论领域的发展脉络，从香农的经典信息论开始，重点关注整合信息论和信息分解这两个前沿话题，及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨，帮助我们理解什么是意识，什么是涌现，并找到不同学科，不同问题背后的统一性原理。

详情请见：

因果涌现社区

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。

集智俱乐部因果涌现读书会目前已经进行了三季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：。

第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：。

第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：

此次读书会主题是「新信息论：从分解到整合」，是因果涌现系列读书会的第四季，将重点梳理信息分解与整合信息论的相关研究。请参看：

因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。

因果涌现读书会回放视频

第一季：https://pattern.swarma.org/study_group/7

第二季：https://pattern.swarma.org/study_group/16

第三季：https://pattern.swarma.org/study_group/28

第四季：https://pattern.swarma.org/study_group/35