比特炸弹（全文7200字）

转载声明：除调整格式外，不得对原文做改写、改编。原创不易，谢谢！E-mail:yellow@aliyun.com

♥声明：本文为原创文本，非生成式，转载请注明出处！

商务咨询/顾问/请@yellowscholar♥作者：黄先生斜杠青年

＃信息和通信 ＃技术史 ＃科学史

图片通过：Wikipedia

需要一位博学家才能确定“信息”的真正本质。他的回答既是启示，也是回报

究竟什么是信息？对于这样一个直观的想法，其确切的性质被证明非常难以确定。几个世纪以来，它似乎徘徊在可见与不可见、有形与转瞬即逝、经久不衰的媒介及其转瞬即逝的信息之间的半个世界的某个地方。它困扰着古人，就像克劳德·香农 （Claude Shannon） 和他在纽约和新泽西的贝尔实验室同事一样困扰着他们，他们在 20 世纪中叶试图用电线和电信电缆来吸引世界。

Shannon - 数学家、美国人、爵士乐狂热者、杂耍爱好者 - 是信息论的创始人，也是我们数字世界的架构师。Shannon 的论文“A Mathematical Theory of Communication”（1948 年）引入了比特，这是衡量消息包含多少信息的客观度量。Shannon 解释说，每个通信系统——从电报到电视，最终从 DNA 到互联网——都有相同的基本结构。正是 Shannon 证明了任何消息都可以通过 0 和 1 的二进制代码进行压缩和传输，具有近乎完美的准确性，这个概念以前被认为是无可救药的乌托邦。正如香农的一位同事所惊叹的那样：“他是如何获得这种洞察力的，他是如何开始相信这样的事情的，我不知道。

这些发现是科学的胜利。但从另一个角度来看，他们使对信息的思考回到了原点。在它成为自然科学家的领域之前，“信息”是诗人、演说家和哲学家探索的一个概念。虽然 Shannon 是一名受过训练的数学家和工程师，但他与这些早期研究人员一样对语言着迷。

例如，在《埃涅阿斯纪》中，罗马诗人维吉尔描述了瓦肯神和他的工蜂独眼巨人居住的巨大洞穴，其中木星的闪电是信息丰富的——在他们的锤子下锻造或塑造。To inform的意思是给物质一个形状，让它适合一个理想的类型;informatio 是给定的形状。正是在这个意义上，西塞罗谈到了年轻人“了解他们的人性”的艺术，在这种艺术中，教父特图良称摩西为信息者，即人民的塑造者。

我是斜杠青年，一个PE背景的杂食性学者！♥致力于剖析如何解决我们这个时代的重大问题！♥使用数据和研究来了解真正有所作为的因素！

从中世纪开始，这种信息的形式赋予方面慢慢让位于，它获得了不同的、更朴实的面貌。对于中世纪的经院哲学家来说，这成为一种典型的人类行为;信息是关于地球上已有物质的纵，这与造物主本人的独特创造力不同。托马斯·阿奎那 （Thomas Aquinas） 说过，智力和美德——以及感官——需要被告知、丰富和刺激。科学革命继续巩固了信息的这些可感知和扎实的特征，而不是其更神圣和赋予形式的方面。当我们阅读弗朗西斯·培根 （Francis Bacon） 的“感官信息”，或听到约翰·洛克 （John Locke） 声称“我们的感官告诉我们”时，我们会觉得自己处于熟悉的土地上。正如学者约翰·达勒姆·彼得斯 （John Durham Peters） 在 1988 年所写的那样：“在经验主义的指导下，信息逐渐从结构转移到物质，从形式转移到物质，从智力秩序转移到感官冲动。

在对感官的研究中，一门专门的信息科学终于开始激荡。当开尔文勋爵在 1850 年代使用装有磁铁、镜子、金属线圈和茧丝的机械装置计时电报信号的速度时，赫尔曼·冯·亥姆霍兹 （Hermann von Helmholtz） 正在为青蛙肌肉通电，以测试动物神经的放电。随着信息变得电子化，研究对象成为物理学的硬世界与电线中传递的信息的难以捉摸的性质之间的界限。

20 世纪上半叶，火炬传给了美国的贝尔实验室，这是一家开创性的通信公司，其起源可以追溯到亚历山大·格雷厄姆·贝尔。Shannon 于 1941 年加入，在第二次世界大战期间从事火控和密码学工作。战时之外，实验室的大多数工程师和科学家的任务是照顾美国的横贯大陆的电话和电报网络。但是，随着人类对交互的渴望推动 Bell 系统走得更远、更快，并传输更高质量的消息，线路越来越紧张。远距离通信的一个基本挑战是“噪声”，即意外的波动，可能会在发送方和接收方之间的某个点扭曲信号质量。传统智慧认为，传输信息就像传输电力，因此最好的解决方案基本上是更大声地喊叫——接受噪音是生活中的事实，并昂贵且不稳定地泵出更强大的信号。

消息的 information 值取决于其选择时被杀死的替代项的范围

但实验室的一些人认为解决方案在其他地方。由于政府担保的垄断地位，实验室有余地投资于基础理论研究，即使未来许多年对通信技术的影响。正如工程师 Henry Pollak 在一次采访中所说的那样：“我刚来的时候，我的理念是：看，你正在做的事情可能在 10 年或 20 年内都不重要，但没关系，到那时我们会在那里。作为实验室自由浮动数学小组的成员，战后 Shannon 发现他可以随心所欲地追随自己的好奇心：“几乎从我开始的那一天起，我就可以自由地做任何我想做的事。他们从来没有告诉我该做什么。

本着这种精神，许多贝尔实验室的数学家和工程师从电报和电话转向了信息本身的本质这一更基本的问题。他们开始将信息视为衡量一种选择自由，其中通信的内容与它排除的范围相关联。1924 年，实验室工程师 Harry Nyquist 使用这条推理路线展示了如何提高电报的速度。三年后，他的同事 Ralph Hartley 将这些结果提升到一个更高的抽象层次，描述了发送任何消息如何相当于从可能的符号池中进行选择。哈特利说，即使在“苹果是红色的”这样简单的句子中，我们也可以看到这种滚动的排除过程在起作用：“第一个词消除了其他种类的水果和所有其他一般的物体。第二种将注意力集中在苹果的某些特性或状况上，而第三种则排除了其他可能的颜色。

根据这种观点，消息的信息价值部分取决于在其选择中被杀死的备选方案的范围。从较大的选项词汇表中选择的符号比从较小词汇表中选择的符号包含更多的信息，因为该选项会消除更多的选项。这意味着传输的信息量本质上是三项的函数：可能符号集的大小、每秒发送的符号数和消息的长度。在全球通信的區峨地下墓穴中寻找秩序、结构和形式已经开始认真地开始了。

香农 1948 年的论文，后来被《科学美国人》称为“信息时代的大宪章”。尽管香农的突破的理论价值立即得到认可，但其实际成果要在接下来的几十年里才能成熟。严格来说，没有必要解决拨打长途电话的直接问题，甚至不需要在 1956 年推出第一条跨大西洋电话电缆时就需要。但是，对于解决 1990 年跨越 40 亿英里的虚空将照片从太阳系边缘传回地球的问题，或者解决 2017 年在装在口袋里的电脑上流式传输视频的问题，这是必要的。

克劳德·香农。照片由 Nokia Bell Labs 提供

香农天才起源的线索可以在他的学术兴趣的绝对范围内找到。他是一位奇特的工程师——以杂耍和骑独轮车穿越贝尔实验室的走廊而闻名，他的作品包括一个喷火的小号、一个用罗马数字作的名为“THROBAC”的计算器（“Thrifty Roman-Numeral Backward-Looking Computer”的缩写），以及一只名叫 Theseus 的机械鼠标，它可以在迷宫中找到一块金属奶酪。遗传学、人工智能、计算机国际象棋、爵士单簧管和业余诗歌是他的其他追求。其中一些在他从事信息论工作之前就已经存在，而他在晚年转向其他研究。但不变的是，香农能够像被物理学和数字一样，被生活和语言的奇观所吸引。毕竟，信息已经开始作为一个哲学艺术术语开始，而要了解它的基础，就需要我们期望语言学家或哲学家会提出的那种问题。

香农的“数学理论”提出了两个大思想。首先是信息是概率性的。Shannon 说，我们应该首先理解信息是我们克服的不确定性的衡量标准——我们也可以称之为惊喜。决定这种不确定性的不仅仅是 Nyquist 和 Hartley 所认为的符号词汇量的大小。它还与选择任何给定符号的几率有关。以抛硬币为例，这是 Shannon 能想出的最简单的信息“来源”。一枚公平的硬币有两种赔率相等的选择;我们可以说这样的硬币，或任何“具有两个稳定位置的设备”，存储一个二进制数字的信息。或者，使用 Shannon 的一位同事建议的缩写，我们可以说它存储了 1 位。

但关键的一步是接下来。Shannon 指出，我们的大多数信息都不像公平的硬币。它们就像加重的硬币。一枚有偏差的硬币携带的信息不到一点，因为任何抛硬币的结果都不那么令人惊讶。Shannon 用这张图说明了这一点。你会看到，当赔率为 50-50 时，我们的抛硬币（在 y 轴上）传达的信息量达到顶点，在 x 轴上表示为 0.5;但是，随着结果在任一方向上变得更加可预测，具体取决于偏差的大小，硬币所携带的信息会稳步下降。

人类发送的信息更像是加权硬币，而不是未加权硬币，因为我们使用的符号不是随机选择的，而是在概率上取决于它们之前的内容。在类似于电视静态以外的图像中，暗像素更有可能出现在暗像素旁边，而亮像素更有可能出现在亮旁边。在不是随机文本字符串的书面消息中，每个字母对后面的字母都有一种 “拉扯”。

这就是语言作为关键概念工具出现的地方。语言完美地说明了可预测性和惊喜之间的丰富相互作用。我们通过在一定范围内使自己具有可预测性来相互交流。换句话说，随机的废话和可识别的语言之间的区别在于存在减少惊喜的规则。

Shannon 在论文中通过对“机器生成的文本”进行非正式实验来证明这一点，他利用概率从头开始创建类似于英语的东西。他打开一本随机数书，将手指放在其中一个条目上，并从 27 个符号的“字母表”（26 个字母，外加一个空格）中记下相应的字符：

XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD.

每个字符都是随机和独立选择的，没有字母对任何其他字符施加“拉力”。这就是静态的印刷等价物——Shannon 称之为“零阶近似”。

但是，当然，我们选择字母的概率并不相等。大约 12% 的英文文本由字母 “E” 组成，只有 1% 的字母 “Q” 由字母组成。Shannon 使用他在密码学时代所依赖的字母频率图表，重新校准了每个字符的几率，例如，随机数簿中 12% 的条目将表示“E”。再次从这些更现实的赔率开始，他得出了他所谓的“一阶近似”：

OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL.

我们还知道，一些称为 “bigrams” 的双字母组合比其他组合的可能性大得多：“K” 在 “C” 之后很常见，但在 “T” 之后几乎是不可能的;一个 'Q' 需要一个 'U'。Shannon 有这些两个字母的 “bigram” 频率表，但他没有重复繁琐的过程，而是采取了更粗暴的策略。为了构建具有合理二元语法频率的文本，'一个人随机打开一本书，并在页面上随机选择一个字母。这封信被记录下来。然后，这本书打开到另一页，人们阅读直到 [再次] 遇到这 [第一个] 字母。然后记录后续的字母。翻到另一页，搜索第二个字母并记录下一个字母，依此类推。

正如字母对附近的字母施加 'pull' 作用一样，单词对附近的单词施加 'pull' 作用

Shannon 没有具体说明他使用的书，但任何非技术性的英文书籍都应该提供大致相似的结果。如果一切顺利，则生成的文本将反映英语中一个字符跟在另一个字符之后的几率。这是 'second-order approximation'：

ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.

一个概率过程无中生有地盲目地创造了五个英语单词（'on'、'are'、'be'、'at'，以及一口气的'Andy'）。

“三阶近似”，使用相同的方法搜索卦象，使我们更接近及格的英语：

IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE.

你可以对单词本身做同样的事情。从信息论的角度来看，单词只是更有可能一起出现的字符串。这是“一阶单词近似”，其中 Shannon 根据它们在印刷英语中的频率选择整个单词：

代表和迅速是一个好 APT 或来可以不同自然在这里他 A 在来的到专家格雷来布置的线路消息已经这些。

但是，正如字母对附近的字母施加 “拉力” 一样，单词也会对附近的单词施加 “拉力”。最后，Shannon 转向了“二阶单词近似”，选择一个随机单词，在他的书中向前翻动，直到找到另一个实例，然后记录接下来出现的单词：

头部和正面攻击一位英国作家，因此，这一点的性格是另一种方法，用于信件的时代，谁曾经告诉过一个意外的问题。

将实验的开始与结束进行比较——“XFOML RXKHRJFFJUJ”与“ATTACK ON AN ENGLISH WRITER”——可以阐明“信息”的技术意义和口语意义之间的差异。我们可能很想说，“ATTACK ON AN ENGLISH WRITER”是这两个短语中信息量更大的一个。但最好称它更有意义。事实上，它对说英语的人来说是有意义的，正是因为每个字符都不那么令人惊讶，也就是说，它携带的 （Shannon） 信息较少。另一方面，在“XFOML RXKHRJFFJUJ”中，每个字符都以不受频率规则约束的方式进行选择;它是从 27 个字符的集合中选出的，具有最公平的赔率。每个角色的选择类似于抛出一枚（27 面的）公平硬币。它类似于香农抛物线图顶部的点，其中信息处于峰值，因为结果的不确定性最大化。

这与互联网或任何类型的信息传输系统有关吗？这个问题让我们想到了 Shannon 的第二个关键见解：我们可以利用消息的冗余。由于实际消息中的符号更易于预测，因此许多符号不会传达新信息或惊喜。鉴于我们对“单词、习语、陈词滥调和语法”的熟悉，它们正是我们期望它们所在的地方。字母可以从书面英语中无害地删除，例如：'MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC'，正如 Shannon 恰当地指出的那样。文字也可以是多余的：在香农最喜欢的童年故事中，埃德加·爱伦·坡 （Edgar Allan Poe） 的《金虫》（The Gold-Bug，1843 年）中，一位寻宝者利用重复的字符串来破解海盗的密码信息，并发现埋藏的宝藏。

香农在 1951 年的后续报纸中引用了雷蒙德·钱德勒 （Raymond Chandler） 的低俗侦探故事《中午街的皮卡》（Pickup on Noon Street），从而扩展了这一点。正如拼写和语法规则为人类语言增添了冗余一样，对上下文的模糊但普遍的期望也是如此。他随便翻到钱德勒故事中的一段话，然后一封一封地读给妻子贝蒂。她的角色是猜测每个后续字母，直到她猜对了这个字母，这时 Shannon 继续猜测下一个字母。尽管这在单词的开头，尤其是在句子的开头很困难，但随着上下文的积累，Betty 的工作变得越来越容易。例如，当他们到达“A S-M-A-L-L O-B-L-O-N-G R-E-A-D-I-N-G L-A-M-P O-N T-H-E D”时，她可以非常准确地猜出接下来的三个字母：E-S-K。

写作就是把自己写到一个角落：高达 75% 的书面英语文本是多余的

Betty 的正确猜测告诉我们三件事。首先，我们可以相当确定字母 E-S-K 没有给句子增加任何新信息;在这种特定的背景下，它们只是一种形式。其次，以 “a small oblong reading lamp on the” 开头的短语很可能后跟两个字母之一：D，或 Betty 的第一个猜测 T（大概是 'table'）。在使用我们的字母表的零冗余语言中，Betty 猜对的机会只有 1/26;相比之下，在我们的语言中，她的几率更接近 1/2。第三，句子的可预测性更进一步：在一本典型的英语词典中的数十万个单词中，只有两个候选词极有可能为短语“desk”和“table”作为结论。这句话没什么特别的：它是一本随机平装书中随机一页的普通短语。然而，它表明，写作几乎总是把我们自己写到一个角落里。总而言之，Shannon 推测高达 75% 的书面英语文本是多余的。

我们信息的可预测性是不可避免的——自从香农以来，我们的信号就轻装上阵了。他没有发明冗余的概念。但他表明，有意识地纵它是压缩消息和完美准确地发送消息的关键。压缩消息只是删除冗余的作，保留保留消息本质所需的最小数量的符号。我们总是非正式地这样做：当我们写速记时，当我们给昵称起昵称时，当我们发明行话来将一大堆含义（“当你面向前方时，船的左侧”）压缩成一个点（“港口”）时。

但 Shannon 为严格地做到这一点铺平了道路，他将我们的消息编码为一系列数字位，每个数字位都由 0 或 1 表示。他表明，我们发送消息的速度不仅取决于我们使用的通信渠道类型，还取决于我们将消息编码成位的技能。此外，他还指出了其中一些代码的方法：那些利用信息的概率性质来表示具有最小位数的最常见字符或符号的代码。如果我们不能压缩我们的信息，一个音频文件将需要几个小时才能下载，流媒体视频将慢得不可思议，几个小时的电视将需要一个书架上的磁带，而不是一小盒光盘。所有这些通信——更快、更便宜、更庞大——都取决于 Shannon 对我们可预测性的认识。

反过来，他与该过程相反，可以保护我们的消息免受传输错误的影响。Shannon 表明，我们可以通过重新思考我们的信息来克服噪音：具体来说，通过增加冗余。完美准确性的关键——准确地说，正如他所说的“任意小”的误差率——不在于我们在线路上大声喊叫，而在于我们说出的话有多谨慎。

这里有一个简单的例子，说明它是如何工作的（为此，我们要感谢科学历史学家 Erico Marui Guizzo）。如果我们想用四个字母的字母来发送消息，我们可以先尝试最懒惰的代码，为每个字母分配两位：

A = 00

B = 01

C = 10

D = 11

但是，我们通信系统中的噪声（无论是通过静电爆发、来自大气的干扰还是对信道的物理损坏）都可以伪造比特，将 0 变成 1。如果代表 C 的比特中只有一个“翻转”，C 就会消失在发送方和接收方之间的某个地方：它会以 B 或 D 的形式出现，而接收方则毫不聪明。只需两次这样的翻转就可以将“DAD”变成“CAB”。

然而，普通语言恰好非常擅长解决这个问题。如果你读到“endividual”，你会认出它是一种传输错误——一个错别字——而不是一个全新的词。Shannon 表明，我们可以将这种防错功能从语言导入到数字代码中，并战略性地添加位。对于四个字母的语言，我们可以使用如下代码：

A = 00000

B = 00111

C = 11100

D = 11011

现在，任何字母都可能受到任何一点的损坏，但仍然比其他任何字母都更像自己。将一个字母变成另一个字母需要整整三个错误。我们的新代码以我们的第一个代码所没有的方式抵抗噪音，而且我们没有被迫为我们的通信媒介注入更多的力量。只要我们遵守通信信道固有的“速度限制”（Shannon 也定义了以比特/秒为单位的限制），我们的精度就没有限制，没有我们无法被听到的噪音程度。Shannon 没有发现在实践中这样做的精确代码 - 或者组合压缩代码和防错代码的方法 - 但他证明了这样的代码必须存在。

Shannon 的作品是这些词出现在您屏幕上的原因

他们就这样做了。本着贝尔实验室的长远精神，这些代码需要几十年的时间来开发，事实上，香农提出的问题至今仍是工程师和信息理论家的研究对象。尽管如此，Shannon 已经证明，通过将任何消息（音频、视频或文本）转换为数字比特，我们可以将任何复杂程度的任何内容传达给任何距离的任何人。他的工作是这些词出现在你屏幕上的原因。

尽管它以知识自由和科学名人为标志，但香农的一生确实以极度的不公平结束。随着他开创的数字世界在 1990 年代开始蓬勃发展，Shannon 逐渐陷入了阿尔茨海默病。他对自己工作的实际回报的认识受到了严重而悲剧性的限制。但至于作品本身的雄心壮志和纯粹的惊喜，没有人比他的同事约翰·皮尔斯（John Pierce）说得更好：“它就像一颗炸弹”。

这种力量的来源在于 Shannon 渴望探索信息的深层结构。在他手中，这不仅仅是一个将信息从一个地方移动到另一个地方的机械问题;它始于重新思考传统意义上的沟通和告知意味着什么。这是一个老问题——但现在我们生活在一个信息时代，这在很大程度上是因为 Shannon 如何赋予这个老问题新的生命。

了解更多时间深度剖析，尽在于此@黄先生斜杠青年

商业咨询和顾问业务，请@yellowscholar

关注我，带你先看到未来！♥

转载声明：除调整格式外，不得对原文做改写、改编。原创不易，谢谢！E-mail:yellow@aliyun.com

♥声明：本文为原创文本，非生成式，转载请注明出处！

商务咨询/顾问/请@yellowscholar♥作者：黄先生斜杠青年