当信息论开始考虑推理能力，会发生什么？

想象一场灾难即将抹去人类所有的科学知识——硬盘、互联网、书籍、电影，一切都将消失。但在这一切归零之前，你有机会为后人留下一句话。你会写什么？

物理学家理查德·费曼曾对这个假设性问题给出了他的答案：他会告诉未来的人类，万物皆由原子构成。他相信，仅凭这一句话，未来的科学家最终能够重建大量的科学知识。

费曼这句话的价值，并不在于它包含了多少文字或符号，而在于未来的科学家能从中推导出多少内容。近80年来，信息论领域的研究重心主要集中在如何高效传输信息，而非考量人们能从信息中推断出什么。

近日，IBM研究院科学家路易斯·拉斯特拉斯、乔纳森·伦奇纳、巴里·特雷格、马克·斯奎兰特、柴华吴、罗纳德·法金，以及合作者沃伊切赫·斯潘科夫斯基和亚历山大·格雷，在《美国国家科学院院刊》（PNAS）上发表了一篇新论文，提出了一种全新的通信思维框架，明确地将推理能力纳入其中。

Shannon经典框架的局限性

1948年，美国科学家克劳德·香农凭借一个极具影响力的思想，彻底改变了通信领域。他意识到，可以将信息的意义与高效传输信息的问题分离开来。

这一抽象化思路催生了现代信息论。无论是照片、电话、学术论文、博客文章，还是大语言模型的训练数据，香农的框架都聚焦于信息如何被表示、压缩和可靠传输。这一方法之所以成功，在于通信网络本身无需理解所传递的内容。互联网并不在乎一个数据包里装的是救命的医疗诊断，还是一张猫咪的照片，它只负责搬运比特。

然而，通信两端的人类本能地意识到，并非所有比特都具有同等价值。来自故障传感器的单个比特可能毫无意义，而来自可靠碰撞预警系统的单个比特——指示自动驾驶车辆制动——则可能价值重大。这种差异，就在于能从信息中推断出什么。

将推理纳入通信模型

拉斯特拉斯与合作者们提出了一个问题：如果通信系统明确地将逻辑推导纳入考量，会发生什么？

他们的框架在香农经典的"发送方—接收方"模型基础上进行了扩展，赋予接收方推理能力。该模型不仅衡量直接传输的信息量，还将接收方从所接收内容中能够推导出的额外知识纳入考量。

团队得出的核心洞见是：当允许推理时，通信效率会显著提升。发送方无需逐条传输每一个事实，而是可以提供能让接收方推断出更多事实的信息。换言之，一条消息的价值不仅取决于它说了什么，还取决于它让人能够得出什么结论。

为了在数学上捕捉这一特性，研究人员推导出一个新的量——"逻辑语义熵"，用以定义在具备推理能力的情况下通信的基本极限。

颠覆直觉的三项发现

该团队的框架产生了几项挑战传统直觉的成果。

第一项发现被研究人员称为"无需知晓"结论：当发送方并不清楚接收方已掌握哪些知识时，通信的基本极限实际上几乎保持不变。这一结果出乎意料——因为其通信本质上会省略逻辑推导所不需要的细节（即有损压缩），在这种情况下，了解接收方已知内容通常有助于节省数据量。

第二项发现被命名为"少即是多"悖论。研究人员借用了密码学理论中常见的两个虚构角色——爱丽丝和鲍勃。如果爱丽丝希望鲍勃只获取她知识的某个特定子集，同时尽量减少传输的比特数，那么最高效的策略反而可能让鲍勃学到比预期更多的内容。通过使用宽泛的、预设的简写模式来同时应对多种情境，爱丽丝可以大幅减少总传输数据量。然而，由于这些模式覆盖了更多内容，分享其中一个必然会向鲍勃透露比必要更多的背景信息，从而带来潜在的安全风险。

第三项发现涉及纠正错误信念的模型。研究人员的分析表明，纠正错误信息的通信代价，可能远远大于填补单纯知识空白的代价。通过对接收方持有与发送方事实直接矛盾的信念这一场景进行数学建模，研究人员计算了纠正一个"持有错误观点的人"与告知一个"仅仅不知情的人"所需的额外数据成本之差。结果发现，随着接收方错误信念愈加具体且根深蒂固，引导其回归真相所需的相对代价趋向无穷大。

从个人研究到智能系统的未来

对拉斯特拉斯而言，这个项目并非一项短期研究。这项工作最初是他在主业之外默默推进的个人研究项目，由一个小型团队承担。数年间，他每周都投入时间，探索这个自信息论诞生初期便悬而未决的问题。随着合作者的加入，并借助数理逻辑领域的深厚积累，团队规模逐渐扩大。

现代AI系统越来越依赖于不仅处理信息，还要对信息进行推理。尽管香农的原始框架仍是数字通信的基石，拉斯特拉斯及其团队认为，未来的智能系统可能受益于一套更丰富的理论——这套理论不仅关注信息的传输效率，还关注从信息中能够推断出什么。

从这个意义上说，这篇论文延续了始于1948年的对话，并为智能系统时代提出了一个新问题：如果通信理论衡量的不仅是所发送的数据，还包括理解这些数据所需的背景知识，那将会怎样？

Q&A

Q1：逻辑语义熵是什么？它和香农信息熵有什么区别？

A：逻辑语义熵是IBM研究院团队提出的新数学量，用于衡量在接收方具备推理能力时的通信基本极限。与香农信息熵只关注信息的传输效率不同，逻辑语义熵还考虑了接收方能从所收到的信息中推导出多少额外知识。简单说，香农熵衡量"传了多少数据"，而逻辑语义熵衡量"传了多少可推断的知识"。

Q2："少即是多"悖论具体是什么意思？

A："少即是多"悖论是指：当发送方（爱丽丝）想用尽量少的比特让接收方（鲍勃）只获取特定子集知识时，最高效的策略反而会让鲍勃学到比预期更多的内容。这是因为发送方使用了覆盖多种情境的宽泛模式，虽然节省了传输数据量，但这些模式附带了额外的背景信息，导致信息"泄露"，存在潜在安全风险。

Q3：纠正错误信念为什么比填补知识空白的通信代价更高？

A：根据该研究的数学建模，纠正一个持有错误且具体信念的人，所需的通信数据量远大于告知一个仅仅不了解情况的人。原因在于，错误信念越具体、越根深蒂固，发送方需要提供的反驳信息就越精确和充分。研究发现，随着接收方错误信念的程度加深，纠正所需的相对通信代价趋向无穷大。