压缩的本质：数据消失的字节去哪了——有损压缩如何从物理保真走向语义保真

来源：市场资讯

（来源：图灵人工智能）

0. 打破无损的基准：我们真的需要全部信息吗？

上篇我们花了很大力气追问同一个问题：压缩的极限在哪里？香农熵给出了统计回答，柯氏复杂度给出了算法回答，两种视角在深层统一。而所有这些讨论，都默认了一个前提——我们要保留全部信息，分毫不差。

但这里还有一个更根本的问题：我们真的需要全部信息吗？

不妨看看这个世界上最顶级的“压缩器”——人脑。你昨天走过的街道，你记不住每一块地砖的纹理；你听过成百上千次对话，却没有一次能逐字复述。但你记得街道的走向，记得对话的要点。人脑本身就是一套巨大的有损压缩系统：它从海量感官数据中提炼出一个内部模型——一个关于世界的“隐空间”——只保留那些对生存和预测真正有用的结构，把其余细节果断丢弃。

这正是有损压缩的根本动机：不是为了省硬盘空间，而是为了理解。 当我们主动丢弃信息时，一个在无损压缩中被回避的问题浮现出来：依据什么标准来判断“重要”还是“不重要”？

1. 率失真理论：用数学描述“不重要”

率失真理论的核心问题就是：当我们允许一定程度的失真时，传输信息所需的最低比特数是多少？这个最低比特数如何随着失真的增大而减少？

1.1 一个思想实验：猜年龄

上篇我们用存储来讲压缩，下篇换一个同样本质的场景——传输。压缩是把数据变小，存进硬盘跟传过网线，数学上是同一件事。

你要通过电话告诉朋友一个人的年龄，精确到几岁几月几天——比如 27 岁 3 个月零 15 天。这需要传输相当多的数字。这就像无损传输——你必须完美复述每一个细节。

但朋友说：“行了，我只需要知道他大概是‘幼年’（0–12 岁）、‘青少年’（13–19 岁）、‘中年’（20–59 岁）还是‘老年’（60 岁以上）就行。我不需要知道那么精确的年龄。”

这就是引入了失真。当你允许失真 ——也就是告诉朋友“我不需要精确年龄，四档就够了”——你需要传输的信息量 急剧下降。四档只需要区分四种状态，用 2 个比特就够（00、01、10、11 分别代表幼年、青少年、中年、老年）。

率失真理论的核心问题就是：当我们允许一定程度的失真时，传输信息所需的最低比特数是多少？这个最低比特数如何随着失真的增大而减少？

1.2 率失真函数 R(D)：定义与数学形式

1948 年，香农在同一年不仅提出了信息熵，还提出了率失真理论。这个理论的形式化定义如下：

率失真函数 是在允许平均失真 的条件下，传输每个信源符号所需的最小比特数。

用数学语言表达：

这个公式看起来有些复杂，我们拆开来看：

• • 是原始信号（比如这个人的精确年龄）， 是传输后重建的信号（比如用传输的档位估计的年龄值）。

• • 是失真度量，衡量原始信号和重建信号之间“差多少”。比如真实年龄 42 岁，重建值可能是40岁，虽然不精确，但在允许范围内。

• • 是约束条件：平均失真不能超过我们事先约定好的容忍上限 。

• • 是编码方案：给定原始信号 ，以什么方式把它映射到重建信号 。min 下面的条件翻译过来就是——在所有平均失真不超过 的编码策略里，找到那个能用最少比特完成传输的方案。

• • 是互信息，衡量看到重建信号 之后，我们对原始信号 的不确定性消除了多少。为什么这个消除量正好等于需要传输的比特数？我们真正传过信道的，并不是最终的重建信号 Y 本身，而是一套事先约定好的码字。在猜年龄的例子里，你对着电话说的是“中年”这个标签，而不是具体的年龄数字——这个标签就是码字。真正消耗带宽的，就是这个码字。码字是编码器根据 X 生成的，里面只装了关于 X 的信息。既然它“肚里”只有关于 X 的东西，那它自身的信息量，自然就等于接收方看到 Y 后对 X 消除的无知量——这个消除量就是互信息 I(X;Y)。传输的本质就是在给接收方“制造确定性”——你传过去的信息，恰好是用来消除接收方不确定性的。消除了多少不确定性，就等于传了多少比特。 就是这个最少比特数——无论是存进硬盘还是传过网线，这就是压缩后每个信源符号必须占用的最低空间。

这个函数有两个关键性质：

1. ：当 （不允许任何失真）时， 退化为信源熵——也就是上篇讨论的无损压缩极限。

2. 是单调递减的凸函数：允许的失真越大，所需比特数越少。而且收益递减——每多容忍一单位失真，节省的比特数越来越少。刚开始，一点失真就能省下大量比特；到了后面，再多给失真，能省的比特也不多了。

1.3 一个具体算例：猜年龄

设定：假设所有人的年龄均匀分布在 0 到 63 岁之间，共 64 种可能。信源熵 比特——无损传输时，每个年龄值需要 6 比特（刚好用 6 位二进制表示 0–63）。

现在允许有损传输。失真度量用绝对误差：，即重建年龄和真实年龄相差多少岁。

我们可以用一种最朴素的方法来构造有损方案：把 0～63 岁分成若干组，只传输组号，接收方收到组号后取该组的中间值作为年龄估计。组分得越粗，需要传输的组号越少，比特数就越低，但每组覆盖的年龄范围越大，平均误差也越大。

顺着这个思路，很容易得到一系列“速率–失真”对应关系：

• • 只用 1 比特（分 2 组）：{0～31} 和 {32～63}，重建值取每组中点 15.5 和 47.5，组内平均误差为 8 岁 → 时只需 1 比特。

• • 用 2 比特（分 4 组）：每组 16 个年龄，平均误差 4 岁 → 时只需 2 比特。

• • 用 3 比特（分 8 组）：每组 8 个年龄，平均误差 2 岁 → 时只需 3 比特。

• • 用 4 比特（分 16 组）：每组 4 个年龄，平均误差 1 岁 → 时只需 4 比特。

• • 用 5 比特（分 32 组）：每组 2 个年龄，平均误差 0.5 岁 → 时只需 5 比特。

• • 用 6 比特：不分组合，无损传输，。

整理成表格能看得更清楚：

允许的平均失真

所需比特

0

6

0.5

5

1

4

2

3

4

2

8

1

从这组数据中能读出两个很直观的规律：

1. 失真每翻一倍，所需比特大约减少 1。

2. 相同的失真增量，省下的比特越来越少：

• • 从 到 ，比特从 6 降到 2，一下子省了 4 比特；

• • 从 到 ，比特只从 2 降到 1，仅省了 1 比特。

画在图上， 就是一条从 6 开始、向右下方逐渐变平缓的曲线。这正是率失真函数凸性的直观含义：在失真很小的时候，稍微放宽一点限制，就能换来比特数的大幅下降；而当失真已经比较大时，再继续放宽，节省比特的效果就越来越有限了。

需要注意的是，这里列出的比特数只是通过简单分组得到的一个可达方案（即率失真函数的上界），并非精确的 值。真正的 还会更低一些（见上图的红色点和蓝色线，红点表示分组结果，蓝色线为理论值）。

2. 重要性的光谱：从物理保真到语义保真

率失真理论给出了一套精密的数学框架，但它绕开了一个关键问题：失真度量 本身怎么定义？ 什么算“差得多”，什么算“差得少”？

在传统数据压缩里，最常用的失真是平方误差（MSE）：把原始信号和重建信号的每个数值的差的平方加起来，越小越好。这个度量好算、好优化，但它有一个致命的盲区：它把每个数值的偏差等量齐观，不管你偏差的是什么。图像压缩里，一个像素的微小色偏和另一个像素的巨大色偏，在 MSE 的账本里只是数字不同，没有本质区别。但人眼对某些区域的偏差极其敏感（比如人脸），对另一些区域几乎无感（比如天空的纹理）。MSE 不关心这些。

这个看似技术性的选择——怎么定义“失真”——背后是一整套关于“什么重要”的哲学立场。“重要性”不是一个非黑即白的问题，更像一道光谱，每一层对应着不同的“保真”标准。

2.1 第一层：物理保真——逐点都对

最传统、也最易于数学处理的标准正是平方误差（MSE）。

在图像压缩里，这意味着每个像素的颜色值都要尽量接近原始值。在音频压缩里，这意味着每个采样点的幅度都要尽量吻合。

这种标准的哲学是物理还原论：信号的全部意义就在于其波形的精确幅度。“重要”的，就是“客观存在的每一个波动”。你改动哪怕一个肉眼根本看不出来的像素，在 MSE 的账本里也是一笔赤字。

但这里有一个致命的问题：很多物理细节，人眼和人耳根本感知不到。一张 MSE 极低的图像，人眼看可能是布满精细噪点的乱码；一张 MSE 略高但噪点被智能抹除的图像，人眼看反而觉得更“真实”。

2.2 第二层：感知保真——看起来真

这就是感知保真要解决的问题。它的标准不再是“逐点都对”，而是**“看起来真”**。

这个判断由一个经过训练的深度神经网络来做出：它能区分重建图像和原始图像在“分布层面”的差异。也就是说，如果你把重建后的图像和原始图像混在一起，即使是最敏锐的判别器也分不出哪张是重建的、哪张是原始的——这就叫分布不可区分。那些会被人眼察觉的失真，才是真正的失真；而那些视觉上无感的纹理差异、微小的色彩偏移，尽管丢弃。

核心洞见：能改变语义概念的细节才重要，视觉上无感的噪声尽管丢弃。 “看起来真”压倒了“逐点都对”。

2019 年，Blau 和 Michaeli 将感知保真正式纳入了率失真的理论框架，提出了率-失真-感知函数（RDPF）。具体来说，R(D) 只约束平均失真，而 RDPF 额外要求重建信号的分布与原始信号的分布在统计上不可区分——这个“分布层面的约束”就是感知保真的数学表达。它揭示了率、失真、感知三者之间的三方权衡：追求更高的感知质量，可能需要额外付出码率，或容忍更大的传统失真。

2.3 第三层：语义保真——意思对

感知保真已经往前走了一大步。但它仍然不够。

想象一张路牌的图片。经过有损压缩后，背景比原来更干净了，路牌边缘更锐利了——在像素层，MSE 可能很小；在感知层，它看起来很自然。但路牌上的文字被算法错误地“编造”成了另一个地名——从“中山路”变成了“中山东路”。

这在像素层和感知层都是“可以接受”的失真，但在语义上，这是一次彻底的失败。一个开车的人如果依赖这块路牌，就会被导向错误的方向。

近年来的研究已经开始将语义保真正式纳入理论框架。段志尧、马耀和朱军等人（2023）在 RDP 的基础上加入了语义约束，构成了率-失真-感知-语义（RDPS）四维权衡——在原有约束之上，额外要求重建信号在语义任务上的表现与原始信号一致。这个框架的追问层层递进：

• • 传统率失真只问：“失真多少？”

• • 加入感知后问：“看起来真不真？”

• • 加入语义后问：“意思对不对？”

2.4 小结：重要性，由理解的目标层级定义

这三层保真度并非互相排斥，而是层层叠加。每一层都对“什么重要”做出了不同的回答：

• • 在物理层，每一个波动都重要——因为你没有理由忽略任何客观存在。

• • 在感知层，只有能改变感官判断的细节才重要——因为“看起来真”才是目标。

• • 在语义层，只有能改变任务决策的细节才重要——因为“意思对”才是最终目的。

你选择保留什么、丢弃什么，定义了你所追求的“理解”处于哪一个层级。 在物理层被视若珍宝的噪声，在语义层可能毫无意义；反过来，一个在物理层看似巨大的改动（比如把一块蓝色色块改成绿色），在语义层可能完全无关紧要——只要它不影响“这是一片天空”的判断。

3. 深层问题：重要性有客观根基吗？

3.1 一个避不开的追问

如果“重要性”完全由代理任务定义——是像素对比还是语义理解，是人眼感知还是自动驾驶决策——那它岂不是变成了一个纯粹主观的事情？你说这个纹理重要，我说不重要，谁说了算？

人脑的隐空间显然不是为某一个特定任务而建造的。你今天用大脑来判断路牌，明天用来欣赏油画，后天用来识别熟人的面孔。同一个内部模型，支撑了成千上万种不同的任务。如果“重要性”完全随任务任意变化，人脑又怎么能用一套固定的压缩策略应对开放的世界？

是否存在某种更客观的根基——不依赖于特定任务，而是数据本身就告诉我们应该保留什么？

3.2 几条正在探索的道路

这个问题没有终极答案，但有几条值得关注的理论道路正在向前延伸。在这里，我们只做路标式的提及：

• • 逻辑深度（Bennett, 1988）：一个对象的“逻辑深度”，是从其最短程序运行到目标输出所需的最小计算步数。逻辑深度是柯氏复杂度的延伸——复杂度问“描述有多短”，深度问“展开有多慢”。那些需要极高计算成本才能展开的深层结构——比如生命的演化史、物理定律的数学骨架——或许应当无条件地保留；而那些在最短程序上几乎无需计算就能产生的浅层波动——比如纯随机噪声——则可以被丢弃。

• • 信息瓶颈（Tishby et al., 1999）：将“重要性”严格锚定在对一个外部目标变量 的预测贡献上。在压缩输入 的同时，最大化保留关于 的信息。这与语义保真的思路有相通之处：重要性由任务目标定义。但问题依然是：如果一个智能体面对的是完全开放的未来， 又从何而来？

• • 相关性理论（Marsili et al., 2022）：试图跳出这个困境。它不再依赖外部任务变量，而是直接从数据内部定义“什么是重要的”：一个数据集包含了多少关于生成它的未知“真实模型”的信息？当我们在不同压缩率下最大化这个量时，会出现一个特殊的平衡点——在这个点上，系统刚好达到了无损压缩的极限，同时提取了关于世界的最大信息量。换句话说：最高效的压缩，恰恰也是最有价值的理解。

这些理论努力汇在一起，共同指向一个方向：重要性不是纯粹的主观选择，而是有客观根基的。 从逻辑深度到信息瓶颈，再到相关性理论，我们正在一步步逼近对“结构”和“重要性”的更精确理解。这个根基到底有多稳固、能在多大范围内适用，仍然是一个开放的问题——但至少它告诉我们，“重要”不是一句随便的托词，而是一个可以被严格讨论和逼近的数学概念。

4. 全篇结语：压缩即理解

让我们回到开篇的问题：压缩的本质是什么？

在上篇里，我们看到了压缩的极限。香农熵从概率视角，用“意外程度”度量了规律与噪声的统计边界；柯氏复杂度从算法视角，用“最短程序”度量了单个对象的结构深度。两把尺子给出了同一个答案：无损压缩的边界，就是规律含量的终极度量。

在下篇里，我们越过了这条边界。当我们主动丢弃信息，问题不再是“能不能压”，而是“什么可以丢”。率失真理论给出了数学框架：允许的失真越大，所需的信息率越低。而失真的定义——从物理保真到感知保真再到语义保真——逐层揭示出：重要性不是给定的，而是由理解的目标层级决定的。

两条线索最终汇合于一点：

压缩，就是理解——用最少的意外，重建最多的世界。

香农式的理解是“能预测”，柯尔莫哥洛夫式的理解是“能生成”，有损压缩的理解是“能抉择”——知道什么重要、什么可以丢弃。而所有这些“理解”的终极形态，正是我们在人脑中看到的那个隐空间：它从海量感官输入中提炼出世界的模型，用最简洁的结构，去解释和预测最复杂的现实。

本篇小结

本篇从上篇的“无损压缩极限”出发，转向有损压缩的核心追问：当我们主动丢弃信息，如何定义“重要”？

• • 率失真理论给出了数学框架： 刻画了“用精度换压缩率”的定量边界。我们用一个猜年龄的具体算例，亲手算出了 D=0 时需要 6 比特，D=4 时降到 4 比特，D=8 时降到 3 比特——并从中看到了 R(D) 凸函数的“收益递减”特征。

• • 三层保真度光谱展开了“重要性”的层次结构：物理保真追求逐点都对，感知保真追求看起来真，语义保真追求意思对。每一层都锚定着不同的理解目标。

• • 深层问题的引出：重要性到底有没有不依赖任务的客观根基？逻辑深度、信息瓶颈、相关性理论各自给出了不同的候选答案，指向同一个方向——重要性有客观根基，但仍在探索之中。

两条线索最终汇合：压缩，就是理解——用最少的意外，重建最多的世界。

参考文献

1. Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423.

信息论的奠基之作。率失真理论与信息熵同出自此篇，共同构成有损压缩的数学基础。

2. Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information. Problems of Information Transmission, 1(1), 1–7.

算法信息论的奠基文献之一。下篇讨论逻辑深度及最短程序时，以柯氏复杂度为理论基础。

3. Li, M., & Vitányi, P. (2019). An Introduction to Kolmogorov Complexity and Its Applications (4th ed.). Springer.

算法信息论领域的权威教材。下篇关于柯氏复杂度与逻辑深度关系的讨论参考此书。

4. Bennett, C. H. (1988). Logical depth and logical complexity. In The Universal Turing Machine: A Half-Century Survey, 227–257. Oxford University Press.

逻辑深度的原始文献。提出一个对象的“深度”是从其最短程序到输出所需的最小计算步数。

5. Tishby, N., Pereira, F. C., & Bialek, W. (1999). The information bottleneck method. In Proceedings of the 37th Annual Allerton Conference on Communication, Control, and Computing, 368–377.

信息瓶颈理论的原始文献。将“重要性”锚定在对外部目标变量的预测贡献上。

6. Marsili, M., Roudi, Y., & Tkačik, G. (2022). Quantifying relevance in learning and inference. Physics Reports, 963, 1–43.

相关性理论的综述文献。在不依赖外部任务变量的前提下，以“压缩率-相关性”权衡定义何为重要结构。

7. Blau, Y., & Michaeli, T. (2019). Rethinking lossy compression: The rate-distortion-perception tradeoff. Proceedings of the 36th International Conference on Machine Learning (ICML).

提出率-失真-感知函数，将感知保真正式纳入率失真框架。

8. Duan, Z., Ma, Y., & Zhu, J. (2023). Rethinking the rate-distortion-perception-semantics tradeoff in lossy compression. arXiv preprint arXiv:2306.03457.

将语义保真正式纳入有损压缩的理论边界，提出率-失真-感知-语义四维权衡框架。