熵在信息损失方面的表征

A CHARACTERIZATION OF ENTROPY IN TERMS OF INFORMATION LOSS

熵在信息损失方面的表征

https://arxiv.org/pdf/1106.1791

摘要

香农熵和Tsallis熵作为满足特定性质的信息度量，已有多种刻画方式。基于法捷耶夫和古市的研究工作，我们推导出一种极其简洁的刻画方法。该方法并非聚焦于有限集合上概率测度的熵，而是关注与保测函数相关联的"信息损失"（即熵的变化）。信息损失是条件熵的一种特殊情形：即某个随机变量在给定该变量的函数条件下的熵。我们证明，香农熵是唯一满足函子性、凸线性与连续性的信息损失概念。该刻画方式亦可自然地推广至Tsallis熵。

1. 引言
   有限集合X上概率测度p的香农熵[9]由下式给出：

   
   

有许多定理试图从看似合理的假设出发来刻画香农熵；可参见例如Aczél和Daróczy的著作[1]。本文中，我们给出一个新的、非常简洁的刻画定理。其主要新颖之处在于，我们不直接关注单个概率测度的熵，而是关注与保测函数相关联的熵的变化。单个概率测度的熵可以通过指向单点空间的唯一保测函数的熵变化来还原。

一个保测函数可以将多个点映射到同一个点，但反之则不然，因此这种熵的变化始终是减少的。由于热力学第二定律讨论的是熵的增加，这看起来可能违反直觉。但如果我们把这个函数看作是某种不引入任何额外随机性的数据处理，那么这种直觉可能会减弱。此时，熵只会减少，我们可以讨论与该函数相关的“信息损失”。

1. 主要结果

这与我们之前对凸线性组合的表示法是一致的。我们希望给出一些条件，以确保一个将 FinMeas 中的态射映射到非负实数的映射来源于香农熵的某个倍数。为此，我们需要定义配备了测度 p p（不一定是概率测度）的有限集合 X X的香农熵。将 ( X , p )
的总质量定义为：

1. 为什么香农熵有效

于是可以证明，方程(5)对 FinMeas 中的每一个态射 f 都成立。可加性公理和齐次性公理也由此容易推出。

1. 法捷耶夫定理

这可以很容易地使用香农熵的定义和对数的基本性质来验证。而且，法捷耶夫定理中的条件(iii)等价于强可加性加上条件 I ( ( 1 ) ) = 0
，这使得我们可以将法捷耶夫定理重新表述如下：

1. 主要结果的证明
   现在我们来完成定理2的证明。假设 F F满足该定理陈述中的条件(i)–(iii)。
   回顾一下，(1) 表示集合 {1} 及其上唯一的概率测度。
   对于 FinProb 中的每一个对象 p p，存在唯一的态射

1. Tsallis熵的刻画

自香农于1948年定义了他的熵以来，该概念已以多种方式被推广。我们的定理2可以很容易地扩展，以刻画其中一个推广族，即所谓的“Tsallis熵”。对于任意正实数 α，有限集合 X 上概率测度 p 的 α 阶 Tsallis 熵定义为：

与香农熵的情况一样，这个结果可以扩展到有限集合上的任意测度。为此，我们需要定义有限集合上任意测度的 Tsallis 熵。我们通过要求以下条件来实现：

原文链接： https://arxiv.org/pdf/1106.1791