§8.3复杂程度与信息熵

上一章得到了一个广义集合的内部状态的复杂程度的公式是

7.5

依照概率的古典定义,如果在N个个体中有某标志值的个体有ni个,那么从总体中任抽一个,该标志值的出现概率pi就是ni/N 。即有

pi = ni/N

把这个关系带入复杂程度公式7.5,并且注意到信息熵公式8.2我们得到

C=NH 8.4

这个公式说明

从广义集合引出的的N 个个体的复杂程度与信息论中引入的一次抽样时结局的(不确定性)信息熵是成正比例关系的两个物理量,其比例系数是个体总数N

明确了复杂程度与信息熵的这个重要关系,也就把前面七章介绍的知识与知名度很高的“信息”连到一起了。复杂程度不再是知识领域的孤岛。

复杂程度与信息熵的对应关系说明,随机抽样(注意是一次)时之所以有这么大的不确定程度(信息熵)是因为客观存在一个广义集合(抽样的母体)有这么大的复杂程度。

20世纪中叶以来我们已经知道很多关于信息熵的知识。利用这种关系,这些知识都可以用到复杂程度上,所以复杂程度概念轻易地吸收了信息熵的大量知识。反过来看复杂程度与信息熵关系的明确也为认识信息熵提供了一个物理意义清楚的新思路。

信息熵是对客观事物进行随机试验的角度分析了结局的不确定性(信息熵)。复杂程度是从客观事物的内在差异性(各个个体的标志值不尽相同)的角度分析了客观事物本身状态的丰富程度。它们的视角固然有差别,但是依据的主体却相同。信息熵更接近于通讯模型,复杂程度更注重客观事物本身。我们没有批判信息论是唯心论,但是说广义集合符合唯物论,人们更容易理解。

影子不是物质,但它是物质的一种映射;信息(熵)不是物质,但它是物质的复杂程度的映射。

公式中的比例系数就是这个广义集合的个体数量N 。我们记得信息熵的公式计算出来的值的物理意义是对总体做一次(不是两次或者很多次)随机抽样实验时结果的不确定性。而关于复杂程度的含义总是面对由N个个体组成的总体的。所以公式8.4中有一个比例系数是个体的总量N 是自然的,合理的。

由于个体的个数是个无因次的量,公式8.4也说明复杂程度的单位应当与信息熵的单位相同。正是因为有这种关系存在,我们在复杂程度计量中才用信息熵的(例如比特等)单位表示复杂程度。

另外,把关于连续变量的复杂程度公式7.7带入信息熵公式8.3,同样得到公式8.4。这说明公式8.4对连续变量也适用。

§8.4熵函数的一些性质

8.4.1信息熵没有负值

在上一章(见7.2.2节)介绍了复杂程度没有负值以及复杂程度的值与标志值本身的值没有关系。由于复杂程度与信息熵的对应关系,所以信息熵也没有负值而且也与随机变量(对应于标志值)的具体值没有关系。复杂程度的简化公式是NlogN ,对应地,在信息熵方面的简化公式是logN 。它适用于每个结局出现的概率相等的情况。

连续变量的信息熵如果单位取得不当,熵可能出现负值。对此请参考文献[7,8]和本书第九章最后一节。

8.4.2信息熵有最大值

信息熵公式8.2说明熵的值是各个概率值的函数。信息论中还证明当各个概率的值都相同时,信息熵的值最大。此时公式退化为logN 。所以logN 就是有N 个不同的抽样结局时信息熵的最大(应当称为极大)值。

8.4.3信息熵有可加性

信息熵有可加性是指不同含义的的信息熵的相加的规则[9]。例如某地把天气分成晴、多云、雨,如果再把雨天分成微雨到大雨时不同的信息熵是什么关系。

设某地晴、多云和雨天的出现概率满足下表

表(8.2)不同天气的出现概率

天气

多云

概率

0.5

0.3

0.2

 

利用信息熵公式可以求得天气的信息熵H1

H1=-0.5log0.5-0.3log0.3-0.2log0.2=1.4854

如果把雨天再分成微雨到大雨四种,并且知道它们的出现概率为表(8.3)的的第二行

表(8.3)不同雨量的出现概率

雨量

微雨

小雨

中雨

大雨

出现概率

0.1

0.05

0.03

0.02

条件概率

0.5

0.25

0.15

0.1

 

表中第二行是雨天的出现概率(0.2)又被细分成不同的雨情时它们各自对应的出现概率。第三行表示在肯定下雨时各种雨的出现概率(也称为条件概率),它是上一行的值被雨天出现概率0.2除而得到的。利用第三行带入信息熵公式,可以求得雨天时不同雨量的信息熵H2

H2=-0.5log0.5-0.25log0.25-0.15log0.15-0.1log0.1=1.7427

如果把直接把雨天分成四种,那么天气就有六种情况,显然有表(8.4

 

表(8.4)细分以后的天气与出现概率

天气

多云

微雨

小雨

中雨

大雨

概率

0.5

0.3

0.1

0.05

0.03

0.02

 

六种天气的信息熵H3可以用同样的公式计算出

H3=-0.5log0.5-0.3log0.3-0.1log0.1-0.05log0.05-0.03log0.03-0.02log0.02

H3=1.8340

问把天气分成六种情况时的信息熵与分成三种情况,以及雨天的信息熵之间有什么关系?我们发现H3恰好是H1加上H2乘以雨天的出现概率0.2,即

1.8340=1.4854+02×1.7427

写成公式是H3=H1+0.2 H2 ,它的一般化公式是

H3= H1+P H2 8.5

这就是信息熵的可加性的一般公式。它表示一次抽样实验结局的不确定性如果是H1 ,当把出现概率为P 的事件再细分成若干个事件时,新的抽样实验的结局的不确定性H3 由公式8.5计算,其中H2是概率P 对应的事件已经出现时的信息熵(细分成各种事件对应的不确定性,也称为条件信息熵)。

利用信息熵公式,可以直接推出这个公式来。

§8.5信息