由概率的调和平均值引出的一种熵

horizontal rule

2008-7-2张学文 http://www.sciencenet.cn/blog/user_content.aspx?id=31154

1.         热力学熵所联系的玻尔兹曼熵、申农熵本质上对应着系统(集合)的概率的几何平均值(以致它的函数)。最近20年发展起来的Tsallis 熵则对应于该系统中的代数平均值所对应的熵(我们这里的表达式与Tsallis有区别,这里用了对数,没有了那里的“1”,并且是q=2的情况)。其实,调和平均值也是一种重要的平均值。现在可以在申农熵、Tsallis 熵之外再提出与概率的调和平均值联系着的第三种熵。

2.         基本模型

我们把由N个个体组成的系统称为“个体集”【参考《组成论》一书里的广义集合概念和http://www.sciencenet.cn/blog/user_content.aspx?id=29861】。设每个个体就某变量(我们称为标志)x,在确定时刻有唯一确定的值xi(我们称为标志值)。这里i12p pN)。这个系统自然存在一个分布函数值n,  [nf(xi)],它给出不同的x值所对应的个体数量n。在离散情况下这些可以用下表表示。

 

个体集合的标志值和它们对应的个体数量、百分比表

1

 

i1

i2

 

ii

 

ip

2:变量

xi

x1

x2

 

xi

 

xp

3:对应的个体数量

n

n1

n2

 

ni

 

n p

4:百分比

f(xi /N)

f1

f2

 

fi

 

fp

例如:某托儿所有150儿童,他们被分到大、中、小三个班的儿童分别有605040个。于是有下表

托儿所的例子表

1

 

i1

i2

i3

合计

2

班级xi

小班

中班

大班

 

3

儿童数量:n

60

50

40

150

4

百分比:f(xi /N)

60/150

50/150

40/150

100

 

这里f(xi /N)是变量取值为xi个个体占的百分比。另外,显然有

N=ni

       如果我们对这个个体集合进行一次随机抽样,那么标志值为xi的个体被抽中的概率显然,依古典概率定义为fi,所以,还有

       fi1

       我们就在这个系统(个体集合,广义集合,个体集)的 基础上讨论对应的信息熵(它对应的复杂程度)和新的熵。

3.         三种平均值

对应上表中的第3行(含义是各个标志值所占有的个体数量),我们可以依定义求其代数平均值na、几何平均值ng和调和平均值nh:

       代数:na=(1/N)( n12+ n22+…+ n p2), 

几何:(ng)N= n1 n1 n2 n2n p n p

       调和:(1/nh)=(1/N)( n1/ n1+ n2/ n2+…+n p/n p)=p/N

       这三种平均值都是数学中承认的平均值。它们是平均值三个一般公式在变量为ni的特殊情况的特解。

       对于给的例子,其对应的三种平均值分别为na =51.3,  ng =50.6,  nh=50

4.         依据过去给的复杂程度公式计算的复杂程度是根据变量的几何平均值而得到的复杂程度Cg

CgNlogN - n1log n1- n2log n2-…-n plogn p

Cg=NlogN-Nlog(ng)=Nlog(N/ng)。它说明了不同标志值的数量的几何平均值,N与复杂程度Cg的关系。它对应统计力学里的熵,是信息熵的N倍,我们称为第二种熵。对于前面例子,Cg150log(150/50.6)=70.79

5.         类似地,我们定义与代数平均值(对不同标志值的个体数量的代数平均值)na的如下公式为复杂程度Ca:

Ca=NlogN-Nlogna

Ca=NlogN-Nlog[(1/N)( n12+ n22+…+ n p2)]

       它显然与q=2Tsallis 所谓的熵十分类似,我们把它称为第一种熵。对于前面例子,Ca150log150-150log(51.3)=326.4-256.5=69.9

6.         类似地,我们定义与调和平均值(对不同标志值的个体数量的调和平均值)nh联系的如下公式为对应的复杂程度Ch

Ch=NlogN-NlognhNlogN- Nlog(N /p)= Nlogp

于是现在引入了第三种熵(第三种复杂程度)。对于前面例子,Ch150log(3)=71.56

7.         对例子的说明

对于大、中、小班各为405090的儿童的托儿所,儿童的班级复杂程度在三种复杂程度公式面前的计算结果见于下表,其中的信息熵(申农熵)是复杂程度除以个体总量150的值,它的物理意义是在托儿所里任意抽一个儿童,他(她)究竟是大、中、小班的不确定程度。于是我们就从大家比较生疏的复杂程度还原为比较熟悉的信息熵。这里以比特为单位的值是10为底对数值乘3.321928

 

平均值

复杂程度

熵(复杂程度/比特)

信息熵

代数平均情况(1

51.3

69.9

232.2

1.54

几何平均情况(2

50.6

70.79

235.1

1.56

调和平均情况(3

50

71.56

237.7

1.58

 

8.         初步小结;数学里经提到的平均值有代数、几何、调和平均值三种。信息熵(连同统计力学的熵)联系的是关于概率的几何平均值,1988年以来又发展出联系者概率的代数平均值的Tsallis 熵。这里引入了与调和平均值对应的新的熵(复杂程度)。我们是给了基本公式和一个例子(体现调和熵的值最大),但是关于它的性质和应用还没有来得及讨论。