§9.7连续变量复杂程度公式问题

数学告诉我们数可以连续变化。时间在连续地前进,小树在慢慢长高都是例子。 大学理科的高等数学讲微积分,更是突出“连续变化”的“数量”的地位。于是无形中树立一个观念:只有连续变化的数量才是高等的、最常见的、有身份的数量,才体现数量的本质,那些不能连续变量的量(例如孤立的1,2,3)是低级的、少见的、例外的、不值得一般人重视的“数量”。它们至多是连续变量的近似(如钟表里的秒针的不连续的跳动不过是对连续变量的粗略的近似)。

但是近数十年的科学发展让天平又向“不连续的数”(离散的数,分立的数)的方向倾斜了----似乎离散的(孤立的、颗粒的)数更基本,物理学中关于物质的原子(颗粒)学说传染给了数学!计算机现在十分普及,而计算机内部是把一切的数都化为离散的甚至是仅能用01(数仅有两种“颗粒”)来表示的二进位数以后再做运算。基于离散数量的计算机(通称为数字化)的成功(20世纪50年代计算机发展初期,也研究出了连续变量的计算机,称为模拟计算机,由于其精度难提高,而被历史淘汰了),说明过去我们尊敬的连续变量几乎都可以用离散变量去代替。过去的照相、语音广播、电视都是在处理模拟量(连续变量),而现在的广告则劝你使用数码照相机、数码摄像机、数字化通讯、数字化电视,这里的“数字化”的含义就是用“离散化、颗粒化”的数量处理问题。人们在接受一种新观念:一切用离散手段处理数据的方法都比连续手段处理数据更高级、更好。“数字化”成了时髦,这都是“离散变量”的科学地位升高的体现。

在笔者看来离散变量与连续变量是两个经常可以互相换算的表示事物的技术。那个在该场合下更方便、更简明就用那个。在离散变量的地位空前提高的科技潮流和背景下,也是为了使说理更简明,本书在引入复杂程度概念时就从离散情况入手。引出的复杂程度公式就是标志值可以离散取值情况下的公式。应当说对于复杂程度这个非常重要的概念,其离散变量的公式更有本质意义。下面就讨论把离散的复杂程度公式变态为连续变量中的复杂程度公式时遇到的特殊问题和我们对它的某些认识。

在第七章引入的复杂程度C 的计算公式7.5

这里的N 是研究的客观事物(广义集合)中个体的总数。这些个体的标志值(例如用x1x2xk表示)共有k 个彼此不同的值。每种占有的个体的数量分别为n1n2nk

所谓把这个公式变成连续变量的公式,就是认为各个xi 代表的不是一个点,而是一个不大的区间(如用xixi +Δx表示它)。如果Δx 很小,标志值在这个区间它占有的个体的数量,即ni显然与Δx成正比例。于是一般地可以写为

ni=gΔx

g 是比例系数,不失一般性,这个比例系数应当是标志值变量x的函数(即容忍x不同时有不同的比例系数),所以写成下面的格式更明确一些,即

ni= g(xi)Δx

于是复杂程度公式就表示为

C=-g(xi)Δxlog[g(xi)Δx/N]

利用对数性质,它可以表示成

C=-g(xi)Δxlog[g(xi)/N]-g(xi)ΔxlogΔx

仿照一般做法,让Δx充分地小并且趋于零,右边第一项的求和就可以被积分代替,于是有

C=-g(x)log[g(x)/N]dx-∑g(xi)ΔxlogΔx

我们规定上面公式中的右边第一项就是连续变量的复杂程度。即连续变量的复杂程度公式是

C=-∫g(x)[logg(x)/N]dx

以上积分是从x 的下限积分到其上限。而g(x) 的含义显然应当是变量x 每增加单位值(如从100变到101)时个体个数的增加量。

下面要说明为什么连续变量的复杂程度计算公式仅利用了前面式子里的第一项,而丢了第二项,即-∑g(xi)ΔxlogΔx 项被忽略了。

单纯从数学上看,由于Δx 应当是趋于零的。这导致第二项中的logΔx=log0,而log0为无限大,即连续变量的复杂程度应当是无限大。这显然使复杂程度概念走入了死胡同(在信息论中讨论信息熵公式时都回避类似局面的出现)。

但是如果重视物理含义的分析,如果重视物理学界的量子化的观点,那么事情就有了另外的理解思路。具体地说如果承认标志值实际上不可能被无限地变小,就应当承认它有一个最小的单位是不可能再分的(天然的)。例如标志值是学生的体重,而学生的体重的最小单位不可能比一个生物大分子的质量更小,又如标志值是人民币,而人民币不可能小于1分钱(一切可测量的物理量几乎都有一个,也可能是相对的,最小的不可以分辩的最小单位)。所以以该标志值的最小单位为计量单位时Δx 就天然地等于1。公式右边的第二项中出现了log1,在数学上我们知道log1=0,于是第二项就自动地消失了。连续变量的复杂程度公式就仅有前面的积分公式部分了。而这正是我们期待的。

上面的讨论使我们看到不能让Δx 趋于零,而是趋于该变量的天然的最小单位值“1”。这在物理上更合理在数学上也使后面的一项自动为零。但是人们也会担心Δx 趋于1,而不是0,对第一项中用积分代替求和是否有影响计算的准确性。我们的考虑是不会。确实,近似计算的经验告诉我们一个积分用100项的求和来代替,其计算的精确程度可以使计算结果的前两位数字是准确有效的。你计算学生体重的复杂程度时,不要说以一个分子的质量来区分学生的体重,就是以一克(g)为单位,就会使第一项的求和变成了上万项或者10万项的相加。这时得到的复杂程度的有效数字就会是4位或者5位。在绝大多数的情况下它们显然已经满足我们对数字的精确程度的要求。所以在取的单位合理地小的情况下,用积分代替求和完全可以保证复杂程度计算结果的准确性。

如果你真得用了天然的最小单位,那么得到的复杂程度也就有绝对意义。如果用了比天然单位大很多倍的人定的单位(如用公斤代替分子质量),你得到的复杂程度的值就是在这个单位意义下的复杂程度,它仅可以与相同意义下的其他的复杂程度做比较而没有绝对意义。

探索物理量(标志值)的最小单位会使算得的复杂程度的值具有绝对意义,这也是有深刻物理意义的认识。过去探索物质的最小单位,提出了原子的概念。100年前普朗克探索黑体辐射的公式,被迫提出了能量也有最小单位的概念,并且使“量子化”(也就是前面说的数量化、离散化)概念成为时髦。复杂程度具有绝对意义与质量具有绝对意义、能量具有绝对意义是同等重要的客观事实

由于复杂程度与信息熵是成正比例的物理量,关于复杂程度的连续变量的公式的认识对于连续变量信息熵也是有效的。有人把前面推导中Δx趋于零时信息熵变成无穷大(或者在其他思路下引出的类似的无穷大)看成是连续变量信息熵公式的缺点、弱点,我们认为这不是缺点,而是恰好显示了信息(复杂程度、熵)也有天然的最小单位的特点。我们不应当让数学上对连续变量的偏见妨碍了我们对复杂程度(信息、熵)的这个重要特点的深刻含义的认识。

关于连续变量的复杂程度(信息熵)公式也还有一些问题,读者可以看第十五章第7节和参考文献[15]

第一篇参考文献

[1]高安秀树著,沈步明,常子文译,《分数维》,孙广忠,北京,地震出版社,1989,Ⅲ

[2]刘杰,5万亿元储蓄存款说明了什么,《百科知识》北京,199812期,25-26

[3]张学文,马力,《熵气象学》,北京,气象出版社,199217-67

[4]张学文,字符多项式与表格数学,2002,计算机工程与应用,38卷增刊,124-126128

[5]F.M.RezaAn introduction to information theory, McGRAW-HILL BOOK COMPANY, INC, New York, 1961, 76-86

[6]梁传甲,《信息论入门》,人民邮电出版社,北京,198834

[7]张学文,《气象预告问题的信息分析》,科学出版社,北京,19818-11

[8]张学文,马力,熵气象学,气象出版社,北京,199284-88

[9]张学文,《气象预告问题的信息分析》,科学出版社,北京,19816-8

[10]张学文,《气象预告问题的信息分析》,科学出版社,北京,198118-21

[11]张学文,熵究竟是什么:熵与交叉科学,新疆科学技术委员会编,气象出版社,1988 23-29页,北京

[12]张学文,物理场的熵及其自发减少现象,自然杂志,上海,198611月号,847-850页,812

[13]张学文,复杂度定律,熵与交叉科学第二届(兰州)讨论会论文1989年

[14] http://entropy.com.cn/paper/p12.htm 张学文,千年思想家-麦克斯威

[15] 张学文,《气象预告问题的信息分析》,科学出版社,北京,19818-11

 

 

--第九章结束,第一篇结束--

回本章首

第二篇