§8.6 物理学中的熵

8.6.1热力学熵

我们从不确定性的角度引入了“信息熵”。但是“熵”并不是由于描述不确定性而首先引入的新词。它是从物理中的热力学领域来的。

18世纪的化学研究发现物质即便在化学变化时,其总质量(气体的、液体的、不同化学成分的)是不变的,这引入了质量守恒定律。19世纪中叶发现了另外一个物理量--能量也是守恒量,它也被称为热力学第一定律。

物理学还发现了其他的守恒量。在热学研究中就发现对于一定的物质进行一系列的所谓可逆的热力学循环过程又回到初始的热力学状态(温度、压力等回到原值)时还有另外一个计算(不是直接测量)出来的物理量也回到了初始值。即它在上述过程中也是一个守恒量。克劳修斯为这个性质良好的物理量取了一个与能量类似的名称--,现在经常用S 表示它。

人们一般关心熵S 的变化量dS 。它是由所谓可逆的热力学过程中热量Q 的变化量dQ 与当时的绝对温度T 的比值计量的:

    dS=dQ/T   

物理学中的熵是附着在具体物质和它的具体状态上的一个物理量。例如有一摩尔的氧气(32克)它又处于摄氏25度和一个大气压的状态下,那么其熵的值就是205.1J/K。人们是可以具体计算每种物质成分在各个状态下的熵值的。

熵与所谓自由能等物理量在理解化学反应过程时起了十分重要的作用。从热力学公式看熵与能量有一定联系,但是它描述了能量不能描述的某种物理意义。能量侧重说明该物质系统有多少“运动”而热力学熵侧重说明该物质系统的热力学“微观状态”有多少。

8.6.2热力学熵的微观含义

从热学过程计算出来的熵的深层意义是什么?19世纪玻尔兹曼等人从分子运动的多样性的角度给出了说明。其核心公式是

S=klnW    8.15

这里的S 就是物质的热力学熵,W 是该物质所处的宏观状态对应的微观状态的个数,而k 是玻尔兹曼常数。

由众多分子组成的物质中每个分子的具有的能量不可能都相同,这类似一个班的学生的身高不可能都相同,我们就认为该物质的各个分子处于不同的“微观状态”中。

物理学思考着这样一个问题:如果分子可能有r 个不同的能量(状态),那么在N 个个体(分子)中实现表(8.8)表示的(宏观)状态的方法(微观状态的个数)会有多少种。

表(8.8)不同数量的分子具有不同的能量

分子状态(能量大小)

e1

e2

ei

er

该状态下的分子的个数

n1

n2

ni

nr

实现表中给出的这种一般化的状态的具体方法(每个方法对应一个微观状态)有很多很多个。通过数学中组合数的公式可以计算出实现这种宏观状态的具体的微观方法的数量W,其公式是

W=N!/(n1!n2!…nr!)   8.16

W 也就是前面介绍的“微观状态的个数”,它经常被物理学称为热力学几率(它可是个比天文数字还大的数!)。这个公式建立了物质的热力学的熵值(对应确定的宏观状态)与实现该宏观状态的微观状态的方法的数量的关系。

如果N个分子所具有的能量都相同,那么公式8.16中的n1=N,而其他的n2=n3=…=0 。带入公式8.16得到

W=N!/N!0!0!…0!

注意到0=1,容易得到W=1。把它带回8.15式利用对数性质立刻得到S=0,即运动(能量)状态都相同的这个特别简单的状态其熵(复杂程度)为0。显然只要各个分子荷有的能量各不相同,那么计算出来的熵就是个大于零的数。对比这两种情况不难看出热力学熵度量的是微观尺度的运动状态的混乱程度( 丰富程度)

8.6.3复杂程度与热力学熵的关系

前面用物理学的语言简略介绍了热力学熵和它的微观意义。但是我们也可以从广义集合的复杂程度的角度分析这个问题。

把每个分子看成一个个体,把分子荷有的能量看成标志值,我们就可以问:不同的标志值(能量)的个体(分子)各有多少。这已经把我们引到广义集合的思路上去了。利用表(8.8)和前面计算复杂程度的公式(7.5),本物质系统的分子运动(以能量表示)的复杂程度C显然应当是下式(把对数的底改用自然数elog 就变成了ln)

C=-n1ln(n1/N)-n2ln(n2/N)nrln(nr/N)

我们把这个公式暂时放到这里。现在把公式8.16取自然对数,有

lnW=ln[N!/( n1!n2!…nr!)]

由于我们关心的物质系统通常是由极大量的分子组成,所以Nn1n2都是非常大的数。而数学上有一个斯特林公式是关于阶乘(!)的:

lnx!=xlnx-x

把这个关系带入前面的公式的每个有阶乘的地方,并且利用对数的性质,有

lnW=NlnN-n1lnn1-n2lnn2-…

注意到具有各个能量的分子的个数的总和必然等于个体总量,即

N=n1+n2+…+nr

容易得到

lnW=-n1ln(n1/N)-n2ln(n2/N)…nrln(nr/N)

注意复杂程度的公式(7.5)我们得到

S=kC    8.17

这个公式说明一个物质系统的热力学熵S 就是其对应的微观尺度的复杂程度C与玻尔兹曼常数k的乘积。换言之

描述物质的微观尺度的运动状态的复杂程度恰好与该系统的热力学熵成正比例,比例系数是玻尔兹曼常数。

 于是我们说:热力学熵的含义就是微观尺度的物质运动状态的复杂程度(面对微观运动,说成混乱程度或者无序程度也可以,但是对于其他尺度的问题不宜这么说);或者热力学熵是复杂程度的一种[11]

§8.7小结

前面七章我们沿着本书独创的思路为客观事物建立了“广义集合”模型。指出了每个广义集合都伴有对应的分布函数,而对分布函数的一种计算就得到了这个广义集合的复杂程度。复杂程度描述了广义集合内部状态的丰富程度。这里对复杂一词的含义的理解与大众对它的认识是一致的,但是,我们进一步把它定量化了。

本章的重点是说明复杂程度不是科技领域的孤岛。信息(熵)、热力学熵和复杂程度是互相成正比例的物理量。通讯讯号的复杂程度就是信息(熵)、微观状态的复杂程度就是热力学熵。

信息是20世纪时髦名词,关于信息的理论称为信息论--关于通讯的数学理论。信息熵是信息论中的基本概念。基于概率论的信息熵是通过随机抽样实验时抽样结局的不确定性来定义信息熵的大小的。这种定义方法的优点是与通讯的过程联系密切,但是它与客观事物的联系就不够直接和鲜明。

本章说明随机抽样结局的不确定性(信息熵)的大小恰好与抽样对象(广义集合)本身的复杂程度成正比例。这表明复杂程度就是物质化了的信息熵;信息熵就是复杂程度在信息领域的代名词。这使复杂程度不再孤立,也使信息附着到了物质上了。而复杂程度与信息熵的关系也为复杂程度继承信息论中大量已有知识提供了捷径。

本章说明19世纪物理学引入的热力学熵描述了微观尺度的运动状态的复杂程度。热力学熵是物质的微观状态的复杂程度的代名词。

信息熵好似与物质无关、热力学熵神秘又囚于物理学角偶,当它们都承认自己是复杂程度的某些别称以后,人们很容易明白:我们早就应当为物质的状态的丰富程度定义一个科学名词,复杂程度一词的出现了却了我们长期的等待。而这也使信息熵和热力学熵明确了自己的出身。

 

本章到此就结束了。下一章小结第一篇的内容还要对重要问题再做一些讨论,下一篇讨论关于复杂程度的客观规律。

第八章问题:

1.       解释信息熵公式(8.2),举例说明,为什么说它描述了抽样试验结局的不确定性。

2.       说明信息熵公式(8.2)和复杂程度公式(7.5)的关系。

3.       引入复杂程度的思路与引入不确定性的思路是否相同?是什么样的思路把它们联系到一起的?

4.       举例什么信息熵的可加性。

5.       举例说明复合熵的含义。

6.       在不确定性(信息熵)概念的基础上如何引出了“信息”概念。

7.       简述信息熵和信息的性质。

8.       解释计算信息熵的公式(8.13)。

9.       关于复合熵,有公式(8.12):H(x,y)H(x)+H(y),关于复杂程度,有公式(7.6):CA+B+…CA+CB+… 。对于前者,是否可以说两个变量的复合熵小于等于变量的熵的合计值。对于后者,是否可以说两个广义集合合并以后的复杂程度总是大于等于各个广义集合的复杂程度的合计值?这两个公式是否有矛盾?试解释之。

10.   陈述复杂程度与热力学熵的关系。它对理解热力学熵有什么帮助?

  --第八章结束--

第九章 回第八章首