我对熵的认识进程之一

horizontal rule

2008-4-20 张学文

我1957年从大学毕业就到气象台当了20多年的气象预报员。天气的难以预报,曾经让我学习、探索过各样的理论。“熵”就是在这个探索中的重要着力点。从1968到2004,我对熵的思考、探索是我的学术思考的主轴线。我写的书,记录了我探索熵概念、熵原理、熵的应用以至我对这个认识体系的改进。

 学不懂的热力学熵和容易理解的信息熵

 中学时代我喜欢物理学、曾经立志要学懂最深的物理知识。进了北京大学物理学的气象专业,曾经在不同的课程了学到“熵”、热力学第二定律。我学习努力,但是我始终不能理解什么是熵。毕业时我曾经对自己说,由于难把握,以后工作中我要对熵敬而远之。我的另外一个失败是概率论学习。1957年我带着回避“熵”遗憾,糊涂的概率论知识离开了大学。

1964年我有幸读到林学院编写的一本关于概率的教科书,它通俗易懂,使我对概率、概率分布、统计检验这些概念的理解加深了很多。我喜欢上了概率论与统计,认为它可以帮助气象预报问题。如何把概率知识与气象预报结合起来是我热心考虑的问题。

1968年文化大革命在继续,可我读了苏联学者雅格洛姆写的《概率与信息》,这个中级读物。它使我沿着概率的思路认识到信息论里面的信息熵是什么。我发现只要你对概率以及概率分布的概念把握住了,针对某具体的概率分布,你就可以计算出来一个“数”,这个数在信息论里被称为信息熵

例如一枚硬币掉到桌子上,正、反面的出现概率分别是 0.5,0.5,那么这个试验的结局的不确定性,即信息熵,就=-0.5log0.5-0.5log0.5。如果这里的对数是以2为底的,那么计算数值就是1比特。它就是掷一次硬币的结局的不确定性(信息熵)的值(这个知识后来与计算机领域的内存大小等信息计算是连贯的)。

如果面对一个概率分布是高斯正态分布,信息论告诉我们其熵=ln(标准差)+(一个常数)。从服从正态分布的总体中抽一个个体,其结局的不确定性就用这个公式计算。

类似地,对于每个常见的概率分布函数,都可以得到对应的熵值(是统计参数的函数)。于是只要你准确的认识概率分布,信息论里含义为抽样试验结局的不确定性的信息熵的值也就知道了。

以上就是我从概率-信息论的角度认识熵的过程。我感到这种信息熵比热力学熵好理解

在这个认识下我通过自学,结合天气和气候问题写成了《气象预报问题的信息分析》一书。该阶段我认识到对资料(含有信息)的任何“变换”不能提高它含有的信息量,搞不好还损失。我认识到过去的某些所谓长期气候预报的做法,几乎是自欺欺人。从信息论角度可以得到很多对“预告”问题的信息论限制。变换不能提高信息量与永动机不存在、物质不灭几乎是三角对称的公理。

 

本文引用地址:http://www.sciencenet.cn/blog/user_content.aspx?id=22323