熵与信息论

熵的概念起初来自热力学。热力学认为热量的转换应遵守能量守恒定律(热力学第一
定律)。热力学还认为热量只能从高温端流向低温端，而不可能自动地从低温端流向
高温端(热量转换方向，“热力学时间”，它不同于“牛顿时间”，还有“Bergson 
时间”)。熵就是用来描述热量转换方向。(转换)热量Q与(绝对)温度T的商称为熵S。
克劳修斯提出熵的定义

(1)  Delta S = integration ( dQ/T )                ( Clausious entropy)

在理想的可逆系统中，因为输入热量和输出热量相等，所以熵 = 0。在封闭(绝热)的
不可逆系统中，因为热量只能从高温T1流向低温T2，所以熵S = Q/T2 - Q/T1 > 0。

所以在不可逆系统中，熵总是增加，直至最大值(热力学第二定律)。
熵达到最大值，系统没有温差，系统处于“热寂”状态(热寂问题)。系统有温差，
表明“有序”；没有温差，表明“无序”。从这个角度来看，熵增加的过程是有序
向无序的过程。
玻尔兹曼提出熵的另一公式

(2) S= kb *ln W      ( Boltzmann entropy )

kb  是波兹曼常数， ln 是自然对数， W 是微观状态数量。

吉布斯给出(2)另一表达式

(3) S =  -kb Sigma ( Pi ln Pi )    ( Gibbs entropy)

Pi 是概率，Sigma ( Pi ) = 1

式(3) 将熵与(分子)微观状态的概率联系在一起。
设想有两个房间有门连通，开始时门是关着。在一边房间有四个气体分子(四亿个也
同样考虑)
然后把门打开

           | m1 m2 m3 m4 |                          |
-----------------------------------------------------------
           | m4 m2                     m3   m1      |
-----------------------------  -----------------------------
                                     |

这时分子随机运动，有序--> 无序，概率组合：1 4 6 4 1，最大概率是6， 这时 
每个房间有两个分子。
冯纽曼提出量子力学熵

(4)  S = -Tr(p ln p)           ( von Neumann entropy)

p 是体系的密度矩阵。

此外还有黑洞熵

(5)  S = (c^3/4hG) A          ( Black holes entropy )

参考书：Paul Sen, "Einstein's Fridge"

信息论中的信息 I ( p ) ，( p 是事件发生的概率) 有下列特性：

 I ( 1 ) = 0
 I ( p ) = - log b(p) = log b(1/p)     b 是基

比如，掷 一次公平的硬币，我们得到

I ( 1/2 ) = - log2 (1/2) = 1  bit 信息  (不管是“HEAD”或“TAIL”)

如果 ,   掷 n 次公平的硬币

I ( (1/2)^n ) = log2 (2^n) = n*log2 (2) = n bits

 我们得到 n bits .

仿照(3)，香农在信息论中引进信息熵的概念

(6)   H = E[I (P)] = Sigma ( Pi ln Pi )       ( Shannon entropy)

  E( ) 是期望函数, 熵H是平均信息量.

假设一个随机变量X，取三种可能值x1, x2, x3, 概率分别为
1/2, 1/4, 1/4, 那么编码平均比特长度是：(1/2)*1 + (1/4)*2 + (1/4)*2 = 3/2 

其熵为3/2。
因此熵实际是对随机变量的比特量和顺次发生概率相乘再总和的数学期望。

 

信息熵表示信息的确定性(有序性)。比如，一信息由两个事件组成，事件的概率分
别为1/200 和 199/200。可以计算，这个信息的信息熵很小，即概率为199/200的事
件很大可能发生在收到的信息中。如果上述信息的事件的概率分别为1/2 和 1/2，
这时信息的信息熵达到最大值，我们很难判断哪个事件可能发生在收到的信息中(信
息的无序性)。

熵的概念也被用于社会科学中。在社会科学中，熵的概念的应用有时有令人混淆之
处。人们用“正熵”来表示“不能再被利用的热量”，这时是热力学熵的概念。从
这个角度来看，人类所有的活动都使熵增加。但是人们有时用熵来表示有序性，这
时人类社会的组织化，秩序化都使熵减少。将热寂问题无条件地推广也是不正确的。
上世纪60年代，普列高津等人发展的“耗散结构”理论就揭示：在远离平衡的开放
系统存在熵减现象(无序向有序现象)。耗散结构理论成功地解释了激光生成，台风
形成，以及自组织，生物进化等过程。星系的形成也是无序向有序的现象(由于引力
的作用)。

Book:  George Gilder, "Knowledge and Power: The Information Theory of Capitalism and How it is Revolutionizing our World". 该书介绍“非均衡态经济学”。主要的观点是：创新 －》增加供给方面无序度（熵增）－》 经济发展。
 

在计算机科学中，有一类复杂性问题称为算法复杂性(KOLMOGOROV复杂性)。算法复
杂性认为纯随机数是不能压缩，只能用等长随机数来表示。算法复杂性引进算法熵
概念，即生成序列(信息)的最短程序的长度为该序列(信息)的算法熵。因此纯随机
数有最大的算法熵(无序性)。比如，一序列有M个重复的00101，下列程序可以生成
该序列：

for i = 1 to m print 00101

程序的长度是18+LOG(M) (用ASCII码，这里LOG是对数)，而序列的长度是5M。程序
长度(算法熵)与序列长度之比：

(18+log(m))/5m

随着M的增加而趋向零。这表明随着序列变长，随机性变小。上面只是不严格地说明
算法熵概念。严格地说明算法熵概念要用到图灵机理论。