1 核心概念

1.1 信息与不确定性

1.1.1 信息量的直观定义

信息量是对“意外程度”的度量。如果某个事件的发生概率很低，那么它发生时所携带的信息量就很大；反之，如果事件几乎必然发生，那么其信息量近乎为零。例如，“太阳从东边升起”几乎不带来信息，而“明天太阳系出现一颗新行星”则信息量爆棚。这种直觉经过数学化后，便成为香农信息论的基石。

1.1.2 自信息（Self-information）

对于一个离散随机事件 \(x\)，其发生概率为 \(p(x)\)，则自信息定义为： \[ I(x) = -\log_b p(x) \] 其中底数 \(b\) 决定了信息量的单位。当 \(b=2\) 时，单位为比特（bit）；当 \(b=e\) 时，单位为纳特（nat）；当 \(b=10\) 时，单位为哈特（hart）。自信息越大，表示事件越“出人意料”，这也解释了为何“某彩票中头奖”的信息量远大于“今天又吃米饭”。

1.2 熵（Entropy）

1.2.1 离散随机变量的熵

熵是随机变量不确定性的全局度量。对于一个取值为 \(x_1, x_2, \dots, x_n\) 的离散随机变量 \(X\)，其熵定义为自信息的期望： \[ H(X) = -\sum_{i=1}^n p(x_i) \log p(x_i) \] 熵本质上是“平均惊奇程度”。如果某个概率分布极度偏向一个事件（比如某枚硬币总是正面），熵接近0；如果所有事件等概（比如公平硬币），熵达到最大值。因此，熵也常被视为信息含量的度量——一个系统的混乱程度越高，你需要越多的比特来描述它。

1.2.2 联合熵与条件熵

联合熵 \(H(X,Y)\) 描述两个随机变量共同的不确定性，定义为： \[ H(X,Y) = -\sum_{x,y} p(x,y) \log p(x,y) \]

条件熵 \(H(YX)\) 表示已知 \(X\) 后 \(Y\) 剩余的不确定性：

\[

H(YX) = \sum_x p(x) H(YX=x) = -\sum_{x,y} p(x,y) \log p(yx)

\] 直观上，如果你已经知道一个人的年龄（\(X\)），那么猜他的身高（\(Y\)）的不确定性可能会降低，但仍有一些剩余的不确定性，那就是条件熵。

1.2.3 相对熵（KL散度）与互信息

相对熵（Kullback-Leibler散度）度量两个概率分布 \(P\) 和 \(Q\) 之间的“距离”（并非真正的对称距离）： \[

D_{KL}(P \| Q) = \sum_x p(x) \log \frac{p(x)}{q(x)}

\] 它衡量的是用 \(Q\) 来近似 \(P\) 时多出的信息量（或“损失”）。如果 \(P=Q\)，KL散度为0；否则为正。注意它不对称，因此不能直接作为度量空间中的距离。

互信息 \(I(X;Y)\) 则刻画两个变量的相互依赖程度： \[

I(X;Y) = H(X) - H(XY) = H(Y) - H(YX) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}

\] 互信息表示知道其中一个变量能给另一个变量带来多少信息量的减少。如果 \(X\) 和 \(Y\) 独立，互信息为0；如果它们完全相关，互信息等于各自熵的最小值。

2 信源与编码

2.1 信源模型

2.1.1 离散无记忆信源（DMS）

离散无记忆信源是最简单的信源模型，它每次输出一个符号，且各个符号间独立同分布（i.i.d.）。比如，一个只输出“0”和“1”的公平硬币，每次投掷结果相互独立。DMS的熵就是单符号的熵，因为记忆缺失导致重复。

2.1.2 马尔可夫信源

马尔可夫信源具有一定的“记忆”，即当前输出的符号与之前有限个符号有关。例如，一段英语文本中字母的出现概率并非独立——出现“q”后几乎必然跟着“u”。这类信源可以用状态转移概率描述，其熵率（平均每符号的熵）通常小于假设独立时的单符号熵，因为利用相关性可减少不确定性。

2.2 无失真信源编码与信源编码定理

2.2.1 变长编码与前缀码

无失真编码的目标是将信源符号序列压缩成比特流，且能完全恢复原序列。变长编码给出现概率高的符号分配短码字，概率低的分配长码字，以减少平均码长。前缀码（也称即时码）保证任何一个码字都不是另一个码字的前缀，从而无需分隔符即可解码。例如，霍夫曼编码就是一个经典的前缀码构造。

2.2.2 霍夫曼编码

霍夫曼编码是最优的变长前缀码，其算法如下：将符号按照概率从低到高排序，反复将两个最小概率的符号合并，直到只剩下一个节点，然后从根节点到叶子反向分配码字。这样得到的平均码长最小化（在给定的符号概率下）。有趣的是，霍夫曼编码的发明者David Huffman在完成该作业后，险些因这份作业而被导师认为“作弊”——因为答案太完美了。

2.2.3 香农第一定理（无失真信源编码定理）

香农第一定理（又称无失真信源编码定理）指出：对于离散无记忆信源，其熵 \(H\) 是无失真编码平均码长的下界。也就是说，存在一种编码使得平均码长任意接近 \(H\)，但不可能小于 \(H\)（在整数码长约束下）。这为数据压缩提供了理论极限——你无法将信息压缩到低于其熵的比特数，否则必然丢失信息。

3 信道与容量

3.1 信道模型

3.1.1 离散无记忆信道（DMC）

DMC将输入符号 \(x\) 通过概率转移矩阵 \(p(yx)\) 映射到输出 \(y\)，且当前输出只依赖于当前输入，与之前的历史无关。这等价于信道的“无记忆”性质。

3.1.2 二进制对称信道（BSC）与二进制擦除信道（BEC）

  • BSC：输入和输出都是二进制（0或1），每个比特以概率 \(p\) 翻转（0→1，1→0），以概率 \(1-p\) 正确传输。BSC是研究信道编码的基本模型。
  • BEC：输入为0或1，输出为0、1或“擦除”（通常用?表示）。比特以概率 \(1-\epsilon\) 正确传输，以概率 \(\epsilon\) 被擦除（丢失为?）。BEC常用来分析里德-所罗门码或LDPC码的性能。

3.2 信道容量

3.2.1 容量的定义与计算

信道容量 \(C\) 定义为在输入分布上最大化互信息 \(I(X;Y)\) 的最大值： \[ C = \max_{p(x)} I(X;Y) \] 它表示在该信道上能够可靠传输的最大信息速率（比特/信道使用）。对于BSC，容量为 \(1 - H_b(p)\)，其中 \(H_b(p) = -p\log p - (1-p)\log(1-p)\)；对于BEC，容量为 \(1 - \epsilon\)。

3.2.2 香农第二定理（有噪信道编码定理）

香农第二定理堪称“通信界的宪法”：只要传输速率 \(R\) 小于信道容量 \(C\)，就存在一种编码使得错误率任意小（趋于0）；反之，如果 \(R > C\)，那么无论采用何种编码，错误率都无法逼近0。这一结论给出了通信系统性能的理论上界，也解释了为何一根铜线能在理论上无限逼近其信道容量，但永远无法超越。

3.2.3 纠错码的直观引入（分组码与卷积码）

由于真实信道总有噪声，香农第二定理证明了存在纠错码能在速率接近容量时实现任意低的错误率。分组码将信息比特分成固定长度的块，每块添加冗余校验比特；卷积码则利用移位寄存器持续输出编码比特，具有记忆性。这些码字的工作方式类似于“给信息穿上防弹衣”，牺牲部分速率来换取可靠性。现代通信中广泛使用的LDPC码和Turbo码已接近香农极限，堪称“几乎完美的防弹背心”。

4 连续信源与高斯信道

4.1 连续随机变量的熵（微分熵）

对于连续随机变量 \(X\)，其概率密度函数为 \(f(x)\)，微分熵定义为： \[ h(X) = -\int_{-\infty}^{\infty} f(x) \log f(x) \, dx \] 注意，微分熵可以是负值（例如，当分布非常集中时），这与离散熵不同。它不具有绝对的信息度量意义，但在相对比较和互信息计算中依然有用。

4.2 高斯信道与容量公式

4.2.1 加性高斯白噪声（AWGN）信道

AWGN信道是最常见的连续信道模型：输出 \(Y = X + N\)，其中 \(N\) 是均值为0、方差为 \(\sigma^2\) 的高斯噪声。由于噪声叠加，输入信号受到干扰，但香农妙笔生花地给出了其容量公式。

4.2.2 香农-哈特利定理

对于带宽为 \(B\)（Hz）、平均发射功率受限为 \(P\)（瓦）、噪声功率谱密度为 \(N_0\)（瓦/Hz）的AWGN信道，信道容量（比特/秒）为： \[ C = B \log_2 \left(1 + \frac{P}{N_0 B}\right) \] 这个公式被称为香农-哈特利定理，它揭示了提高容量两条路：增加带宽或提高信噪比（\(P/N_0B\)）。然而，当带宽趋近无穷时，容量并非无限，而是趋向于 \((P/N_0) \log_2 e\)，因为带宽增加的同时噪声功率也随之增大。这给那些想用无限带宽实现无限网速的幻想浇了一盆冷水——您还是先跟热力学第二定律商量一下吧。

5 信息论的应用与延伸

5.1 数据压缩（无损与有损）

无损压缩（如ZIP、PNG）基于信源编码定理，在确保完全恢复的前提下尽量接近熵。有损压缩（如JPEG、MP3）则允许一定失真，其理论由率失真（Rate-Distortion）理论刻画——即给定失真上限时所需的最小速率。香农的理论为这些算法提供了性能基准，而实际编码器（如霍夫曼、算术编码）则努力去够到这个基准。

5.2 通信系统性能极限

信道容量公式指导着调制方式、编码方案和功率分配的设计。从4G到5G，从Wi-Fi到卫星通信，工程师们始终在“逼近香农极限”的路上狂奔。虽然现代工程已能实现容量90%以上的通信速率，但剩余10%的差距仍让研究人员夜不能寐。

5.3 信息论与概率、统计的关系

信息论本质上是从信息角度重述概率论和统计推断。例如，极大似然估计与最小KL散度等价；贝叶斯推断也可用互信息作为正则化项；Fisher信息量在信息论中也有对应版本。因此，信息论常被调侃为“概率论的内卷版”——把概率写成了对数。

5.4 信息论在机器学习中的简要提及（如变分自编码器中的KL散度）

在机器学习中，KL散度无处不在：变分自编码器（VAE）的损失函数包含编码器输出分布 \(q(zx)\) 与先验分布 \(p(z)\) 之间的KL散度；在生成对抗网络（GAN）中，JS散度（基于KL散度的对称版本）衡量生成分布与真实分布的差异。此外，互信息也用于特征选择、表征学习（如Infomax原则）。香农若活在今天，看到自己的理论被用来生成猫片和写诗，或许会欣慰地修改一句：“信息，就是用来消除……以及创造新的意外。”