概述

信息论基础是研究信息量化、存储与通信的数学理论，由克劳德·香农于1948年奠定。它定义了信息熵作为不确定性的度量，并阐述了无损压缩的最大极限（信源编码定理）和可靠通信的极限容量（信道编码定理）。该领域不仅支撑了现代通信系统，还渗透到机器学习、密码学、物理学和生物学等多个交叉学科，堪称理解“数据与意义”的罗塞塔石碑。

1 基本概念

1.1 信息的量化

1.1.1 自信息与不确定性

自信息衡量单个事件发生时所带来的信息量。如果一个事件发生的概率为 \( p \)，其自信息定义为 \( I(x) = -\log_2 p \)（以比特为单位）。概率越小，事件越出乎意料，自信息越大。这种度量直观反映了“不确定性减少”的本质：越罕见的事件，一旦发生，提供的信息越“值钱”。

1.1.2 比特与对数的姻缘

信息论选择以2为底的对数，定义“比特”为信息的基本单位。原因有二：一是二进制系统在物理实现上具有天然优势（开/关、高/低、是/否）；二是对数运算将概率的乘法转化为加法，便于处理独立事件的复合信息。一个公平硬币抛掷结果的信息量恰好为1比特，这绝非巧合。

1.2 熵与平均信息量

1.2.1 离散信源的熵

熵是信源平均不确定性的度量。对于离散随机变量 \( X \) 取值为 \( x_1, x_2, \dots, x_n \)，概率分布为 \( p_i \)，熵定义为 \( H(X) = -\sum_{i} p_i \log_2 p_i \)。熵达到最大值当所有事件等概率时，此时信源的“混乱度”最高；若一个事件概率为1，则熵为0，表示完全确定。

1.2.2 联合熵与条件熵

联合熵 \( H(X,Y) \) 描述两个随机变量共同的不确定性，而条件熵 \( H(YX) \) 表示在已知 \( X \) 的情况下，\( Y \) 还剩余的平均不确定性。链式规则 \( H(X,Y) = H(X) + H(YX) \) 揭示了信息叠加的规律：已知部分信息后，不确定性会相应减少。

1.3 互信息与信息冗余

1.3.1 互信息的定义

互信息 \( I(X;Y) \) 衡量两个变量之间共享的信息量，定义为 \( I(X;Y) = H(X) - H(XY) = H(Y) - H(YX) \)。互信息非负，当且仅当 \( X \) 与 \( Y \) 独立时为零。它像是在说：“知道了 \( Y \)，我对 \( X \) 的疑惑减少了多少？”

1.3.2 信息论中的“共谋”关系

互信息恰似两个变量之间的“共谋”——它们共同拥有多少秘密。如果 \( X \) 和 \( Y \) 完全相关，互信息等于各自的熵；如果它们独立，则互信息为零，彻底“撇清关系”。在通信中，互信息度量了信道输入与输出之间的依存强度，是信道容量计算的基础。

2 信源编码

2.1 无损压缩原理

2.1.1 香农第一定理（信源编码定理）

香农第一定理指出：对于离散无记忆信源，存在一种编码方式，使得平均码长可以任意接近信源熵 \( H \)，但无法小于 \( H \)。该定理为无损压缩设定了理论极限——熵就是“信息的下限”，任何压缩算法都不能突破这一红线。

2.1.2 平均码长与熵的逼近

实际编码中，平均码长 \( \bar{L} \) 满足 \( H \leq \bar{L} < H + 1 \)。通过更精巧的编码（如分组编码），可使得平均码长无限接近熵，但代价是编码复杂度和延迟增加。这就像在“压缩率”和“计算成本”之间走钢丝。

2.2 常见编码方法

2.2.1 香农-范诺编码

香农-范诺编码将符号按概率降序排列，反复分割成概率尽可能相等的两组，并为每组分配0或1。它简单直观，但不能保证最优，平均码长稍大于霍夫曼编码。

2.2.2 霍夫曼编码

霍夫曼编码通过构建二叉树（概率最小的两个节点合并）得到最优前缀码。它保证了在符号独立同分布的情况下平均码长最小，是“贪心算法”的经典杰作。解码时只要按位走树，永远不会歧义。

2.2.3 算术编码的“微操”

算术编码不将每个符号单独编码，而是将整个消息映射到[0,1)区间内的一个实数，通过不断缩小子区间来逼近最终码字。它几乎能完美逼近熵界，尤其适合概率分布不均匀或符号数极大的场景。唯一的代价是计算精度和复杂度较高，堪称压缩界的“微操大师”。

2.3 有损压缩的“取舍哲学”

2.3.1 率失真理论

率失真理论探讨在允许一定失真的前提下，信源编码所需的最小比特率。它定义了率失真函数 \( R(D) \)：在失真不超过 \( D \) 时，能够达到的最小压缩率。这与“鱼与熊掌”的逻辑一样：你愿意牺牲多少精度，就能换取多少压缩率。

2.3.2 图像的熵与颜值

图像压缩领域（如JPEG）大量应用率失真理论。一张照片的“颜值”实际上是像素概率分布与人类视觉系统共同作用的结果：有些细节丢失肉眼无法察觉，有些则导致马赛克灾难。信息论帮助工程师在“熵”与“观感”之间找到甜蜜点。

3 信道编码

3.1 信道模型

3.1.1 二进制对称信道

二进制对称信道（BSC）是最简化的噪声信道模型：输入比特以概率 \( p \) 翻转（0变1或1变0），以概率 \( 1-p \) 正确传输。尽管简单，它抓住了随机错误的核心，是研究基本纠错能力的解剖台。

3.1.2 高斯信道与噪声

加性高斯白噪声（AWGN）信道更贴近实际，噪声服从正态分布，叠加在连续信号上。无线通信、光纤链路等大多数物理信道都近似为高斯信道。噪声的方差越大，信道越“嘈杂”，可靠通信越困难。

3.2 信道容量

3.2.1 香农第二定理（信道编码定理）

香农第二定理表明：对于给定的信道，若信息传输速率 \( R \) 小于信道容量 \( C \)，则存在编码方案使错误概率任意小；若 \( R > C \)，则无论何种编码都无法实现可靠通信。\( C \) 是信道在噪声存在下的“上帝极限”，任何系统都不能超越它。

3.2.2 容量公式的“天花板”

对于AWGN信道，容量公式 \( C = B \log_2(1 + \text{SNR}) \) 赫赫有名，其中 \( B \) 为带宽，SNR为信噪比。它揭示了一个残酷现实：增加带宽或功率虽能提高容量，但受对数增长的制约，投入的边际效益递减。这个“天花板”逼着工程师不断优化调制与编码。

3.3 纠错码初探

3.3.1 线性分组码

线性分组码将 \( k \) 位信息比特映射为 \( n \) 位码字（\( n > k \)），满足线性性质：两个码字的和仍是码字。最常见的如汉明码，可以纠正1位错误。线性结构使其解码可通过矩阵运算高效实现。

3.3.2 卷积码与Turbo码

卷积码利用寄存器将输入比特与历史状态交织，生成连续输出。Turbo码是卷积码的迭代版本，通过并行级联和软译码逼近香农极限，堪称90年代编码界的“黑马”，直接推动了3G/4G通信的发展。

3.3.3 现代巨星：LDPC码

低密度奇偶检验（LDPC）码拥有稀疏校验矩阵，通过置信传播迭代译码，性能极其接近香农极限。它被广泛应用于Wi-Fi、5G、卫星通信和数字电视中。LDPC码的复兴证明：有时候，好想法需要等待几十年才能匹配的计算能力。

4 信息论进阶

4.1 微分熵与连续信源

对于连续随机变量，离散熵公式无法使用（概率密度可趋于无穷），于是引入微分熵 \( h(X) = -\int f(x) \log_2 f(x) dx \)。微分熵可负，且依赖于坐标尺度，但差值与互信息等概念依然有意义。高斯分布的微分熵最大（给定方差），这解释了为什么自然界“爱”高斯噪声。

4.2 最大熵原理

4.2.1 已知约束下的“最诚实”分布

最大熵原理主张：在仅知部分统计约束（如均值、方差）时，应该选择熵最大的概率分布，因为这个分布对未知信息引入了最少偏见。例如，已知均值时，指数分布是最大熵解；已知方差时，高斯分布是最大熵解。

4.2.2 哲学讽刺：最大熵等于“我不知道”

最大熵原理的哲学韵味在于：它强迫你承认自己的无知。你没有证据表明分布还有其他结构，那么最“诚实”的做法就是尽可能均匀（或符合约束下最随机）。讽刺的是，这种“我不知道”的态度，反而在统计推断中产生了最稳健的预测。

4.3 信息论与机器学习

4.3.1 KL散度在分类中的“惩罚”

KL散度（相对熵）衡量两个概率分布 \( P \) 和 \( Q \) 的差异：\( D_{KL}(PQ) = \sum_i P(i) \log \frac{P(i)}{Q(i)} \)。在分类任务中，常用交叉熵损失作为KL散度的变体，训练模型使预测分布 \( Q \) 逼近真实分布 \( P \)。模型一旦“说谎”，KL散度就会“惩罚”它。

4.3.2 互信息在特征选择中当裁判

特征选择时，我们想知道哪个特征对标签贡献最大。互信息 \( I(X;Y) \) 直接评估特征 \( X \) 与标签 \( Y \) 之间的依赖强度。高互信息的特征优先保留，低互信息的弃之如草芥。这种“裁判”方式不依赖于模型假设，天然适用于非线性关系。

5 应用与趣谈

5.1 数据压缩的“魔术”

5.1.1 ZIP与RAR背后的熵

ZIP（使用Deflate算法，结合LZ77和霍夫曼编码）和RAR（专有算法）能将文本或二进制文件压缩至原大小的几分之一。这背后的原理正是信源编码：去冗余、巧编码。如果文件本身的熵已经很低（比如全是重复字符），压缩率会高得惊人；反之，已经高度压缩的图片（如PNG）再压缩几乎无效。

5.1.2 让你秒懂的“梗图”压缩率

一张纯黑图片的熵接近于零，理论上可以压缩成几个字节——但实际文件头可能比内容还大。而一张“表情包”如果包含大量噪点，熵值极高，压缩率就很差。所以那些模糊的“梗图”能传得快，是因为它们本身信息量低（低熵），而不是算法厉害。

5.2 通信革命：从电报到5G

从莫尔斯电报的简单曼彻斯特编码，到现代5G中高谱效率的LDPC码和OFDM调制，信息论始终是指路灯塔。每一次通信标准的跃升，本质上都在逼近香农容量极限。可以说，没有香农，就没有今天的视频通话、在线游戏和微信轰炸。

5.3 信息论的另一面：物理学与黑洞信息悖论

信息论与物理学交叉产生了惊人洞见：黑洞并非只进不出，它会通过霍金辐射蒸发，那么落入黑洞的信息是否永久丢失？这就是“黑洞信息悖论”。一些物理学家认为，信息可能在黑洞表面以微妙方式编码（全息原理），信息守恒律似乎不容违背。信息论成了探索宇宙终极定律的瑞士军刀。

5.4 彩蛋：香农的“终极机器”与吃硬币的狗

克劳德·香农不仅是一位理论家，也是动手达人。他发明了“终极机器”——一个盒子，只有一个开关，打开开关后，盒子会伸出一只机械手把开关关掉，然后缩回去。这台机器完美诠释了“不做比做更有意义”的哲学。他还造过一只吃硬币的金属狗，名为“Theseus”，可以自动走迷宫。这些搞怪发明提醒我们：信息论之父其实是个玩心很重的工程师。