1 历史与发展

1.1 香农与信息论的诞生

信息论的正式诞生以1948年克劳德·香农在《贝尔系统技术杂志》上发表的论文《通信的数学理论》为标志。在这篇开创性著作中，香农首次用严格的数学语言定义了“信息”这一概念，将其从日常语义中剥离，转化为可量化的度量——比特（bit）。他证明，无论通信系统的技术细节如何，信息的传输都存在一个不可逾越的极限速率，即信道容量。这一成果被公认为通信工程领域的分水岭，香农本人也因此被誉为“信息论之父”。

1.2 早期发展：从哈特莱到维纳

在香农之前，已有学者为信息论铺平了道路。1928年，拉尔夫·哈特莱在《信息传输》一文中提出，信息量可以用可能消息数量的对数来衡量，并首次将“信息”与“不确定性”联系起来。几乎同时期，诺伯特·维纳在研究控制论和滤波理论时，也独立提出了类似的信息度量思路。然而，哈特莱的工作忽略了消息的概率分布，维纳的框架则更侧重于连续信号的处理。香农的天才之处在于，他将这些零散的思想统一为一个完整的数学体系，并引入熵作为不确定性的核心度量。

1.3 现代扩展：网络信息论与量子信息论

自香农之后，信息论经历了多次重大扩展。20世纪70年代，网络信息论兴起，研究多个发送端和接收端之间的通信（如多址信道、广播信道等）。与此同时，量子信息论在20世纪90年代开始成型，它研究利用量子力学效应（如量子叠加和纠缠）来传输和处理信息，催生了量子密钥分发和量子通信等应用。这些分支至今仍在快速发展，不断拓宽信息论的边界。

2 基本度量

2.1 信息熵

信息熵是信息论中最核心的度量，它量化了一个随机变量的不确定性。熵越大，表示该变量可能取值的混乱程度越高，平均而言需要更多信息才能确定其具体结果。

2.1.1 离散熵

对于一个离散随机变量 \(X\)，其取值集合为 \(\{x_1, x_2, \dots, x_n\}\)，对应概率分布 \(p_i = P(X=x_i)\)，香农定义其熵为： \[ H(X) = -\sum_{i=1}^n p_i \log_2 p_i \] 单位是比特（bit）。例如，一枚公平硬币的熵为1比特，因为每次抛掷结果的不确定性恰好为1个二进制问题；而一个确定事件（如太阳从东边升起）的熵为0。

2.1.2 联合熵与条件熵

联合熵 \(H(X,Y)\) 描述一对随机变量 \(X\) 和 \(Y\) 的总不确定性，其定义基于联合概率分布。条件熵 \(H(YX)\) 则表示已知 \(X\) 的前提下，\(Y\) 剩余的不确定性。二者满足链式法则：

\[

H(X,Y) = H(X) + H(YX)

\] 这一关系直观地说明了：要描述两个变量，你可以先描述其中一个，再在已知它的条件下描述另一个。

2.1.3 相对熵（KL散度）

相对熵，也称为Kullback-Leibler散度（KL散度），度量两个概率分布 \(P\) 和 \(Q\) 之间的“距离”。对于离散分布，其定义为： \[

D_{KL}(P \| Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}

\] 它并非真正的距离（不满足对称性和三角不等式），但常用于衡量用分布 \(Q\) 近似分布 \(P\) 时的信息损失。KL散度恒为非负，当且仅当 \(P=Q\) 时为零。

2.2 互信息

互信息 \(I(X;Y)\) 度量一个随机变量 \(X\) 中关于另一个随机变量 \(Y\) 的信息量，即通过观测 \(Y\) 能够减少多少对 \(X\) 的不确定性。其定义为： \[

I(X;Y) = H(X) - H(XY) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}

\] 互信息是对称的，且始终非负。当 \(X\) 和 \(Y\) 独立时，互信息为零；当二者完全相关时，互信息等于 \(X\) 的熵。它在特征选择、聚类分析和通信系统设计中扮演着关键角色。

2.3 微分熵与连续变量

对于连续随机变量，离散熵的定义不再适用，因为概率密度函数（而非概率质量）的求和会发散。香农类比离散熵，定义了微分熵： \[ h(X) = -\int_{-\infty}^{\infty} f(x) \log f(x) \, dx \] 其中 \(f(x)\) 是概率密度函数。微分熵具有与离散熵类似的性质（如链式法则），但也有一些独特之处，例如它可以是负数——这意味着连续变量的不确定性在某些情况下可以“小于”1比特。常用的连续分布，如高斯分布的微分熵，在信道容量分析中有重要应用。

3 信道与信道容量

3.1 信道模型分类

信道是信息从发送端传输到接收端的媒介，其特性决定了信息传输的极限。不同信道模型对应不同的物理场景。

3.1.1 离散无记忆信道

离散无记忆信道（DMC）是信息论中最基本的信道模型。它假设输入和输出符号取自有限集合，且当前输出仅依赖于当前输入，与之前的传输无关（无记忆）。典型例子是二进制对称信道（BSC），它以概率 \(p\) 翻转输入的比特。对于DMC，信道容量是其输入分布与转移概率矩阵的函数，可以通过最大化互信息得到。

3.1.2 高斯信道

高斯信道是连续信道的经典模型，适用于加性白高斯噪声（AWGN）环境。输入信号受到均值为零、功率谱密度为 \(N_0\) 的高斯噪声干扰。若信号平均功率受限于 \(P\)，则该信道的容量公式为： \[ C = \frac{1}{2} \log\left(1 + \frac{P}{N_0 B}\right) \] 其中 \(B\) 是带宽。这一公式（香农-哈特莱定理）直观地展示了信道容量与信噪比（SNR）的对数关系，是现代通信系统设计的基础。

3.1.3 信道相关性与记忆

实际信道往往存在记忆性，即当前输出可能依赖于之前的输入或状态。例如，衰落信道中，相邻时段的信号幅度具有相关性；在磁记录信道中，符号间干扰（ISI）是典型的记忆效应。处理这类信道通常需要引入状态变量（如隐马尔可夫模型），其容量计算也更为复杂，常涉及动态规划或水填充算法。

3.2 有噪信道编码定理

有噪信道编码定理（也称为香农第二定理）是信息论的核心成果之一。它断言：对于任意离散无记忆信道，只要信息传输速率 \(R\) 小于信道容量 \(C\)，就存在一种编码方案，使得错误概率可以任意小；反之，若 \(R > C\)，则无论采用何种先进编码，错误概率都将趋于1。这一定理给出了可靠通信的理论极限，并激励了编码领域对“逼近容量”的追求。更有趣的是，定理的证明是非构造性的——它只告诉你可以做到，但不告诉你怎么做。

3.3 反馈信道与容量

在实际通信中，接收端有时可以通过反馈链路将信息（如确认信号或信道状态）传回发送端。香农定理指出，对于离散无记忆信道，反馈不会增加前向信道的容量（即容量不变），但可以显著降低编码的复杂度。然而，对于有记忆信道或多用户信道，反馈确实能提升容量。例如，在“忙则重发”的重传协议中，反馈使得发送端能够自适应地调整传输策略。

4 信源编码与数据压缩

4.1 无损压缩

无损压缩的目标是在不丢失任何信息的条件下，将原始数据转换为更短的表示。其理论依据是：一个离散信源的最小可能平均码长不能小于信源的熵。

4.1.1 霍夫曼编码

霍夫曼编码由戴维·霍夫曼在1952年提出，是一种基于字符出现频率的最优前缀码。它通过构建一棵二叉树来实现：将频率最低的两个符号合并，重复这一过程直到剩下一个节点，然后为每个符号分配从根到叶的路径编码。霍夫曼编码的优点是实现简单，且对已知概率分布的信源能达到接近熵的最优压缩率。缺点是对分布变化不敏感，且每次需重新构建树。

4.1.2 算术编码

算术编码比霍夫曼编码更接近香农极限。它将整个消息映射到[0,1)区间内的一个实数，通过逐步缩小区间来表示符号序列。例如，对于符号“A”“B”“C”组成的三字符序列，算术编码会将其压缩成一个远短于霍夫曼编码的浮点数。它尤其适合处理符号概率非2的幂次的情形，但计算精度和实现复杂度也相应增加。

4.1.3 Lempel-Ziv算法

Lempel-Ziv（LZ）系列算法（如LZ77、LZ78）是现代文件压缩（如ZIP、GIF）的基础。其核心思想是：利用已出现过的数据片段作为字典，用指向字典中“短语”的指针来替换重复出现的字符串。例如，“the quick brown fox”中的“the”若之前出现过，则只需记录其起始位置和长度。LZ算法不需要预先知道符号概率，因此非常适合处理未知统计特性的数据。

4.2 有损压缩与率失真理论

有损压缩允许一定程度的失真以换取更低的码率，广泛应用于图像（JPEG）、音频（MP3）、视频（H.264）等领域。率失真理论为这类应用提供了理论边界。

4.2.1 率失真函数

率失真函数 \(R(D)\) 定义：在给定的失真度量（如均方误差）和允许的最大失真 \(D\) 下，表示信源所需的最小比特率。香农的率失真定理指出，存在编码方案使得速率任意接近 \(R(D)\) 且失真不超过 \(D\)，反之不可能。例如，对于均方误差准则下的高斯信源，\(R(D) = \frac{1}{2} \log(\sigma^2 / D)\)，其中\(\sigma^2\) 是方差。这告诉我们：允许的失真越大，所需比特率越小——天下没有免费的压缩午餐。

4.2.2 标量量化与向量量化

量化是将连续值映射到有限个离散值的过程。标量量化（如均匀量化）对每个样本独立处理，简单但容易陷入噪声和失真的两难。向量量化（VQ）则一次处理一组样本，利用向量之间的结构信息实现更高效的压缩——有点像在一堆照片中找出“最像”的那张原型。不过，向量量化的码本训练和搜索复杂度较高，在大规模应用中常被更高效的方法（如深度学习生成的编解码器）取代。

5 信道编码

5.1 线性分组码

线性分组码是信道编码的基石，它将每 \(k\) 个信息比特映射成一个 \(n\) 比特的码字（\(n>k\)），且映射是线性的。线性性质使得编码和解码都可以通过矩阵运算实现，大大简化了工程实施。

5.1.1 汉明码

汉明码由理查德·汉明于1950年发明，是最早的纠错码之一。它是一种可以纠正1比特错误、检测2比特错误的线性分组码，例如(7,4)汉明码用3个校验位保护4个信息位。它的原理很简单：将校验位插入特定位置，使得任何单比特错误都会导致校验方程的一组唯一结果（称为“校正子”）。汉明码在早期计算机内存和通信系统中得到了广泛应用，至今仍是教学中的经典案例。

5.1.2 里德-所罗门码

里德-所罗门码（RS码）是一种非二进制纠错码，特别擅长纠正突发错误（如光盘上的划痕）。它将数据视为有限域中的元素，通过多项式插值构造码字。例如，在CD、DVD和航天通信中，RS码常被用于保护数据免受连续错误的影响。它的纠错能力与校验符号的数量成正比，但要牺牲部分信息速率。

5.2 卷积码与维特比算法

卷积码不同于分组码，它引入了记忆：当前输出不仅取决于当前输入，还取决于之前若干时刻的输入。这种结构使得卷积码可以用一个“状态机”表示，而解码任务相当于在可能的状态序列中找到最可能的那一条路径。维特比算法（1967年）正是为此设计的一种动态规划方法，它能在高噪声环境下高效地找到最大似然路径。卷积码在深空通信（如旅行者号）和无线标准（如GSM）中曾扮演关键角色。

5.3 现代编码

现代编码的使命是“逼近”香农极限——在特定信噪比下达到理论上的信道容量。

5.3.1 Turbo码

Turbo码于1993年由克劳德·贝如等提出，它通过两个或多个卷积码的并行或串联组合，结合迭代译码（类似“交换意见”）来逼近香农极限。Turbo码的发明被认为是一次革命，它使得在接近信道容量的速率下实现低误码率成为可能。第三代移动通信（3G）和某些卫星系统至今仍在使用Turbo码。

5.3.2 LDPC码

低密度奇偶校验码（LDPC码）最早由罗伯特·加拉格于1963年提出，但因当时计算能力有限而被遗忘。直到20世纪90年代末，它被重新发现并证明同样能逼近香农极限。LDPC码的校验矩阵非常稀疏（大部分元素为0），这使得迭代消息传递算法能够快速收敛。它已成为现代通信标准（如Wi-Fi、5G、DVB-S2）的首选编码方案。

5.3.3 极化码

极化码由埃达尔·阿里坎于2008年提出，是首个被严格证明能达到香农极限的编码方案。它的核心思想是通过“极化”操作，将信道分成“好”（可靠）和“坏”（不可靠）两个极端，然后只在好信道上传输信息。极化码的构造和编码复杂度较低，且支持灵活的码长调整，已被选为5G控制信道的编码方案。

6 信息论的应用

6.1 通信系统设计

信息论为通信系统的总体架构提供了理论指导。例如，根据信道容量公式，工程师可以估算在给定信噪比和带宽下系统能支持的最大数据速率，从而选择合适的技术（如QAM调制、OFDM）。同时，信源编码和信道编码的设计也直接受益于信息论框架——先通过压缩去掉冗余，再通过纠错码引入可控冗余以抵抗噪声。从手机通信到卫星链路，信息论的身影无处不在。

6.2 密码学与安全

信息论与密码学有着天然的交叉。香农在1949年的论文《保密系统的通信理论》中提出了“完善保密性”的概念：若密钥长度至少等于消息长度且只使用一次（一次一密），那么密文与明文的互信息为零，即密文不泄露任何关于明文的信息。这一理论保证了理论上绝对安全的加密，但实际受限于密钥分发问题。此外，信息论还用于分析密码系统的安全强度，如通过计算密钥熵来评估穷举攻击的难度。

6.3 机器学习中的信息论方法

机器学习领域大量借用信息论的概念来设计目标函数，衡量模型表现。

6.3.1 最大互信息准则

最大互信息（MMI）准则的目标是使模型输出与目标之间的互信息最大化。例如，在聚类或降维中，我们希望提取的特征 \(Z\) 能最大程度地保留输入 \(X\) 与输出 \(Y\) 之间的依赖关系。这通常通过最小化条件熵 \(H(YZ)\) 或最大化 \(I(Z;Y)\) 来实现。信息论还帮助解释过拟合：当一个模型记忆了训练数据中的噪声（高互信息、低泛化）时，它实质上在压缩错误的模式。

6.3.2 信息瓶颈法

信息瓶颈法由尼桑·斯洛尼姆等提出，它试图在压缩输入 \(X\) 和保留与输出 \(Y\) 的相关性之间取得平衡。具体目标是最小化 \(I(X;Z) - \beta I(Z;Y)\)，其中 \(\beta\) 是权衡参数。当 \(\beta\) 很小时，模型倾向于丢弃信息（表现得更“懒惰”）；当 \(\beta\) 很大时，模型会保留更多细节以预测 \(Y\)。这一方法已被成功应用于深度理解神经网络中的表示学习。

6.4 生物信息学与神经科学

在生物信息学中，互信息被用于分析基因调控网络：如果两个基因的表达水平具有高互信息，则它们可能参与同一生物过程。在神经科学中，信息论帮助量化神经元放电序列中的信息容量——例如，一个神经元每秒能传递多少比特的视觉信息。香农的框架还为感觉系统的“最优化”假说提供了工具：感官器官的编码似乎是经过自然选择，尽可能多地保留关于环境的信息，同时减少冗余和噪声。

7 相关分支与前沿

7.1 算法信息论

算法信息论将香农的统计信息概念拓展到算法和计算领域，关注的是“信息”的算法生成与复杂度。

7.1.1 柯尔莫哥洛夫复杂度

柯尔莫哥洛夫复杂度（Kolmogorov complexity）量化了一个对象（如字符串）的“内在复杂性”，定义为能生成该对象的最短计算机程序长度。例如，字符串“0101010101”可以用一个非常短的循环程序生成，因而复杂度低；而“2918483748”可能看似随机，复杂度接近其本身长度。这一概念与算法随机性紧密相关，但问题是柯尔莫哥洛夫复杂度通常不可计算。

7.1.2 最小描述长度原理

最小描述长度（MDL）原理由约尔马·里萨宁提出，它是一种模型选择准则：在给定数据时，应选择使“模型描述长度”与“数据在模型下的编码长度”之和最小的模型。MDL在统计学和机器学习中得到了广泛应用，比如在决策树剪枝、聚类数量选择等任务中，都能找到它的影子。

7.2 量子信息论

量子信息论是经典信息论在量子力学框架下的推广。它不仅关注经典信息的量子化表示（如编码在量子比特上），还涉及量子纠缠、量子隐形传态等全新现象。其中最著名的成果之一是“量子无克隆定理”：不可能完美复制一个未知的量子态，这为量子密码学提供了理论基础。量子信道容量（如霍列沃极限）的发现说明，量子系统可以比经典系统更高效地传输信息。

7.3 网络信息论

网络信息论研究由多个信源、信道和信宿组成的复杂通信网络中信息的流动与局限。

7.3.1 多用户信道

多用户信道包括多址信道（多个用户同时向一个接收端发送）、广播信道（一个发送端向多个接收端广播）、干扰信道（发送端之间的信号相互干扰）等。以多址信道为例，每个用户的目标是最大化自己的速率，但总速率受到信道容量的约束——这有点像一群人在一间屋子里同时说话，每个人都想被听清，但总声压有限。对多用户信道容量的研究，正在推动5G/6G中大规模MIMO和随机接入技术的发展。

7.3.2 中继与干扰信道

中继信道指的是发送端通过一个或多个中继节点将信息传送到接收端，类似于接力赛。中继的容量问题比单跳信道复杂得多，主要因为中继可以同时接收和发送。干扰信道则描述发送端之间直接相互干扰的场景，其容量的确切界限至今仍是开放问题。近年来，“和积算法”和“干扰对齐”等技术在网络信息论研究取得了重要突破，使这类看似混乱的信道变得可控。