1 基本定义
香农极限是指在一个加性高斯白噪声（AWGN）信道中，在给定信噪比（SNR）和带宽条件下，能够实现无差错传输的最大信息速率。该极限由克劳德·香农于1948年提出，是信息论中信道容量理论的核心。香农极限为通信系统的设计划定了理论上的性能上界，任何实际的编码与调制方案都无法超越这一速率，但可以通过更先进的编码技术不断逼近它。
1.1 信道容量的数学表达式
信道容量 $C$ 的经典公式为： $$ C = B \log_2 \left(1 + \frac{S}{N}\right) $$ 其中：
该公式表明，信道容量与带宽成正比，但随信噪比呈对数增长。当信噪比无穷大时，容量也趋于无穷；当带宽无穷大时，容量趋向一个有限值。
1.2 香农极限的直观解释
香农极限可以理解为：给定信道条件后，理论上每秒钟能可靠传输的比特数有一个上限，就像高速公路的最高限速——无论你的车多快，法律不允许更快；香农极限则是物理规律不允许更快。
1.2.1 信噪比与带宽的关系
信噪比决定了信号相对于噪声的“清晰度”。信噪比越高，每个符号携带的信息可以越多（如使用更高阶的调制），从而提升速率。带宽则决定了信号的“宽度”，更宽的带宽可以容纳更多独立的符号（如更快的脉冲序列）。两者在香农公式中共同约束容量：带宽大但信噪比极低，容量可能不如窄带宽但高信噪比的情况。
1.2.2 无差错传输的物理意义
“无差错”并不意味着零错误，而是指可以通过纠错编码使误码率任意小（趋于零），只要传输速率低于信道容量。一旦速率超过容量，无论采用何种编码，错误率都无法降到任意小——这是信道编码定理的结论。
1.3 香农极限与香农公式的关联
香农极限常被用作“香农公式”的同义词。严格来说，“公式”是计算容量的数学表达式，而“极限”强调的是理论边界的概念。在实际应用中，人们常将某信噪比下公式计算出的数值称为“香农极限”，作为对系统性能的衡量基准。
2 推导与证明
香农在《通信的数学理论》中采用信息论方法推导了信道容量公式，核心思想是通过互信息最大化来获得容量上界。
2.1 离散无记忆信道的容量公式
对于离散无记忆信道，信道容量定义为输入与输出之间互信息的最大值： $$ C = \max_{p(x)} I(X; Y) $$ 其中 $p(x)$ 是输入符号的概率分布，$I(X;Y)$ 是互信息。
2.1.1 互信息的最大化
| 互信息 $I(X;Y) = H(Y) - H(Y | X)$。对于给定信道转移概率，通过优化输入分布可以使互信息达到最大。在有噪声情况下，最优输入分布通常不是均匀的，但AWGN信道中高斯分布输入可实现容量。 |
|---|
2.1.2 高斯信道下的特例
当信道噪声是加性高斯白噪声且输入信号受平均功率约束时，最优输入分布为高斯分布。此时互信息达到： $$ C = \frac{1}{2} \log_2 \left(1 + \frac{P}{\sigma^2}\right) $$ 其中 $P$ 为信号功率，$\sigma^2$ 为噪声功率。引入带宽 $B$ 后，乘以采样率 $2B$（奈奎斯特速率），得到连续时间信道的容量公式 $C = B \log_2(1 + \frac{S}{N})$。
2.2 连续信道容量的推导
连续信道（如模拟信道）的容量推导需考虑信号的连续性与功率约束。
2.2.1 功率约束条件
| 发送信号 $x(t)$ 的平均功率有限：$\frac{1}{T} \int_0^T | x(t) | ^2 dt \leq P$。该约束限制了信号的能量，从而限制了可能的分辨率。 |
|---|
2.2.2 噪声方差的作用
加性噪声 $n(t)$ 服从均值为0、方差为 $\sigma^2$ 的高斯分布。噪声方差越大，信道容量越低。香农证明了在高斯噪声和功率约束下，容量公式如前述。
2.3 香农极限的渐进性质
了解容量在极端条件下的行为有助于设计系统方案。
2.3.1 高信噪比极限
当 $\frac{S}{N} \gg 1$ 时，$\log_2(1+\frac{S}{N}) \approx \log_2(\frac{S}{N})$。此时容量随信噪比对数增加，带宽成为限制因素。每增加3dB信噪比，容量增加约1 bps/Hz。
2.3.2 低信噪比极限
当 $\frac{S}{N} \ll 1$ 时，利用 $\ln(1+x) \approx x$，容量 $C \approx \frac{S}{N} \cdot B \log_2 e = \frac{S}{N_0} \cdot \frac{1}{\ln 2}$，与信噪比线性相关。此时提高带宽几乎无益，容量仅取决于信噪比的线性增长。
3 影响因素与扩展
香农极限的经典形式基于AWGN信道，实际通信环境更为复杂，多种因素会改变容量边界。
3.1 带宽限制
带宽决定了信道可用的频率范围。带宽越宽，理论上容量越大，但实际受到频谱资源、硬件滤波、以及背景噪声功率（随带宽增加而增加）的限制。在无限带宽下，容量收敛到 $\frac{S}{N_0} \cdot \log_2 e$，即香农的“终极容量”。
3.2 噪声类型的影响
3.2.1 AWGN信道
加性高斯白噪声是最常见的噪声模型，香农公式正是针对此信道导出。其特点是功率谱密度恒定，幅度服从高斯分布。
3.2.2 非高斯噪声信道
如果噪声非高斯（如脉冲噪声、拉普拉斯噪声），信道容量计算更为复杂。通常非高斯噪声信道容量可能高于或低于同功率的高斯噪声信道，具体取决于噪声分布。信息论中有一个重要结论：在给定噪声功率下，高斯噪声是最“恶劣”的，即其信道容量最小。
3.3 多天线与MIMO系统的香农极限
多输入多输出（MIMO）系统通过多根天线同时发送和接收，可显著提升容量。
3.3.1 空间复用增益
在独立衰落信道中，MIMO系统的容量近似正比于天线数 $N$ 倍的单天线容量（低信噪比时有差异）。具体公式为： $$ C = B \cdot \log_2 \det\left( \mathbf{I} + \frac{P}{N_t \sigma^2} \mathbf{H} \mathbf{H}^H \right) $$ 其中 $\mathbf{H}$ 为信道矩阵。当矩阵满秩时，容量随天线数线性增加。
3.3.2 分集增益
分集通过多天线接收同一信号的多个副本降低衰落影响，可降低误码率但未必直接提升容量。分集与复用之间存在折中。
3.4 衰落信道下的香农极限
实际无线信道常受多径衰落影响，容量定义需区分统计特性。
3.4.1 慢衰落与快衰落
- 慢衰落：信道状态在一段时间内几乎不变，此时容量是随机变量，常用中断容量描述，即保证某一概率下可达的最大速率。
- 快衰落：信道状态变化快，每符号经历不同的衰落，容量可用遍历容量（统计平均）表示。
3.4.2 遍历容量与中断容量
遍历容量为信道在各状态下的瞬时容量取期望：$C_{\text{erg}} = \mathbb{E}[B \log_2(1 + \gamma)]$，其中 $\gamma$ 为瞬时信噪比。中断容量则定义为：$C_{\text{out}} = \sup \{ R : \Pr(B \log_2(1+\gamma) < R) \leq \epsilon \}$，对实时通信更具实际意义。
4 实际应用与逼近
香农极限虽不可超越，但可以通过高效的编码和调制技术无限逼近。现代通信系统几乎都围绕这一目标设计。
4.1 纠错码的发展
纠错码是逼近香农极限的核心工具。香农在论文中证明了存在可达容量的好码，但未给出构造方法。
4.1.1 低密度奇偶校验码（LDPC）
LDPC码由Gallager在1960年提出，后因硬件性能提升被重新发现。其性能在AWGN信道下可达到距香农极限仅零点几分贝以内，广泛用于Wi-Fi、DVB-S2、5G等标准。
4.1.2 极化码
极性码由Arikan于2009年提出，是第一种理论上证明可以达到香农极限的构造性编码，且编译码复杂度低。已入选5G控制信道编码方案。
4.2 调制编码方案的逼近程度
联合调制与编码的优化可进一步提升频谱效率。
4.2.1 比特交织编码调制（BICM）
BICM将编码比特与调制符号进行交织，在衰落信道中性能优异，被Wi-Fi和LTE采用。其容量损失通常在0.5dB以内。
4.2.2 网格编码调制（TCM）
TCM通过将编码与调制看作整体设计，在带限信道中达到较好的距离至香农极限，但难以逼近极限值，已被更强大的LDPC+高阶调制组合取代。
4.3 香农极限在通信标准中的角色
各代通信标准都以香农极限作为性能基准。
4.3.1 5G与LTE的信道编码
LTE使用了Turbo码，5G数据信道选用LDPC码，控制信道使用极化码，设计目标就是尽可能接近香农极限。实际5G的频谱效率已十分逼近理论值。
4.3.2 卫星通信中的功率效率
卫星通信受限于发射功率，常工作在极低信噪比区域，因此对逼近香农极限的编码要求极高。深空通信甚至采用码长极长的LDPC码以换取增益。
5 常见误解与辨析
香农极限在普及过程中产生了若干误解，需要澄清。
5.1 香农极限不等于实际速率
香农极限是理论上可达的最大速率，实际系统因编码冗余、实现复杂度、信号处理损耗等因素，工作速率通常低于极限。例如，ATSC 3.0广播系统设计时距离极限约1dB。
5.2 “接近香农极限”的技术边界
“接近”通常指译码性能与极限的差距小于1dB，但仍有物理限制。
5.2.1 有限码长效应
香农极限基于无限码长假设。实际码长有限时，即使是最优编码也无法达到极限，存在一个由有限长信息论（如Polyanskiy的界）描述的额外损耗。
5.2.2 译码复杂度的权衡
逼近香农极限的编码往往需要更长的码长和更复杂的译码算法（如迭代译码），导致延迟和功耗上升。因此工程设计常在逼近程度与复杂度之间折中。
5.3 与奈奎斯特准则的区别
奈奎斯特准则讨论的是无码间串扰条件下符号速率的极限（最大符号率 $2B$ 符号/秒），与信噪比无关；香农极限则涉及每符号可携带的比特数（受信噪比限制）。两者结合才能确定系统的最大比特率。
6 历史与影响
香农极限的提出奠定了数字通信的理论基石，深刻影响了后续的研究与工程实践。
6.1 香农的原始论文
1948年，香农在《贝尔系统技术杂志》发表《通信的数学理论》。全文分三部分，其中第二部分建立了信道容量定理，首次用概率模型严格定义了信息量，并证明了存在编码达到容量。
6.2 后续的理论发展
6.2.1 信息论中的容量定理
香农的工作后被扩展至各种信道模型，如多用户信道（多址接入、广播信道）、有反馈信道、时变信道等。这些成果构成了信息论的核心。
6.2.2 无差错通信的证明方法
香农的证明采用了随机编码论证与典型序列法，展示了好码的存在性，但未给出构造。后来Gallager、Forney等人发展了随机编码指数、错误指数等工具，精确刻画了有限长下的性能。
6.3 对现代通信的启发
6.3.1 从理论到工程的跨越
香农极限的提出使通信工程师不仅关注“能传多远”，更关注“与极限差多少”。从模拟时代的AM/FM，到数字时代的QPSK、QAM，再到Turbo码、LDPC、极化码，每一步改进都是向着香农极限的冲锋。
6.3.2 香农极限的“挑战”文化
在通信领域，逼近香农极限已成为一种学术竞赛。例如，1993年Turbo码的发现曾被称为“革命”，而极化码的出现则证明了构造性可达极限的可能性。至今，在低信噪比、超短码长等特殊场景下，如何进一步逼近香农极限仍是研究热点。