1 定义与起源
1.1 香农的灵感：从热力学熵到信息熵
克劳德·香农在1948年发表的《通信的数学理论》中首次提出了信息熵的概念。他的灵感部分源于热力学中“熵”的物理量——在19世纪由鲁道夫·克劳修斯定义，用于描述系统的无序程度。香农敏锐地发现，通信中的“不确定性”与热力学中“混乱度”在数学结构上高度相似。他将热力学熵公式中的概率密度替换为离散概率分布，从而建立了信息熵的数学模型。这一跨越学科的类比，使得“熵”从物理学扩展到信息科学，甚至成为描述系统复杂性的通用标尺。
1.2 核心公式：H = -Σ p(x) log₂ p(x)
信息熵的定义式为：
\[ H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x) \]
其中，\(X\) 是一个离散随机变量，取值为集合 \(\mathcal{X}\) 中的元素，\(p(x)\) 为对应概率。公式中的对数以2为底，结果单位为“比特”（bit）。当以自然对数（底数 \(e\)）计算时，单位为“纳特”（nat）。该公式量化了每个可能结果平均所需的最少二进制位数，用于消除不确定性。
1.3 直觉理解：抛硬币 vs 天气预报
- 抛一枚公平硬币：正面和反面概率均为0.5，熵为 \(H = -0.5\log_2 0.5 - 0.5\log_2 0.5 = 1\) 比特。即每次抛硬币平均需要1比特信息才能知道结果。
- 天气预报：若某地常年晴天概率为0.9、雨天仅0.1，则熵为 \(H = -0.9\log_2 0.9 - 0.1\log_2 0.1 \approx 0.47\) 比特。低于抛硬币，因为不确定性更小——你基本可以猜“晴天”。相反，若晴雨各半，熵升至1比特，说明把握越不确定，信息量越高。
2 基本性质
2.1 非负性
信息熵总是非负的，即 \(H(X) \geq 0\)。这是因为概率 \(p(x)\) 在0到1之间，其对数非正，负号后总和非负。当且仅当某一结果必然发生（概率为1）时熵为零。
2.2 极值性：确定性事件的熵为零
如果随机变量 \(X\) 只有一个可能结果（即 \(p(x)=1\)），则熵为0。此时没有任何不确定性，无需任何额外信息。例如“太阳每天升起”的熵为0。
2.3 最大熵：均匀分布时熵最大
在给定可能结果个数 \(n\) 时，当所有结果等概率（\(p(x)=1/n\)）时熵达到最大值 \(\log_2 n\)。这是因为概率分布越均匀，不确定性越大；反之，分布越集中，熵越小。例如一枚六面硬币如果每个面等可能，熵为 \(\log_2 6 \approx 2.58\) 比特，远大于偏斜分布。
2.4 可加性：独立联合事件的熵等于各自熵之和
对于两个相互独立的随机变量 \(X\) 和 \(Y\)，联合熵满足 \(H(X,Y)=H(X)+H(Y)\)。例如，同时抛一枚硬币（熵1比特）和掷一个六面骰（熵约2.58比特），且两者独立，则联合事件总熵为约3.58比特。若变量不独立，联合熵小于各自熵之和。
3 扩展与变体
3.1 条件熵 H(Y|X)
条件熵定义为在已知 \(X\) 的条件下，\(Y\) 的平均剩余不确定性： \[
| H(Y | X) = \sum_{x} p(x) \cdot H(Y | X=x) = -\sum_{x,y} p(x,y) \log_2 p(y | x) |
|---|
\] 它量化了知道 \(X\) 后还需要多少额外信息才能确定 \(Y\)。
3.1.1 意义：当已知 X 时 Y 的剩余不确定性
| 例如，已知天气（\(X\)）后，预测量是否带伞（\(Y\)）的不确定程度。若两者完全相关，则 \(H(Y | X)=0\)；若独立，则 \(H(Y | X)=H(Y)\)。 |
|---|
3.2 相对熵（KL散度）
相对熵（Kullback–Leibler散度）衡量两个概率分布 \(P\) 与 \(Q\) 之间的距离（非对称）： \[ D_{KL}(P \parallel Q) = \sum_{x} p(x) \log_2 \frac{p(x)}{q(x)} \] 当 \(P=Q\) 时散度为0，否则为正。它常用于比较真实分布与模型预测分布之间的差异。
3.2.1 熵与交叉熵的关系
交叉熵定义为 \(H(P,Q) = -\sum p(x) \log_2 q(x)\)，它与熵和相对熵的关系为：\(H(P,Q)=H(P)+D_{KL}(P \parallel Q)\)。在机器学习中，常将交叉熵作为损失函数，通过最小化它来逼近真实分布。
3.3 联合熵与互信息
联合熵 \(H(X,Y)\) 表示两个变量共同的不确定性。互信息定义为： \[
| I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X | Y) |
|---|
\] 它描述了两个变量共享的信息量，取值范围从0（独立）到 \(H(X)\) 或 \(H(Y)\) 中的较小者。
3.3.1 互信息：两个变量共享的不确定性
比如，一个关于“气温”的变量与关于“冰淇淋销量”的变量之间存在正相关，互信息较大，说明知道其中一个就能大幅降低另一个的不确定性。互信息在特征选择、图像配准等领域广泛应用。
4 在通信与压缩中的应用
4.1 熵编码：霍夫曼编码、算术编码
熵编码是一种无损压缩技术，利用字符出现概率分配不同长度的码字。霍夫曼编码基于构建最优前缀树，对高频字符用短码，低频用长码；算术编码则将整个消息映射为一个区间内的实数，理论上可接近熵界。两者都保证了平均码长不低于信息熵，但前者更适合字符概率已知的静态场景，后者在自适应压缩中表现更优。
4.2 信道容量与香农第二定理
香农第二定理（有噪信道编码定理）指出：在带宽受限、有噪声的信道上，存在一个最大传输速率——信道容量 \(C\)，当信息速率 \(R < C\) 时，可以通过编码实现任意小的错误概率；若 \(R > C\)，则无法保真传输。信道容量公式为 \(C = B \log_2(1 + \text{SNR})\)（香农-哈特利定理），其中 SNR 为信噪比。该定理为现代通信系统（如 Wi-Fi、5G）提供了理论极限。
4.3 数据压缩的极限：熵作为理论下界
任何无损压缩算法的平均码长都不可能低于原始消息的信息熵。例如，一个由字符A、B、C组成的文件，若其信息熵为1.5比特/字符，则任何编码方案平均每字符至少要用1.5比特，否则无法完美还原。这体现了熵作为“不可压缩性”的度量——越随机（熵高）的数据压缩越难。
5 跨越学科的影响
5.1 物理学：统计力学与信息熵的类比
统计力学中的玻尔兹曼熵 \(S = k \ln \Omega\)（\(\Omega\) 为微观状态数）与信息熵形式相似。香农的贡献在于将熵从物理“紊乱度”抽象为信息不确定性，使两者在数学上统一。近年来，“信息引擎”（如麦克斯韦妖的现代解释）试图利用信息熵与热力学熵的互变，推动热力学与信息理论的交叉研究。
5.2 机器学习：损失函数中的交叉熵
在分类问题中，交叉熵损失函数（Cross-Entropy Loss）是衡量预测概率分布与真实标签分布差异的标准工具。例如，在神经网络训练中，最小化交叉熵等价于最小化KL散度，从而引导模型逼近真实分布。它收敛速度快、梯度稳定，已成为深度学习中最重要的损失函数之一。
5.3 社会学与梗文化
5.3.1 聊天记录“信息熵破表”：是什么意思？
当网友评论你的聊天记录“信息熵破表”时，通常指内容极其跳跃、混乱、无法预测，比如上一秒聊哲学下一秒突然发猫图+菜谱的混合体。熵值高意味着难以“压缩”成合理逻辑，听者需要大量额外上下文才能理解，给人一种“你都在说什么”的懵圈感。这并非贬义，更像是对思维发散度的调侃。
5.3.2 低熵体与高熵体：网络论战中的花式互怼
- 低熵体：指思想简洁、逻辑清晰、行动规律的人，常被用来夸赞“大神”或“自律达人”。例如：“这位答主是个低熵体，每句回复都精准致命。”
- 高熵体：指思路混乱、观点矛盾、脑洞大开的人，常被用来吐槽“杠精”或“脑洞太大不可理解”。例如：“别听他叨叨，他是高熵体转世，永远猜不到下一句是什么。” 这对概念源于刘慈欣《三体》中的“低熵宇宙”设定，被网友借用于日常互怼，既有学术味又带点幽默。
6 常见误区与趣味问答
6.1 “垃圾信息熵很高吗？”
不一定。垃圾信息（如随机的广告邮件）往往概率分布均匀，因此熵可能很高；但如果是重复的垃圾广告（比如每封都是“买它买它”），则熵很低。实际上，垃圾信息之所以令人厌烦，不是因为熵高，而是因为其内容与接收者的兴趣分布“KL散度”极大——你需要的概率几乎为零。因此，垃圾信息通常具有高不确定性（对你无用）但低信息量（对你无意义）。
6.2 为什么二进制熵用 log₂，而自然熵用 ln？
选择对数的底数本质上是对信息单位的定义。以2为底时，结果单位为比特（bit），对应“是/否”二选一的基本决策单元；以自然常数 e 为底时，单位是纳特（nat），在连续熵和物理学中更便于推导。二者只是尺度不同：1 nat ≈ 1.4427 bits。在工程和计算机科学领域，比特更直观；在理论物理和数学分析中，纳特更自然。
6.3 如果宇宙是信息，那它的熵是多少？（一种脑洞）
这是一个思想实验。如果假设宇宙的状态可用有限比特描述（比如普朗克尺度下的离散格点），则宇宙的信息熵上限约为 \(10^{120}\) 比特数量级（基于黑洞熵的估算）。而当前可观测宇宙的熵（主要是黑洞熵）约为 \(10^{104}\) 比特。有趣的是，随着宇宙膨胀，熵会持续增长——这恰好符合热力学第二定律，即信息熵（物理熵）总在增加。不过，若将宇宙视为一台“终极计算机”，其熵值还取决于我们如何定义“信息”的边界，这至今仍是物理学家和哲学家的脑洞盛宴。