1 基本概念
无偏估计是统计推断中的基础概念，核心关注的是估计方法在重复抽样意义下的长期平均表现。它并不要求每一次抽样都“估得准”，而是要求在大量重复实验中，估计结果的平均值能够回到真实参数附近。由于这一性质与抽样、建模和推断密切相关，无偏性常被视为评价估计量的重要标准之一。
1.1 统计估计与估计量
统计估计是指根据样本信息对总体特征作出推断的过程。被用来进行估计的随机变量或函数称为估计量，它依赖于样本数据而变化。与之对应，估计结果是估计量在某次具体样本下得到的数值。
例如，用样本平均数推测总体平均数，就是最常见的统计估计问题之一。这里，样本平均数本身是估计量，而某一次调查算出的具体数值则是估计值。
1.2 无偏估计的定义
若一个估计量的数学期望等于它所要估计的总体参数，则称该估计量是无偏的。相应地，由该估计量得到的估计称为无偏估计。无偏性反映的是“平均上是否准确”，而不是“单次是否精确”。
1.2.1 数学期望条件
设参数为 \(\theta\)，估计量为 \(\hat{\theta}\)。如果满足
\[ E(\hat{\theta})=\theta \]
则称 \(\hat{\theta}\) 是 \(\theta\) 的无偏估计量。若两者不相等，则差值
\[ E(\hat{\theta})-\theta \]
称为偏差。偏差可以为正、为负，也可能随样本量变化而逐渐减小。
1.2.2 无偏与有偏的区别
无偏估计强调的是期望意义上的准确，而有偏估计则表示其平均结果与真实参数之间存在系统性差异。一个有偏估计量并不一定差，很多情况下它可能具有更小的方差，因此在总体误差上反而更优。相反，无偏估计也不必然优于有偏估计，尤其在样本较小时更是如此。
1.3 无偏性的直观理解
可以把无偏性理解为“长期不偏向某一边”。如果把同一种抽样过程重复很多次，每次都计算估计值，那么这些值的平均水平应当落在真实参数附近。它类似于一把不会长期偏向左侧或右侧的秤，虽然每次称量会有波动，但整体倾向保持平衡。
1.4 相关术语
无偏估计的讨论中，常会同时出现估计值、估计量和参数等术语。三者含义相近但并不相同，混淆后容易导致对统计结论的误读。
1.4.1 估计值
估计值是估计量在某一组具体样本上的取值，也就是实际计算得到的结果。它是一个确定的数，随样本变化而变化。
1.4.2 估计量
估计量是样本的函数，通常在抽样前被视为随机变量。它描述的是估计规则，而不是某一次具体算出的数字。
1.4.3 参数
参数是总体的固定特征，例如总体均值、总体方差或回归系数。参数通常未知，需要通过样本去推断。
2 数学表达与判定
无偏性的判断建立在概率模型之上，通常需要先明确估计量的分布或期望结构。实际操作中，判定某个估计量是否无偏，常通过计算其期望并与目标参数比较来完成。
2.1 无偏估计的判定标准
判定标准很直接：若估计量的期望等于待估参数，则无偏；若不相等，则有偏。对于多参数问题，需要分别考察每个分量是否满足对应的无偏条件。
在一些问题中，估计量可能只对某些参数无偏，而对另一些参数有偏，因此判定时必须明确“针对哪个目标参数”。
2.2 期望推导方法
求期望通常是判断无偏性的主要途径。方法包括利用样本分布直接积分或求和、借助线性性质分解期望、以及利用已知随机变量的期望公式进行化简。对于复杂估计量，常需要结合对称性、独立性或条件期望来推导。
2.3 线性变换下的无偏性
若 \(\hat{\theta}\) 是 \(\theta\) 的无偏估计量，则对常数 \(a,b\)，估计量 \(a\hat{\theta}+b\) 对应估计 \(a\theta+b\) 也是无偏的，因为期望满足线性性质。这一结论在构造新估计量时非常常用。
但需要注意，线性变换只能保证相应目标的无偏性，并不意味着方差一定理想。某些变换虽然保持无偏，却可能显著放大波动。
2.4 多参数情形下的无偏估计
现实问题中常常不止估计一个参数，而是同时估计多个相关量。此时无偏性的表达需要扩展到向量和矩阵形式，并分别讨论各分量的期望性质。
2.4.1 向量估计量
若估计对象是参数向量 \(\theta=(\theta_1,\theta_2,\dots,\theta_k)\)，则估计量也可写成向量 \(\hat{\theta}\)。当 \(E(\hat{\theta})=\theta\) 时，称其为无偏向量估计量，意味着每个分量的期望都与对应参数一致。
2.4.2 矩阵估计量
在多元统计和协方差估计中，估计结果常以矩阵形式出现。若矩阵估计量的期望等于目标矩阵参数，则可视为无偏矩阵估计量。常见例子包括协方差矩阵的估计，以及某些线性模型中的信息矩阵估计。
3 典型无偏估计量
许多基础统计量都具有无偏性质，因此常被作为标准例子使用。这些例子不仅便于理解无偏性的定义，也有助于说明为何某些修正形式会出现在实际公式中。
3.1 样本均值估计总体均值
样本均值是总体均值最经典的无偏估计量。若样本来自同一总体，且满足适当的抽样独立性条件，则样本均值的期望等于总体均值。由于其形式简单、计算方便且性质稳定，它几乎是入门统计中最重要的估计量之一。
3.2 样本方差的无偏估计
样本方差用于刻画数据离散程度，但直接使用“除以 \(n\)”的形式通常会低估总体方差。因此，实践中常采用分母为 \(n-1\) 的修正版本，使其成为总体方差的无偏估计量。
3.2.1 分母为 n-1 的原因
样本均值是由同一组数据估计出来的，这会消耗一个自由度。若再用这些数据去衡量波动，直接除以 \(n\) 会使离散程度偏小。将分母改为 \(n-1\) 后，期望能与总体方差对齐，从而消除系统性低估。
3.2.2 与极大似然估计的比较
极大似然方法得到的方差估计常使用分母 \(n\)，在某些模型下它是有偏的，但往往具有较好的渐近性质。无偏估计与极大似然估计之间的差异，反映了“有限样本无偏”与“整体建模便利”之间的权衡。
3.3 样本比例估计总体比例
对于二分类数据，样本中“成功”次数所占比例，通常是总体比例的无偏估计量。它在调查统计、质量控制和民意抽样中都很常见。只要抽样机制合适，样本比例的期望就与总体成功概率一致。
3.4 回归参数的无偏估计
在线性回归中，模型参数通常通过样本数据估计。若满足一定条件，最小二乘估计对回归系数是无偏的，因此常被作为线性模型中的基础结果。
3.4.1 最小二乘估计
最小二乘法通过最小化残差平方和来确定参数。它在计算上简洁，且在经典线性模型设定下具有明确的无偏性和良好的解析性质，因此被广泛采用。
3.4.2 误差项假设与无偏性
回归估计是否无偏，通常依赖于误差项的若干假设，例如误差均值为零、与解释变量不相关等。若这些前提被破坏，估计量可能出现系统偏移。也就是说，回归参数的无偏性并不是自动成立的，而是建立在模型结构之上的。
4 无偏估计的性质
无偏性只是估计量众多性质中的一种。实际评价估计方法时，还要结合一致性、有效性、方差大小和均方误差等指标，综合判断其适用性。
4.1 无偏性与一致性
无偏性说的是“期望上是否正确”，一致性则关心“样本量增大时是否趋近真实值”。一个估计量可以无偏但不一致，也可以有偏但一致。两者衡量的维度不同，不能相互替代。
4.2 无偏性与有效性
有效性通常指在同类无偏估计量中，哪一个方差更小。若两个估计量都无偏，方差较小者往往更有效。因而“无偏”只是进入比较的前提之一，并不自动意味着最佳。
4.3 方差与均方误差
方差描述估计量围绕其期望的离散程度，而均方误差则同时考虑偏差和波动。对于无偏估计量，均方误差等于方差；对于有偏估计量，则还要加上偏差平方项。
4.3.1 方差分解
均方误差可分解为偏差平方与方差之和。这一分解说明，即使估计量存在偏差，只要方差显著减小，整体误差仍可能更低。很多实践中的“有偏但更稳”的方法，正是基于这一点。
4.3.2 偏差-方差权衡
偏差与方差往往此消彼长。减小偏差不一定能提升整体表现，因为方差可能随之上升；反过来，适度引入偏差也可能换来更小的波动。无偏估计在理论上优雅，但在某些应用中并非最优选择。
4.4 渐近无偏性
若估计量在样本量趋于无穷时，其期望逐渐逼近真实参数，则称其具有渐近无偏性。它表明估计方法在大样本下能够消除系统误差，即使在小样本阶段仍可能存在偏差。很多现代统计方法更强调这种渐近性质。
5 无偏估计的构造方法
无偏估计并非总是“自然出现”，很多时候需要通过特定技巧构造。统计学中已有一系列系统方法，可用于从已有估计出发，进一步改进其无偏性或降低方差。
5.1 方法矩估计
方法矩估计通过让样本矩与总体矩相等来建立估计方程。由于总体矩与参数之间存在明确关系，这种方法常能构造出简单的无偏或近似无偏估计量。它的优势是直观、易算，尤其适合初步建模。
5.2 条件期望法
条件期望法利用“在给定某些统计量后重新取期望”的思想，对原估计量进行修正。通过对信息进行平均化处理，往往可以得到更稳定、偏差更小的估计形式。它在理论推导和改进估计中都很常见。
5.3 Rao-Blackwell 改进
Rao-Blackwell 方法指出，若将一个无偏估计量对充分统计量取条件期望，通常可以得到方差不大于原估计量的改进版本。它是构造更优无偏估计的重要工具，也为后续的最优无偏估计理论奠定了基础。
5.4 Lehmann-Scheffé 定理
Lehmann-Scheffé 定理给出了构造唯一最优无偏估计的重要条件：如果一个无偏估计量是某个充分且完备统计量的函数，那么它就是唯一的最小方差无偏估计量。该定理在经典统计推断中具有重要地位。
5.4.1 完备统计量
完备性表示：若某个统计量的函数期望在所有参数取值下都为零，则该函数几乎处处为零。它保证了无偏估计在该统计量框架下的唯一性，是获得最优结论的关键条件之一。
5.4.2 充分统计量
充分统计量包含了关于参数的全部样本信息。若数据对参数的影响能完全通过某个统计量来表达，则称其为充分统计量。结合充分性和完备性，往往可以得到结构清晰的最优无偏估计。
6 经典理论结果
围绕无偏估计，统计学形成了一系列经典结论，涵盖存在性、最优性与理论下界等问题。这些结果帮助研究者判断：某种无偏估计是否不仅存在，而且是否已经接近理论极限。
6.1 无偏估计的存在性问题
并非所有参数都一定存在无偏估计。某些模型结构复杂、参数位置受限，或者统计量信息不足时，可能根本无法构造出满足期望条件的估计量。存在性问题说明，无偏性是一种严格条件，不是所有任务都能自然满足。
6.2 最小方差无偏估计
在所有无偏估计量中，若某个估计量的方差最小，则称其为最小方差无偏估计量。这类估计量具有很强的理论吸引力，因为它同时兼顾了无偏和稳定两个要求。
6.2.1 UMVU 估计量
UMVU 是“统一最小方差无偏估计量”的缩写，表示它在所有无偏估计量中具有全局最小方差。若某估计量满足这一性质，通常被认为是无偏估计意义下的最佳选择之一。
6.2.2 BLUE 估计量
BLUE 指“最佳线性无偏估计量”，强调在线性估计类中方差最小且保持无偏。它常出现在经典线性模型中，与最小二乘方法联系紧密。由于限制在线性类中，BLUE 的适用范围比 UMVU 更具体。
6.3 Cramér-Rao 下界
Cramér-Rao 下界给出了无偏估计量方差的理论下限。它说明：在一定正则条件下，任何无偏估计量的方差都不能低于某个由模型信息决定的界值。
6.3.1 信息量与下界
下界与样本中包含的参数信息量有关。直观上，数据越“有信息”，可达到的估计精度越高，方差下界也就越低。信息量概念因此成为连接模型结构与估计精度的重要桥梁。
6.3.2 达到下界的条件
并非所有无偏估计都能达到 Cramér-Rao 下界。通常只有在特定分布形式、特定统计结构或特定估计函数下，才可能实现这一极限。达到下界的估计量被认为具有极高的效率。
7 反例与局限
无偏估计虽然重要，但并不是万能工具。很多看似“理论上完美”的无偏方法，在实际中可能由于方差过大、样本量不足或模型条件不满足而表现不佳。
7.1 无偏不代表优越
一个估计量即使无偏，也可能因为波动过大而不适合实际使用。与其只盯着期望是否准确，不如同时看它的稳定性和整体误差。统计实践通常更重视综合性能，而不是单一指标。
7.2 高方差无偏估计量
某些无偏估计量虽然平均正确，但取值分散得很厉害，导致实际观测中结果起伏较大。这类估计在小样本里尤其不稳定，甚至可能比轻微有偏但更平滑的估计更不实用。
7.3 小样本下的波动问题
样本量较小时，随机波动往往很强，无偏性的“长期平均”优势难以充分体现。此时估计值可能频繁偏离参数真值，给实际解释带来困难。因此，小样本场景下常需要更谨慎地看待无偏性。
7.4 无偏估计的不可得情形
在一些模型里，无偏估计不仅难构造，甚至根本不存在。这通常与模型结构、参数限制或统计信息不足有关。
7.4.1 非正则模型
非正则模型指不满足经典正则条件的统计模型。在这类模型中，常规无偏理论可能失效，很多熟悉的推导技巧也无法直接使用。
7.4.2 边界参数问题
当参数位于取值范围边界时，构造无偏估计常常更加困难。因为样本信息在边界附近会出现不对称性，导致期望条件难以精确满足。
8 应用领域
无偏估计不仅属于理论统计，也广泛服务于实际数据分析。只要研究目标涉及参数推断，便可能用到无偏性这一性质。
8.1 抽样调查
在抽样调查中，无偏估计用于从有限样本推断总体特征，如人口比例、平均收入或满意度水平。若抽样设计合理，无偏性有助于确保调查结论不系统偏向某一方向。
8.2 实验设计
实验设计中，无偏估计用于评价处理效应、组间差异和误差结构。合理的设计可以减少混杂因素，使估计更接近真实效应。无偏性也常作为检验实验方案是否规范的参考之一。
8.3 金融统计
金融统计中的许多指标，如波动率、收益均值和风险参数，都需要从有限历史数据中估计。无偏估计在这里的意义在于减少系统性误差，但由于金融数据常具有噪声大、波动强等特点，实际应用时还需结合稳健性考虑。
8.4 机器学习中的参数估计
机器学习中，参数估计与预测性能、泛化能力密切相关。无偏估计不一定是最终目标，但在模型分析、算法解释和统计学习理论中，它仍是重要概念。
8.4.1 经验风险与估计偏差
经验风险是用样本上的损失函数近似总体风险的做法。由于样本有限，经验风险对应的参数估计往往存在偏差，因此需要分析其与真实风险之间的差距。
8.4.2 正则化方法的偏差问题
正则化通过限制模型复杂度来抑制过拟合，通常会引入一定偏差。虽然这会削弱无偏性，但往往能显著降低方差并提升泛化表现。现代学习方法中，这种“适度有偏”的设计十分常见。
9 相关扩展概念
无偏估计只是统计推断中的一个切面。为了更全面地评价估计量，通常还需要同时理解有偏估计、一致性、渐近性质以及偏差-方差关系等概念。
9.1 有偏估计
有偏估计是指期望不等于真实参数的估计方法。它的存在并不一定是缺陷，在某些情形下，有偏估计可以换来更低方差或更强稳定性，因此在实践中具有现实价值。
9.2 一致估计
一致估计强调当样本量增大时，估计量能够逐渐逼近真实参数。与无偏性相比，一致性更关注大样本极限行为，是现代统计中更广泛使用的标准之一。
9.3 渐近有效估计
渐近有效估计是指在大样本下接近理论最优效率的估计方法。它往往不要求有限样本完全无偏，而是追求在样本增大时达到理想的误差水平。
9.4 估计量的充分性与完备性
充分性与完备性是构造最优无偏估计的重要基础。充分统计量压缩信息而不丢失关于参数的关键内容，完备统计量则提供唯一性保证。两者结合时，常能导出强有力的理论结果。
9.5 偏差-方差分解
偏差-方差分解把估计误差拆成系统偏差和随机波动两部分。它解释了为何某些方法虽然并非无偏，却在总体误差上更有优势。这一分解是理解统计学习与估计理论的核心工具之一。