1 基本概念
离群点检测是指在数据集中识别那些在数值大小、模式结构或出现位置上明显偏离整体特征的观测值。此类点并不一定都是“错误数据”，它们既可能来自记录失真，也可能反映真实但少见的现象，因此判定时通常需要结合统计特征、业务背景与分析目的综合判断。
1.1 离群点的定义
离群点一般是指与大多数样本相比表现出显著差异的观测。差异可以体现在数值上、分布上，也可以体现为与其他变量之间关系的异常。
1.1.1 统计意义上的偏离
从统计角度看，离群点是落在数据主分布之外，或与总体趋势相距较远的点。判断标准往往依赖均值、方差、分位数、密度等统计量，强调的是相对整体的偏离程度。
1.1.2 业务语境中的异常
在实际应用中，异常并不只由统计规则决定，还要看是否违背业务常识或流程规范。例如，某些看似数值极端的记录，在特定条件下可能完全合理；反之，一些数值不极端的数据，也可能因组合关系异常而被视为离群。
1.2 离群点与极端值
离群点与极端值常常被混用，但二者并不完全等同。极端值通常强调数值处在分布尾部，而离群点更强调相对整体结构的偏离。
1.2.1 极端值的边界特征
极端值往往位于数据范围两端，虽然稀少，但仍可能沿着总体分布的延伸趋势出现。它们不一定破坏整体规律，因此是否视为异常，需要进一步考察其形成机制。
1.2.2 异常值与分布尾部
某些异常值确实落在分布尾部，但尾部值未必都是异常。对于重尾分布、偏态分布或天然波动较大的数据，尾部样本可能只是正常现象，不能仅凭“少见”就判定为离群。
1.3 离群点的形成原因
离群点的来源多样，既包括人为和技术因素，也包括真实世界中偶发或特殊的变化。
1.3.1 测量误差
仪器精度不足、传感器漂移、采样环境不稳定等，都可能导致观测值偏离真实水平。这类离群点常带有随机性，且在重复测量中可能不稳定。
1.3.2 数据录入错误
人工输入、单位转换、格式解析或系统传输中的失误，容易造成明显不合理的数据点。例如小数点位置错误、字段错位、重复写入等，常会产生突出的异常记录。
1.3.3 自然波动与特殊事件
有些离群点来自自然变化或偶发事件，如季节性波动、突发事故、促销冲击或罕见个体差异。它们不一定应被删除，反而可能包含重要信息。
1.4 离群点的研究意义
离群点检测不仅服务于纠错，也有助于发现规律、控制风险和识别特殊现象。
1.4.1 数据清洗
在数据整理过程中，离群点检测可用于筛查明显错误或不一致记录，提高数据质量，为后续建模提供更可靠的基础。
1.4.2 质量控制
在工业、实验和运营场景中，异常值常被视为过程失稳或系统漂移的信号。及时识别这些点，有助于维持流程稳定并减少损失。
1.4.3 风险识别与预警
离群点有时代表风险事件的早期迹象，如异常交易、设备故障或性能退化。通过监测异常，可以在问题扩大前采取干预措施。
2 离群点的类型
按数据结构和异常表现方式的不同，离群点可分为单变量、多变量、局部和全局等类型。不同类型对应的检测方法也不相同。
2.1 单变量离群点
单变量离群点是指在某一个指标上显著异常的观测，适用于维度较少或单指标分析明确的情形。
2.1.1 基于单个指标的异常
这类异常只需查看某一列数据即可发现，例如数值远高于或低于常见范围。其识别通常较直接，但对变量间关系无法反映。
2.1.2 规则阈值型异常
规则阈值型异常依赖预先设定的上下限，如超过某个固定范围即判为异常。这种方法简单易用，但灵活性较弱，容易受阈值设定影响。
2.2 多变量离群点
多变量离群点在单个维度上未必异常，但在多个变量的组合关系中表现出不协调。
2.2.1 联合分布下的异常
当某个样本在联合分布中落入低概率区域，即使各维单独看都正常，也可被视为异常。这类情况常出现在变量之间存在强依赖关系时。
2.2.2 相关结构偏离
如果样本破坏了变量之间原本稳定的相关模式，例如原本同步变化的指标出现明显背离，也属于多变量异常的一种表现。
2.3 局部离群点
局部离群点强调相对于邻近样本的异常，而不是相对于全局整体的罕见。
2.3.1 相对邻域的异常
某些点虽然从全局看并不极端，但在局部邻域中却明显孤立，表现出与周围点不一致的特征，因此会被判为局部离群点。
2.3.2 密度不一致现象
局部离群常伴随密度差异。若一个点所在位置的局部密度远低于其邻居密度，就可能说明它处于不自然的稀疏区域。
2.4 全局离群点
全局离群点是相对于整个数据集而言明显孤立的观测，通常较容易识别。
2.4.1 整体分布中的孤立点
这类点在整体分布中远离大部分样本，无需复杂局部比较也能察觉。它们常出现在明显异常的测量或输入记录中。
2.4.2 远离主群的数据点
全局离群点往往距离主样本群体较远，甚至位于主分布之外，因此在图形展示中通常表现为单独分散的点。
3 基本统计方法
基本统计方法是离群点检测中最常见的工具，特点是直观、实现简单，适合快速筛查和初步分析。
3.1 基于标准分数的方法
标准分数方法通过衡量观测值与均值的距离来识别异常，常用于近似对称分布的数据。
3.1.1 Z-score 判别
Z-score 表示样本值偏离均值的标准差倍数。若某个观测的绝对标准分数过大，通常会被视为可疑点。这种方法对近似正态分布的数据较为有效。
3.1.2 标准化阈值选择
标准分数法依赖阈值设定，不同领域常采用不同标准。阈值过严会增加误报，过宽则可能漏掉真正异常，因此需要结合样本分布和业务容忍度确定。
3.2 基于四分位距的方法
四分位距方法利用数据中间一半的分布范围来判断异常，较少受极端值影响。
3.2.1 IQR 规则
IQR 规则通常以第一四分位数和第三四分位数为基础，超出一定倍数四分位距范围的值被认为异常。该方法适用于偏态分布，也常用于快速筛查。
3.2.2 箱线图判别
箱线图将中位数、四分位数和可能异常点直观呈现，便于观察数据分布及尾部情况。它不仅有助于发现离群点，也能辅助理解整体离散程度。
3.3 基于分位数的方法
分位数方法直接依据排序位置划定异常区间，强调分布中的尾部部分。
3.3.1 百分位阈值
通过设定上下百分位界限，可以将极端低值或高值标记为异常。这种做法实现简单，常用于需要明确截断范围的场景。
3.3.2 尾部截断策略
尾部截断是将分布两端超出阈值的观测移除或缩尾处理。它常用于建模前的数据整理，但应避免过度削弱真实信息。
3.4 基于假设检验的方法
假设检验方法通过统计推断判断某些观测是否与总体假设相冲突，适合具有明确分布假设的数据。
3.4.1 正态性假设下的检测
当数据近似正态时，可依据概率极小事件判断离群程度。若样本值在假设分布下出现概率过低，则可视为异常候选。
3.4.2 显著性水平与判定
离群判定通常依赖显著性水平。较低显著性水平意味着更严格的异常判定标准，而较高水平则更容易识别可疑点，但也更可能误判正常样本。
3.5 基于稳健统计的方法
稳健统计方法对极端值不敏感，适合数据中已经存在异常或分布偏离较明显的情况。
3.5.1 中位数与 MAD
中位数和中位数绝对偏差是常见稳健指标，能够比均值和标准差更好地抵抗少数极端点的干扰。基于它们的检测方法在异常值较多时更稳定。
3.5.2 抗极端值估计
抗极端值估计强调在估计整体特征时降低异常点的影响，避免少数极端值左右判断结果。此类方法更适合复杂或噪声较强的数据集。
4 多变量离群点检测
多变量离群点检测关注多个特征共同构成的异常模式，通常比单变量检测更能反映真实结构。
4.1 距离度量方法
距离度量方法通过计算样本与中心或其他样本之间的距离，判断其是否偏离数据主体。
4.1.1 马氏距离
马氏距离考虑了变量尺度和相关性，适合多维数据中的异常识别。与单纯几何距离相比，它更能反映样本相对于协方差结构的偏离程度。
4.1.2 欧氏距离与其局限
欧氏距离计算简单，但在变量量纲不一致、相关性较强或高维情形下，判别能力可能下降。若不做标准化，结果往往会被尺度较大的变量主导。
4.2 协方差结构方法
这类方法借助变量间协方差关系刻画正常区域，适合分布较规则的多维数据。
4.2.1 椭球区域判别
在多元正态或近似椭球分布中，正常点往往落在某个椭球区域内，超出边界的样本可视为异常。该方法直观，但对分布形状有一定要求。
4.2.2 联合分布边界
联合分布边界方法关注样本是否落在低概率区域，能同时考虑多个变量的组合约束。它对捕捉复杂关联异常较有帮助。
4.3 主成分分析方法
主成分分析可将多维数据映射到较低维空间，从而更容易发现偏离主结构的样本。
4.3.1 降维后的异常识别
在主成分空间中，若某些点远离主要样本云团，说明它们与总体模式差异较大。这种方式常用于结构明显的数据。
4.3.2 重构误差分析
通过低维表示重构原始数据后，若某样本重构误差较大，说明其特征难以被主成分解释，因此可能是异常点。
4.4 回归残差方法
回归残差方法适合存在明确因果或预测关系的数据，通过考察预测误差识别离群样本。
4.4.1 高残差点识别
当观测值与模型预测值差距过大时，该样本可能不符合既有关系，因而被视为异常。残差越大，异常嫌疑通常越高。
4.4.2 杠杆值与影响点区分
高残差不一定意味着强影响，高杠杆样本也不一定是离群点。前者偏向“偏离拟合关系”，后者偏向“对模型结果影响大”，两者应分别判断。
5 基于邻域与密度的方法
邻域与密度方法通过比较局部区域内样本分布状态，能够发现形态复杂或非球状数据中的异常。
5.1 k 近邻方法
k 近邻方法依据样本到邻居的距离来衡量异常程度，思路直观，应用广泛。
5.1.1 邻居距离异常
若某个点到最近邻的距离显著大于其他点，说明它在空间中较为孤立，可能属于离群样本。
5.1.2 局部稀疏性判断
通过观察一个点周围的稀疏程度，可以判断其是否处于非正常区域。局部越稀疏，异常可能性通常越高。
5.2 LOF 方法
LOF 通过比较局部密度差异来衡量离群程度，尤其适合识别局部异常。
5.2.1 局部离群因子
局部离群因子反映某点相对于邻域的异常强度。数值越高，表示该点越可能处于局部孤立状态。
5.2.2 局部密度比较
该方法不是单看距离，而是比较样本与邻居之间的密度关系，因此能更好地区分“稀疏但正常”和“稀疏且异常”的情况。
5.3 基于密度聚类的方法
密度聚类可将稠密区域聚成簇，而把不属于任何簇的样本视为噪声或异常。
5.3.1 噪声点识别
在密度聚类中，无法归入稳定簇的点通常被标记为噪声。此类点往往是潜在异常，也可能是边缘样本。
5.3.2 低密度区域异常
处于低密度区域的点可能远离主要簇群，因此在很多场景下被视为可疑观测。该方法对任意形状簇较为友好。
5.4 基于图结构的方法
图结构方法将样本及其关系表示为节点与边，从连接模式中识别异常。
5.4.1 邻接关系异常
若某节点与周围节点的连接模式明显不同，如连接过少、连接对象异常集中，便可能说明其状态特殊。
5.4.2 图孤立点检测
图中的孤立节点或弱连接节点常对应异常个体。此类方法适用于社交网络、推荐系统和关系型数据分析等场景。
6 机器学习与智能方法
随着算法发展，离群点检测逐渐从规则方法扩展到学习型方法，以适应更复杂的数据模式。
6.1 监督学习方法
监督方法利用已标注的异常与正常样本训练分类器，适合标签较清晰的场景。
6.1.1 异常与正常样本分类
这类方法将问题转化为二分类任务，通过学习样本特征区分正常与异常。其效果依赖标签质量和特征表达能力。
6.1.2 类别不平衡处理
由于异常样本通常很少，训练时需要处理类别失衡问题，例如调整权重、重采样或采用代价敏感学习，以避免模型偏向多数类。
6.2 无监督学习方法
无监督方法不依赖人工标签，更适合异常样本未知或标注成本较高的情况。
6.2.1 聚类残差分析
通过观察样本与簇中心或簇结构的偏离程度，可以找出不适合任何簇的点。此类方法常用于大规模初筛。
6.2.2 自编码器检测
自编码器通过学习正常样本的压缩表示和重构过程来识别异常。若某点重构效果较差，说明它可能不符合训练数据中的常规模式。
6.3 半监督学习方法
半监督方法通常只使用正常样本进行训练，再用模型对新样本进行异常判断。
6.3.1 仅有正常样本训练
当异常数据难以收集时，可以只用正常样本建立模型，让模型学习“正常应该是什么样”。这在工业监控中较常见。
6.3.2 新样本异常评分
模型会为新样本输出一个异常分数，分数越高，越可能偏离正常模式。该策略适合在线监测和持续筛查。
6.4 集成方法
集成方法将多个模型或多个异常分数结合起来，以提升稳定性和鲁棒性。
6.4.1 多模型投票
不同算法可能擅长识别不同类型异常，通过投票或加权投票可降低单一方法的偏差，提高整体可靠性。
6.4.2 异常分数融合
将多个检测器输出的分数统一融合，能够综合距离、密度、重构误差等信息，从而得到更全面的判断结果。
7 可视化与探索性分析
可视化方法常用于离群点检测的初步发现与结果验证，具有直观、便于沟通的特点。
7.1 散点图与气泡图
散点图和气泡图适合观察二维或少量维度下的样本分布及孤立情况。
7.1.1 直观识别孤立点
在散点图中，远离主要点云的样本往往一目了然，便于快速定位潜在异常。它常作为正式建模前的第一步检查。
7.1.2 多维信息叠加
气泡图可通过颜色、大小等视觉元素叠加更多变量信息，使异常不仅体现在位置上，也体现在其他属性上。
7.2 箱线图与小提琴图
这两类图形有助于从分布角度观察异常尾部和集中程度。
7.2.1 分布形态观察
箱线图突出中位数、四分位距和离散范围，小提琴图则更强调密度形态。二者结合可更好理解数据是否存在偏态或多峰结构。
7.2.2 异常尾部判断
当某些点明显超出箱线图须状范围时，往往提示存在异常尾部。小提琴图则可进一步观察尾部样本是否确实稀少。
7.3 热力图与矩阵图
热力图和矩阵图常用于查看多变量数据之间的关系与异常分布。
7.3.1 多变量模式查看
通过颜色深浅或矩阵排列，可以快速发现变量组合中的异常模式，例如某一列或某一区块出现明显偏离。
7.3.2 异常区域定位
在大规模矩阵中，异常通常表现为局部颜色突变或结构断裂。热力图有助于定位这些可疑区域，便于进一步核查。
7.4 时间序列图
时间序列图特别适合观察随时间变化的异常、突变和周期偏离。
7.4.1 突变点观察
若序列在某一时刻出现明显跳变、尖峰或阶跃，通常提示异常事件或状态变化，需要结合上下文进一步分析。
7.4.2 周期偏离识别
对于具有周期性的序列，若某段数据偏离既有周期模式，则可能说明系统状态异常、环境变化或记录失真。
8 实际应用
离群点检测广泛应用于数据管理、工业运行、金融分析、医疗检查和信息系统监控等领域。
8.1 数据清洗与预处理
在数据预处理中，离群点检测常与缺失值处理、重复值处理等任务结合。
8.1.1 缺失与异常联动处理
某些异常记录会伴随缺失、空值或字段错乱，因此常需要联动检查，才能更准确地判断数据问题来源。
8.1.2 记录修正与剔除
对明显由错误产生的离群点，可进行修正、替换或删除；对不确定样本，则应保留标记，避免过早丢失信息。
8.2 工业质量控制
工业场景中，离群点检测常用于监测工艺稳定性和产品一致性。
8.2.1 过程监测
通过对关键参数的连续监控，可以及时发现设备漂移、工艺偏差或原料波动，从而维持生产过程稳定。
8.2.2 生产波动报警
当指标超出正常波动范围时，系统可触发报警，提醒操作人员检查设备或流程，减少不合格品产生。
8.3 金融风控与审计
金融数据中异常往往具有较强业务含义，因此离群点检测是风控和审计中的重要工具。
8.3.1 可疑交易识别
异常交易模式可能表现为金额突增、频次异常或行为模式不一致。检测这些点有助于识别需要进一步核查的交易记录。
8.3.2 账务异常核查
在账务检查中，离群点能够帮助发现重复记账、错账、漏账或不符合常规流程的记录，提高审计效率。
8.4 医疗与生命科学
医疗和实验数据对准确性要求较高，离群点检测可辅助识别检测误差和特殊个体。
8.4.1 检验指标异常
某些检验指标若明显偏离参考范围，可能提示样本异常、检测问题或真实生理变化，需要结合临床信息综合判断。
8.4.2 实验数据质控
在实验研究中，异常点可能来自仪器漂移、污染或操作失误。及时发现并处理这些点，有助于提升实验结果的可信度。
8.5 网络与信息系统
在网络运行和信息系统中，离群点检测常用于识别异常访问和系统故障迹象。
8.5.1 访问行为异常
访问频率、来源模式或操作路径若与正常行为差异明显，可能说明账号异常、脚本请求或系统滥用行为。
8.5.2 系统日志检测
日志中的异常记录有助于定位错误、性能退化或服务异常。通过分析日志中的离群模式，可以更快排查系统问题。
9 评估与挑战
离群点检测的难点在于异常本身稀少、形态多样且定义依赖场景，因此评估与部署都较为复杂。
9.1 评价指标
检测效果通常需要通过分类式指标或曲线指标进行衡量。
9.1.1 精确率与召回率
精确率反映判为异常的样本中有多少真正异常，召回率则衡量真实异常被找出的比例。两者通常需要同时关注。
9.1.2 ROC 与 PR 曲线
ROC 曲线适合比较不同阈值下的整体区分能力，PR 曲线则在异常稀少时更能体现检测效果。二者可用于模型优劣对比。
9.2 阈值选择
异常分数最终要转化为判定结果，而阈值选择往往直接影响实际效果。
9.2.1 业务成本权衡
在某些场景中，漏报的代价高于误报；在另一些场景中，频繁误报会增加大量人工核查成本。因此阈值应由业务需求驱动。
9.2.2 误报与漏报平衡
过于敏感的规则会提高误报率，过于保守则可能遗漏关键异常。实际应用中通常需要根据容忍度反复调整。
9.3 高维数据问题
高维数据会削弱距离和密度类方法的有效性，使离群检测更困难。
9.3.1 维度灾难
随着维度增加，样本之间距离趋于相近，空间分布变得稀薄，传统距离判别的区分度会下降。
9.3.2 稀疏性影响
高维空间中数据往往更加稀疏，局部邻域不稳定，容易让密度估计和邻居比较失去可靠性。
9.4 数据不平衡问题
异常样本天然稀少，这使得模型训练和评估都面临偏差。
9.4.1 异常样本稀少
由于异常数量远少于正常样本，模型可能更容易学习到“正常模式”，而对少数异常缺乏敏感度。
9.4.2 训练偏置
训练集若异常分布不充分，模型可能对特定异常类型识别不足，或者将正常波动误学为异常特征。
9.5 可解释性问题
离群点检测不仅要“找得到”，还要能说明“为什么异常”。
9.5.1 异常原因解释
在实际业务中，用户通常需要知道异常发生在何种变量、哪种关系或哪个过程环节，以便采取针对性措施。
9.5.2 规则透明度
简单规则方法较易解释，而复杂模型如集成学习、自编码器等往往解释较弱。提高透明度有助于增强结果可信度。
10 相关概念
离群点检测与若干相近概念密切相关，但各自关注重点并不相同。
10.1 异常检测
异常检测是一个更宽泛的概念，离群点检测可视为其中的重要组成部分。
10.1.1 与离群点检测的关系
异常检测关注所有偏离正常模式的现象，而离群点检测更强调在数据样本层面识别孤立或偏离的观测。
10.1.2 范围差异
异常检测可以包括事件异常、序列异常、结构异常等更广范围的问题；离群点检测则通常更侧重单个或少量样本的特殊性。
10.2 影响点
影响点是对统计模型结果有显著作用的观测，与离群点有联系，但不完全相同。
10.2.1 对模型参数的影响
某些观测可能并不特别远离数据主体，却因位置特殊而对回归系数、均值或方差估计产生明显影响。
10.2.2 与离群点的区分
离群点侧重“偏离程度”，影响点侧重“对模型的作用”。一个点可以是离群点但影响不大，也可以不是最离群的点却对模型影响较强。
10.3 数据清洗
数据清洗是离群点处理的重要应用环节，目标是提升数据质量和可用性。
10.3.1 异常值处理流程
通常包括识别、核查、标记、修正、替换或删除等步骤。具体处理方式应结合数据来源和后续用途决定。
10.3.2 预处理步骤
在建模前，异常值处理常与标准化、编码转换、缺失处理等流程并行进行，以减少不良数据对分析结果的干扰。
10.4 突变点检测
突变点检测关注时间序列或过程在某一时刻发生的结构性变化。
10.4.1 时间序列中的结构变化
突变点通常表示均值、方差、趋势或状态发生改变，反映的是序列整体机制变化，而不仅是单个点异常。
10.4.2 与单点异常的区别
单点异常往往只是个别观测偏离，而突变点意味着变化可能持续存在。前者偏局部，后者更强调过程层面的切换。