1 基本概念
1.1 定义
异常识别是指在观测数据、实验记录或过程信号中，发现那些明显偏离常规模式、统计分布或预期行为的对象、事件或片段。它关注的不仅是“不同”，还包括这种不同是否足够显著、是否值得进一步核查，以及是否可能对应真实问题或新的研究线索。
在实际应用中，异常识别往往并不等同于简单的“找极端值”。某些数值看似很大或很小，却可能完全符合业务或实验背景；相反，一些数值虽然不极端，却可能在特定条件下构成重要异常。因此，异常识别通常需要结合数据分布、上下文信息和领域知识综合判断。
1.2 术语辨析
异常识别相关术语较多，不同学科和应用场景中的用法也并不完全一致。为了避免混淆，通常需要先区分“异常值”“噪声”“偏差”和“错误”等概念。
1.2.1 异常值与离群点
异常值通常指在数值上明显偏离总体数据分布的观测点，强调其统计上的突出程度；离群点则更偏向描述与大多数样本距离较远的个体，强调位置上的孤立性。两者在很多场景中可以互换使用，但严格来说，异常值更强调“超出预期范围”，离群点更强调“脱离群体结构”。
在一些多维数据中，某个点在单一变量上并不极端，但在整体特征空间中却远离常规区域，这类样本也常被视作离群点。
1.2.2 噪声与异常
噪声是数据采集、传输或记录过程中产生的随机扰动，通常具有偶发性和不稳定性；异常则往往表现为更明确的模式偏离，可能对应真实事件、系统变化或潜在问题。简单来说，噪声更接近“无意义的干扰”，异常则更可能具有分析价值。
不过，在实际数据中，二者并不总是容易区分。某些异常会被误认为噪声而被过滤，某些噪声也可能因形态特殊而被当作异常，因此需要结合重复观测、背景信息和后续验证来判断。
1.2.3 偏差与错误
偏差通常指数据、估计结果或测量结果相对于真实值或预期值存在系统性偏移；错误则更常指记录、计算、传输或操作过程中的失真。偏差并不一定意味着异常，因为它可能来自稳定的系统机制；错误则常常是需要纠正的数据质量问题。
在异常识别中，偏差和错误往往是需要重点排查的来源，但异常本身并不必然等于错误。有些异常是有意义的新现象，有些则只是流程中的失误。
1.3 识别目标
异常识别的目标并不局限于“发现坏数据”，更重要的是识别出与常规模式不一致的对象，并判断其性质和影响范围。根据对象层级不同，异常可分为个体、群体和过程三个层面。
1.3.1 个体异常
个体异常是指单个样本、单个事件或单个信号点显著偏离常态。例如，在一批产品中发现一件尺寸明显超标的样品，或在监测序列中发现一个突出的脉冲点，都可归入个体异常。
这类异常通常容易被发现，但也最容易受到阈值设置和测量误差的影响。
1.3.2 群体异常
群体异常指一组对象在整体上表现出不同于常规群体的共同特征。它们单独看未必极端，但组合起来却形成异常模式。例如，一小批样本在多个指标上同时偏移，或一段时间内多台设备出现相似的异常状态，都属于这一类型。
群体异常往往比个体异常更难识别，因为其异常性来自“集合关系”而非单点极值。
1.3.3 过程异常
过程异常关注的是随时间推进或工序变化而出现的非正常行为，如设备运行曲线突然漂移、生产流程中某个环节反复失稳、实验参数在特定阶段发生突变等。它强调的是动态过程中的偏离，而不是静态数据中的孤立点。
这种异常通常需要结合时间序列、状态转换和阶段性规律进行分析。
2 科学方法中的位置
异常识别在科学方法中并不是孤立步骤，而是贯穿观察、建模、验证和解释的连续过程。它既可以帮助研究者发现新现象，也可以用于筛除不可靠数据。
2.1 观察与记录阶段
在科学研究的起始阶段，异常识别首先体现为对数据记录的敏感性。研究者在观察实验现象、采集样本或读取传感器结果时，常常会注意到与常规记录不一致的点，并据此决定是否需要重复测量或补充采样。
这一阶段的异常发现往往依赖经验和直觉，但其价值在于能够尽早暴露仪器故障、记录失真或样本混入等问题。
2.2 假设生成阶段
异常常常是提出新假设的起点。某个数据点、某类现象或某段过程若无法用现有模型解释，就可能提示研究者重新审视原有假设，寻找新的机制、变量或分类方式。
在这一阶段，异常识别不是为了立即“排除掉”异常，而是为了判断它是否值得解释，并由此形成新的研究方向。
2.3 实验验证阶段
在实验验证阶段，异常识别用于检验现象是否稳定、是否可重复，以及是否受外部条件影响。若异常在重复实验中持续出现，往往说明其背后存在真实机制；若仅偶发出现，则更可能是噪声或操作偏差。
2.3.1 复现检验
复现检验是判断异常是否具有稳定性的基本方法。通过重复实验、重复采样或多次测量，可以观察异常是否能够再次出现，从而区分偶然波动与真实异常。
2.3.2 对照分析
对照分析通过设置基线、对照组或正常样本，比较异常对象与常规对象之间的差异。这种方法有助于识别异常是局部现象、系统性变化，还是由特定条件触发。
2.4 结果解释阶段
在结果解释阶段，异常识别的作用是帮助研究者理解偏离常规的原因，并判断其对结论的影响。若异常来自测量误差，通常需要修正或剔除；若异常代表真实效应，则可能成为研究中的重要发现。
因此，异常识别不仅是数据清洗的一部分，也属于科学解释的重要环节。
3 异常的类型
异常可以按表现形式、出现背景和时间结构进行分类。不同类型的异常对应不同的识别策略。
3.1 点异常
点异常指单个观测值明显不同于其他数据点，通常在一维或低维数据中较容易识别。例如，某次温度读数突然远高于历史范围，或某条记录的数值远离整体分布。
这类异常往往是最直观的一类，但并不总是最有代表性的异常。
3.2 上下文异常
上下文异常是指某个数据在特定环境或条件下才表现异常。一个值在某个时段、某种季节或某类对象中可能不算极端，但在当前背景下却明显不合常理。例如，同样的温度在夏季与冬季的含义可能不同。
这种异常识别通常离不开上下文变量，如时间、地点、对象类别或工况状态。
3.3 集体异常
集体异常指一组数据点整体上呈现异常模式，而其中单个点未必都异常。其异常性来自群体结构，例如一段信号整体波形失真，或一批样本的联合分布发生变化。
这类异常常见于序列、网络和图结构数据中。
3.4 时序异常
时序异常是指在时间序列中出现的非正常变化，包括突发、缓慢漂移和周期性紊乱等。相比静态数据，时间序列更强调变化过程，因此异常识别也更关注趋势、节律和状态转移。
3.4.1 突发型异常
突发型异常表现为在短时间内迅速偏离原有水平，常见于脉冲噪声、设备冲击或瞬时故障。它通常具有较强的局部性和明显的边界。
3.4.2 漂移型异常
漂移型异常指数据或过程参数在较长时间内逐渐偏离原有分布。它不一定出现明显的突变，但会导致系统状态缓慢改变，常见于传感器老化、环境变化或模型失配。
3.4.3 周期性异常
周期性异常是指异常现象与某种周期规律相关，可能在固定时间点重复出现，也可能表现为周期幅度、相位或频率的异常变化。这类异常较容易被周期结构掩盖，因此识别难度较高。
4 识别方法
异常识别方法大体可分为人工经验、统计方法、机器学习和深度学习四类。不同方法适用于不同数据规模、特征结构和解释需求。
4.1 人工经验判断
人工经验判断依赖领域专家对数据、流程和背景知识的理解，常用于样本量较小、规则明确或需要快速初筛的场景。其优势在于灵活、直观，能够处理一些模型难以量化的情况。
4.1.1 专家规则
专家规则是将经验知识转化为可执行的判断条件，例如“某指标超过安全范围则标记异常”“多个传感器同时波动则触发警报”等。它适合规则稳定的场景，但对复杂变化的适应性有限。
4.1.2 目视检查
目视检查通过图表、曲线、热图或显微图像等方式，由人工直接识别异常模式。它常用于初步探索和结果复核，尤其适合小规模数据或高可解释性要求的任务。
4.2 统计方法
统计方法基于数据分布特征、概率模型和显著性判断，是异常识别中最经典的一类方法。它们通常计算简单、解释清晰，适合基础分析和阈值设定。
4.2.1 标准差与阈值法
标准差与阈值法通过均值、方差等统计量设定界限，当观测值超过一定范围时判定为异常。该方法实现方便，适用于近似正态分布的数据，但对非对称分布或多峰分布的适应性较弱。
4.2.2 分位数与箱线图
分位数方法利用数据的分布分位点判断极端值，箱线图则通过四分位距识别超出正常范围的样本。这类方法对分布形态要求较少，常用于快速筛查异常点。
4.2.3 假设检验
假设检验通过比较观测结果与零假设下的预期差异，判断某个观测是否显著偏离常规。它适合统计推断场景，但通常依赖于样本独立性、分布假设和显著性水平的合理设置。
4.3 机器学习方法
机器学习方法通过从数据中学习正常模式，再据此识别偏离模式的样本。其优势在于能处理较复杂的特征空间，并适应多种非线性关系。
4.3.1 监督学习
监督学习需要带标签的异常样本和正常样本，用于训练分类器或回归模型。它在标签充足时效果较好，但异常样本稀缺时，训练往往较困难。
4.3.2 无监督学习
无监督学习不依赖明确标签，通常通过聚类、密度估计或距离度量寻找远离主体分布的样本。它适用于未知异常较多的场景，但结果解释通常更依赖后续分析。
4.3.3 半监督学习
半监督学习通常只使用少量标记正常样本，学习正常模式后再识别偏离者。由于异常样本难以全面收集，这种方法在很多实际任务中较为常见。
4.4 深度学习方法
深度学习方法擅长处理高维、非线性和结构复杂的数据，如图像、语音、文本和长序列信号。它们能够自动学习表示，但通常需要较多数据和较强算力。
4.4.1 自编码器
自编码器通过重构输入数据学习压缩表示，若某些样本无法被良好重构，往往被视为异常。该方法常用于图像、传感器和高维特征数据。
4.4.2 序列模型
序列模型用于处理时间序列和事件序列，可通过预测误差或状态偏离来识别异常。它适合捕捉时序依赖，但对长程依赖和噪声较为敏感。
4.4.3 图模型
图模型适用于节点、边和关系结构数据，可通过识别异常连接模式、子图结构或传播路径来发现异常。它在社交网络、通信网络和分子结构分析中较常见。
5 数据与特征
异常识别的效果很大程度上取决于数据质量和特征表示。即使方法先进，若输入数据存在系统性缺陷，识别结果也可能不稳定。
5.1 数据预处理
数据预处理是异常识别前的重要步骤，目的是减少无关扰动，提升数据的一致性和可比性。
5.1.1 缺失值处理
缺失值处理包括删除、插补或标记等方式。不同处理方法会影响数据分布，因此需要根据缺失机制和任务目标谨慎选择。
5.1.2 标准化与归一化
标准化与归一化用于消除量纲差异，使不同变量具有可比性。对于依赖距离、梯度或阈值的异常识别方法，这一步通常十分重要。
5.1.3 降噪处理
降噪处理通过平滑、滤波或去除高频扰动减少随机波动的影响。它有助于凸显真实异常，但若处理过度，也可能抹去有价值的异常特征。
5.2 特征选择
特征选择是从众多变量中筛选出最能反映异常模式的部分。合适的特征不仅能提升识别性能，还能降低计算复杂度和误报率。
在实际场景中，特征选择常结合相关性分析、领域知识和模型反馈共同完成。
5.3 特征工程
特征工程强调对原始数据进行组合、变换和提取，构造更适合异常识别的输入表示。例如，可以从原始序列中提取变化率、波动幅度、峰值密度或频域特征。
良好的特征工程常常比单纯增加模型复杂度更有效。
5.4 数据分布分析
数据分布分析用于了解样本的集中趋势、离散程度、偏态、峰态及多峰结构。通过观察分布形态，可以初步判断异常的可能范围，并选择合适的检测策略。
当数据分布明显非正态或存在多个子群时，简单阈值法往往需要调整。
6 评价与验证
异常识别的评价重点不只在于是否“找到了异常”，还在于是否准确、稳定且可用于实际决策。
6.1 评价指标
常见评价指标主要包括准确率、召回率、精确率和 F1 值等。对于异常识别而言，由于异常样本通常较少，单看准确率往往并不充分。
6.1.1 准确率
准确率表示模型正确判断的样本占总样本的比例。它直观易懂，但在类别极度不平衡时，可能掩盖异常识别效果不足的问题。
6.1.2 召回率
召回率衡量的是所有真实异常中被成功识别出来的比例。对于高风险场景，召回率通常尤为重要，因为漏掉异常的代价可能较高。
6.1.3 精确率
精确率表示被判定为异常的样本中，有多少是真正异常。它反映误报控制能力，在需要减少人工复核负担的场景中很关键。
6.1.4 F1 值
F1 值是精确率与召回率的综合指标，常用于平衡两者关系。它能较好反映模型在不平衡数据上的整体表现。
6.2 误报与漏报
误报是将正常样本误判为异常，漏报则是未能识别出真实异常。二者在实际应用中的影响不同：误报会增加人工处理成本，漏报则可能带来安全、质量或决策风险。
因此，异常识别系统通常需要根据任务优先级，在两者之间做权衡。
6.3 交叉验证
交叉验证通过将数据划分为不同子集，轮流训练和测试模型，以评估其泛化能力。对于异常识别任务，交叉验证有助于减少偶然划分带来的偏差，但在异常样本极少时，需要特别注意划分方式。
6.4 基准数据集
基准数据集是用于比较不同方法效果的标准化数据资源。它们有助于统一评价口径、促进算法对比，也便于研究者复现实验结果。
不过，基准数据集未必完全代表真实应用环境，因此模型在基准上表现优良，不一定意味着在实际场景中同样有效。
7 应用领域
异常识别的应用范围非常广泛，几乎覆盖所有需要监测、筛查和预警的科学与工程场景。
7.1 工业质量控制
工业场景中，异常识别主要用于提升产品一致性、减少缺陷和保障设备稳定运行。
7.1.1 产品缺陷检测
产品缺陷检测通过识别外观、尺寸、性能或工艺参数中的异常，发现不合格品。它常用于制造流程中的在线检测和出厂检验。
7.1.2 设备状态监测
设备状态监测通过分析振动、温度、电流、压力等信号，识别设备运行中的异常征兆。其目标通常是尽早发现故障趋势，避免停机或损坏扩大。
7.2 医学与生命科学
医学和生命科学中，异常识别常用于筛查疾病信号、监测生理状态以及分析实验数据。
7.2.1 病理筛查
病理筛查通过识别组织、细胞或影像中的异常模式，辅助发现潜在病变。它通常与人工阅片、统计分析和自动识别系统结合使用。
7.2.2 生理信号监测
生理信号监测关注心电、脑电、血氧、呼吸等时间序列中的异常变化，可用于报警、诊断辅助或长期健康观察。
7.3 金融与风控
金融领域中的异常识别主要服务于风险控制、交易监测和账户安全管理。
7.3.1 交易异常
交易异常通常表现为频率、金额、时间分布或交易模式偏离常规。它可用于识别可疑行为、系统错误或异常波动。
7.3.2 账户行为监测
账户行为监测通过分析登录地点、操作节奏、设备指纹和访问路径等信息，判断账户活动是否异常。这类应用通常强调实时性和高精度。
7.4 网络与信息安全
在网络与信息安全中，异常识别是发现可疑访问、恶意流量和系统入侵的重要手段。
7.4.1 入侵检测
入侵检测通过识别不符合正常访问模式的行为，判断系统是否遭受未授权操作或攻击。它可基于规则、统计或学习方法实现。
7.4.2 流量异常分析
流量异常分析主要关注网络通信中的突发、拥塞、扫描或异常连接模式。它常用于网络运维和安全防护。
7.5 天文与地球科学
在天文与地球科学中，异常识别常用于发现罕见事件、识别环境变化和提高观测效率。
7.5.1 天体信号异常
天体信号异常包括亮度突变、谱线变化或周期行为异常等，可能对应新的天体现象或观测误差，需要进一步验证。
7.5.2 气候数据异常
气候数据异常分析用于识别温度、降水、风速等长期记录中的异常波动，有助于研究极端事件、仪器偏差或环境变化。
8 挑战与局限
异常识别虽然应用广泛，但在真实数据环境中仍面临多方面困难。
8.1 罕见事件与真实异常的区分
罕见不等于异常，真实异常也不一定表现为极端稀有。如何区分“自然少见”与“真正偏离”是异常识别中的核心难题之一。
8.2 数据不平衡问题
异常样本通常远少于正常样本，导致模型容易偏向多数类。这个问题会影响训练效果，也会使评价指标产生偏差。
8.3 可解释性不足
一些高性能模型能够识别异常，但难以说明“为什么异常”。在需要审计、复核或科学解释的场景中，缺乏可解释性会限制其应用。
8.4 误报成本与漏报成本
不同场景对误报和漏报的容忍度不同。某些任务更怕漏掉真实异常，另一些任务则更怕大量误报，因此检测阈值和模型策略必须结合成本权衡。
8.5 场景漂移与模型失效
当数据分布、设备状态、环境条件或业务流程发生变化时，原有模型可能失去适用性。这种场景漂移会使正常模式改变，从而导致误判增加。
9 相关概念
异常识别与多个相近概念存在交叉，但关注点并不完全相同。
9.1 离群点检测
离群点检测强调发现远离主体分布的样本，常作为异常识别的重要组成部分，但范围通常更偏统计和数据空间意义上的偏离。
9.2 故障诊断
故障诊断关注系统或设备是否存在故障、故障位于何处以及原因为何。它往往建立在异常识别之后，更强调因果定位和维修决策。
9.3 变点检测
变点检测用于识别时间序列或过程数据中分布发生改变的时刻，侧重“何时发生变化”。异常识别则更广，既可找点，也可找段、找群体。
9.4 质量控制
质量控制是通过监测和管理流程，保证产品或结果符合标准的一套方法体系。异常识别常是质量控制中的关键技术手段之一。
9.5 模式识别
模式识别关注对数据模式进行分类、聚类或结构分析，目标比异常识别更广。异常识别可被看作模式识别中的一个特殊任务，即识别不符合既有模式的对象。