1 基本概念
1.1 定义
数据清洗是指对原始数据中的错误、缺失、重复、冲突和不规范内容进行识别与处理的过程。其核心目标是提升数据的准确性、完整性、一致性和可用性，使数据更适合后续存储、分析与建模。
在实际工作中，数据清洗通常并不意味着“把数据改得完美”，而是通过一系列规则和方法，将明显不符合要求的数据修正到可接受范围内。它既可以是人工操作，也可以由程序、脚本或自动化工具完成。
1.2 作用与价值
数据清洗是数据处理链条中的基础步骤，往往直接影响后续分析结果的可靠程度。若原始数据质量较差，统计结论、预测模型和业务决策都可能受到干扰。
其主要价值体现在几个方面：一是减少错误传播，避免脏数据进入下游系统；二是提升分析效率，降低重复核对与人工修订成本；三是增强数据一致性，使来自不同来源的数据能够更顺畅地整合；四是提高建模效果，让机器学习或规则分析获得更稳定的输入。
1.3 数据质量问题类型
数据质量问题通常表现为多个维度的缺陷，不同问题对应的处理方式也不相同。常见类型包括缺失、重复、异常、噪声和不一致等。
1.3.1 缺失数据
缺失数据是指记录中某些字段未填写、未采集或在传输过程中丢失。缺失可能是随机发生，也可能与业务流程相关，例如某些信息本就不适用于特定对象。处理缺失数据时，需要先判断其成因，再决定删除、填补或保留。
1.3.2 重复数据
重复数据是指同一条信息被多次记录，或者不同记录实际上指向同一对象。重复现象常见于多来源汇总、人工录入或接口同步场景。若不处理，可能导致统计结果偏大、库存重复、用户画像失真等问题。
1.3.3 异常数据
异常数据通常指明显偏离正常范围或业务逻辑的数据点。它可能来自录入错误、设备故障、计算失误，也可能是真实但罕见的极端情况。异常值并不一定都要删除，关键在于判断其是否合理。
1.3.4 噪声数据
噪声数据是指那些会干扰分析、但不一定构成明确错误的信息，例如随机波动、测量误差、文本中的无关字符等。噪声会降低模式识别的稳定性，尤其在时间序列、传感器数据和文本数据中较为常见。
1.3.5 不一致数据
不一致数据是指同一语义信息在不同记录中呈现出不同写法、口径或取值方式。例如同一单位的称谓不统一、日期格式混杂、同一字段在不同系统中定义不同。此类问题常见于跨系统集成场景。
2 数据清洗流程
2.1 数据识别
数据识别是清洗流程的起点，主要任务是确认数据来源、结构特征和潜在问题。只有先了解数据“从哪里来、长什么样、哪里可能有问题”，后续处理才有针对性。
2.1.1 数据来源分析
数据来源分析用于梳理数据的采集渠道、生成机制和传输路径。来源可能包括业务系统、日志文件、问卷表单、传感器设备或第三方接口。不同来源的数据质量特点不同，清洗策略也会随之变化。
2.1.2 问题定位
问题定位是对数据中异常现象进行筛查和标记的过程。常见方式包括检查空值分布、重复率、字段类型、取值范围以及前后逻辑关系。定位越准确，清洗越高效，也越不容易误伤正常数据。
2.2 数据修正
数据修正主要针对已识别出的错误进行修改，使数据符合预期格式与业务要求。这一步通常需要结合规则、上下文和人工判断。
2.2.1 错误值纠正
错误值纠正是将明显录错、写错或转换错误的数据改正。例如数字位数错误、字符误拼、编码映射失误等。若可通过原始记录回溯，则优先依据原始来源修正。
2.2.2 格式统一
格式统一是把同类信息整理为一致表达方式，如统一日期格式、统一大小写、统一分隔符或统一编码方式。这样做有助于后续排序、检索、聚合和比对。
2.2.3 字段标准化
字段标准化是将名称、枚举值或单位等内容统一到标准口径。例如“北京”“北京市”归并为同一标准名称，或将“公斤”“千克”统一为同一单位。字段标准化常用于多表关联和数据仓库建设。
2.3 数据补全
数据补全用于处理缺失项或不完整记录，使数据尽量达到可分析状态。补全方式应尽量保留真实信息，避免因过度补值而引入偏差。
2.3.1 缺失值填补
缺失值填补是最常见的补全方式，包括用均值、中位数、众数、固定值或相邻值替代空缺。具体方法要视字段类型和数据分布而定，数值型、类别型与时间序列数据的处理方式并不相同。
2.3.2 规则推断补全
规则推断补全是根据已有字段之间的关联关系补出缺失内容。例如根据邮编推断城市，根据出生日期计算年龄，或根据订单金额与单价反推数量。此类补全依赖规则清晰且稳定的业务场景。
2.4 数据验证
数据验证用于检查清洗后的结果是否符合逻辑和业务要求。它相当于清洗流程中的“复核”环节，防止修正后又引入新的问题。
2.4.1 逻辑校验
逻辑校验关注字段之间是否满足基本推理关系，例如开始时间不能晚于结束时间，年龄不能为负数，已完成状态不应为空等。逻辑冲突通常说明数据仍存在异常。
2.4.2 业务规则校验
业务规则校验依据具体业务场景制定，如订单状态、库存上下限、客户等级划分等。与通用逻辑校验相比，这类规则更贴近实际应用，也更能体现数据是否“可用”。
2.5 数据输出
数据输出是将清洗结果保存到目标位置，并为后续使用提供稳定版本。输出环节不仅关注数据内容，也关注可追溯性与复现性。
2.5.1 清洗结果保存
清洗结果通常会保存到数据库、数据仓库、文件系统或分析平台中。保存时一般需要区分原始数据与清洗后数据，以便后续比对和复用。
2.5.2 版本记录
版本记录用于保留清洗前后的变更信息，包括处理时间、规则内容、执行人员或程序版本等。完整的版本记录有助于审计、回滚和问题排查。
3 常见清洗方法
3.1 去重
去重是识别并移除重复记录的常用方法，通常用于保证统计口径一致。去重既可针对完全相同的记录，也可处理内容相近但表述不同的情况。
3.1.1 完全重复去除
完全重复去除是指对于字段值完全一致的多条记录，只保留一条。此方法规则明确、实现简单，适合结构化数据中较为直接的重复场景。
3.1.2 近似重复合并
近似重复合并主要处理名称、地址、联系方式等存在微小差异的重复对象。例如拼写差异、缩写、别名或格式不同。此类去重通常需要相似度计算或人工辅助确认。
3.2 缺失值处理
缺失值处理是数据清洗中最常见的任务之一，方法选择取决于缺失比例、字段重要性以及数据分布特征。
3.2.1 删除法
删除法是直接剔除含有缺失值的记录或字段。它适用于缺失比例较低、影响不大的情况，但若删除过多，可能损失有效信息并引入偏差。
3.2.2 插补法
插补法通过统计值、相邻值或经验值替代缺失部分，是较常见的补全方式。其优点是能保留样本量，但如果插补不当，也可能改变原有分布。
3.2.3 模型预测法
模型预测法利用回归、决策树或其他算法，根据相关字段预测缺失值。这种方法比简单插补更灵活，但对特征质量和模型稳定性要求较高。
3.3 异常值处理
异常值处理的关键在于区分“错误异常”和“真实极端值”。前者应修正或剔除，后者有时反而包含重要信息。
3.3.1 阈值法
阈值法通过设定上下界判断数据是否异常，例如年龄范围、价格区间或设备读数范围。该方法直观有效，适合业务边界明确的场景。
3.3.2 统计法
统计法依据均值、标准差、分位数或箱线图等统计特征识别异常值。它更适合大样本数据，但在分布偏斜时需要谨慎使用。
3.3.3 机器学习法
机器学习法使用孤立森林、聚类、异常检测模型等技术识别复杂异常。其优势在于能处理高维和非线性场景，但通常需要较多样本和较高计算成本。
3.4 标准化处理
标准化处理用于统一不同数据在数值、文本和单位上的表达方式，降低异构数据之间的比较难度。
3.4.1 数值标准化
数值标准化常用于将不同量纲的数据转换到统一尺度，例如归一化、标准化等。它有助于提升距离计算、聚类和模型训练的效果。
3.4.2 文本规范化
文本规范化针对字符串中的大小写、空格、符号、别名和全半角差异进行整理，使文本更便于匹配和检索。对于名称、地址和标签类字段，这一步尤为重要。
3.4.3 单位统一
单位统一是将同类数值转换为统一计量单位，如长度、重量、温度、金额等。若单位不统一，数据之间的比较会失去意义，甚至导致严重误判。
4 清洗规则与策略
4.1 基于业务规则的清洗
基于业务规则的清洗强调按实际业务约束处理数据，适合规则明确、可解释性要求高的场景。
4.1.1 取值范围规则
取值范围规则用于限制字段必须落在合理区间内，如年龄、数量、价格、评分等。超出范围的数据可被标记为错误、异常或待核实。
4.1.2 格式规则
格式规则要求数据满足预设的文本或编码格式，如身份证号、日期、邮箱、电话等。格式不符往往意味着录入错误或系统转换失败。
4.1.3 关联一致性规则
关联一致性规则用于检查相关字段之间是否相互匹配，例如省份与城市、商品与分类、订单状态与支付状态等。此类规则能有效发现跨字段冲突。
4.2 基于统计特征的清洗
基于统计特征的清洗通过分析数据分布、波动和离群情况来发现问题，适用于缺少明确业务规则或规则难以穷尽的情况。
4.2.1 分布分析
分布分析通过观察频数、偏度、峰度和分位数等指标，判断数据是否存在异常集中、长尾或偏移现象。它常用于发现潜在录入错误和采样偏差。
4.2.2 离群检测
离群检测是识别明显偏离整体分布的数据点。常见方法包括箱线图、Z分数和密度分析等。离群并不必然无效，但通常需要进一步核查。
4.3 基于算法的清洗
基于算法的清洗利用机器学习或数据挖掘方法处理复杂数据问题，适合规模较大、结构较复杂的数据集。
4.3.1 聚类方法
聚类方法通过将相似对象归为一类，发现潜在重复、异常或模式偏差。它常用于文本实体合并、异常识别和客户分群等任务。
4.3.2 分类方法
分类方法可用于识别“正常”与“异常”记录，或判断数据应归入哪一类标准值。若有较好的标注样本，分类模型能提供较高自动化程度。
4.3.3 规则挖掘方法
规则挖掘方法从历史数据中自动发现常见关联关系，并将其转化为清洗规则。它适用于数据结构稳定、重复模式明显的场景，可辅助人工制定规则集。
5 数据清洗工具
5.1 表格软件
表格软件是最常见的基础清洗工具，适合小规模数据、临时修订和人工核对。其优势在于操作直观，门槛较低。
5.1.1 手工处理
手工处理适合字段较少、数据量较小或规则简单的情况。用户可以通过逐行检查、复制粘贴和批量替换完成基本清洗，但效率有限，且易受人工疏漏影响。
5.1.2 常用函数与筛选
常用函数与筛选功能可以帮助快速定位缺失值、重复项和异常值。例如筛选空白单元格、查找重复值、拆分文本或统一格式。这类方式适合快速排查问题。
5.2 数据库工具
数据库工具适用于结构化数据的大批量清洗，通常依赖查询语句、批处理和事务机制。
5.2.1 SQL清洗
SQL清洗是通过查询、更新、聚合和条件判断完成数据修正。它适合在数据库内部直接处理数据，执行效率高，也便于与业务表联动。
5.2.2 存储过程处理
存储过程处理将清洗逻辑封装为可复用的数据库程序，适合周期性任务和固定流程。它便于统一管理，但对编写规范和维护能力要求较高。
5.3 编程语言与库
编程语言与库为数据清洗提供更灵活的控制能力，适合复杂规则、批量处理和自动化流程。
5.3.1 Python
Python在数据清洗中应用广泛，常用于文本处理、数据转换、异常检测和批量脚本编写。其生态丰富，适合与分析、建模流程无缝衔接。
5.3.2 R
R在统计分析和数据整理方面具有较强能力，尤其适用于科研、探索性分析和统计建模场景。它的函数式工具与数据操作包较为成熟。
5.3.3 专用清洗库
专用清洗库通常提供去重、缺失处理、格式转换和质量检查等功能模块，降低重复开发成本。不同库侧重点不同，有的偏向表格处理，有的偏向大规模数据治理。
5.4 可视化ETL工具
可视化ETL工具通过图形界面完成抽取、转换与加载流程，适合强调流程管理与团队协作的场景。
5.4.1 图形化配置
图形化配置使用户能够通过拖拽组件、设置参数来定义清洗逻辑，减少代码编写量。对于非编程人员而言，这种方式更易上手。
5.4.2 流程编排
流程编排用于组织多个清洗步骤的执行顺序，如读取、过滤、转换、校验和输出。清晰的编排有助于提升自动化水平和任务可维护性。
6 应用场景
6.1 商业分析
在商业分析中，数据清洗用于整理销售、用户、市场和运营数据。清洗后的数据更适合制作报表、识别趋势和评估经营效果。
6.2 金融数据处理
金融数据通常要求较高的准确性和一致性，因此清洗尤为重要。常见任务包括交易记录核对、字段标准化、缺失处理和异常识别，以降低计算与汇总误差。
6.3 电子商务数据治理
电子商务场景中，商品信息、订单信息和用户行为数据来源复杂，重复与不一致问题较多。数据清洗有助于统一商品口径、修正日志缺陷并提升推荐与运营分析质量。
6.4 医疗与科研数据整理
医疗与科研数据往往涉及多表、多来源和长周期记录，清洗工作包括术语统一、缺失补全和逻辑校验。高质量的数据整理对研究结论的可靠性具有重要意义。
6.5 机器学习预处理
在机器学习中，清洗是训练前的重要准备步骤。它会影响特征质量、模型收敛和最终效果，尤其是在噪声较多或标签不完整的情况下更为关键。
7 质量评估与管理
7.1 清洗前后对比
清洗前后对比用于评估处理是否真正改善了数据质量。常见做法是比较缺失率、重复率、异常率和字段一致性变化，并检查是否存在过度清洗。
7.2 质量指标
质量指标是衡量数据是否达到使用要求的客观标准，通常结合业务目标与数据特征共同设定。
7.2.1 完整性
完整性关注数据字段是否齐全、记录是否缺漏。完整性越高，后续分析越不易出现样本偏差或计算中断。
7.2.2 准确性
准确性指数据是否真实反映客观情况或业务事实。即使数据完整，如果内容错误，仍然不具备高质量特征。
7.2.3 一致性
一致性强调同一信息在不同位置、不同系统或不同时间点上的表达应保持协调。它是跨表关联和数据集成中的关键指标。
7.2.4 唯一性
唯一性表示同一实体不应被重复记录。该指标在用户、商品、订单等主数据场景中尤为重要。
7.2.5 及时性
及时性关注数据是否在需要的时间内可用。即便数据质量较高，如果更新滞后，也可能影响实时分析和决策响应。
7.3 审计与追踪
审计与追踪用于记录清洗行为及其依据，保证数据处理过程可回溯、可检查。
7.3.1 操作日志
操作日志会记录执行时间、处理步骤、影响范围和结果状态，便于故障排查和责任追溯。自动化清洗流程通常更依赖日志管理。
7.3.2 规则留痕
规则留痕是指保存所采用的清洗规则、阈值和判断依据。留痕不仅有助于复现结果，也便于后续优化规则体系。
8 相关概念
8.1 数据预处理
数据预处理是数据清洗的上位或相邻概念，通常还包括编码、特征构造、归一化和数据切分等步骤。它更强调为分析或建模做整体准备。
8.2 数据集成
数据集成是将来自不同来源的数据汇聚并对齐的过程。清洗常常与集成同步进行，因为多源数据中最容易出现格式差异和口径冲突。
8.3 数据转换
数据转换是将数据从一种结构、编码或表达方式变换为另一种方式。清洗中的格式统一、单位统一和字段映射都可视为转换的一部分。
8.4 数据治理
数据治理强调对数据资产进行制度、流程、标准和责任方面的管理。数据清洗是数据治理中的重要执行环节，也是提升数据资产可用性的基础工作。
8.5 数据质量管理
数据质量管理是围绕数据完整性、准确性、一致性等目标进行的持续监控与改进活动。与一次性的清洗不同，它更关注规则维护、指标监测和长期优化。