1 基本概念
1.1 定义
留出法是一种通过事先划分数据集来评估模型性能的方法。通常将原始样本分成彼此独立的部分，例如训练集与测试集，或进一步加入验证集。模型先在训练集上学习，再在未参与训练的数据上检验效果，从而获得较接近真实应用场景的性能估计。
1.2 适用场景
留出法常用于样本量较大、任务流程相对明确的建模问题。它适合快速比较多个模型方案，也常用于机器学习实验、统计分析和初步原型验证。由于实施步骤清晰，它在教学、工程实践和自动化建模流程中都较为常见。
1.3 核心目标
留出法的核心目标，是尽量模拟模型面对未知数据时的实际表现。通过将一部分数据留作独立评估集，可以观察模型是否能够稳定泛化，而不仅仅是在已见样本上表现良好。这种思路也有助于发现过拟合，并支持模型选择与参数调整。
1.4 与其他验证方法的关系
留出法与交叉验证、重采样等方法都属于模型验证手段，但侧重点不同。留出法结构简单，适合快速评估；交叉验证则通过多次划分减弱偶然性，更适合对稳定性要求较高的分析。与自助法相比，留出法更容易理解和执行，但对单次划分结果更敏感。
2 数据划分方式
2.1 训练集与测试集划分
最基本的留出法通常只分为训练集和测试集。训练集用于拟合模型，测试集用于最终评估。该方式流程简洁，常见比例包括 7:3、8:2 等，具体取值会依据任务规模、数据质量和建模目标调整。
2.2 训练集、验证集与测试集划分
在需要调参或比较多个模型时，数据也可划分为训练集、验证集和测试集三部分。训练集用于学习参数，验证集用于选择模型或调节超参数，测试集则保留到最后进行一次性评估。这样可以减少调参过程对最终评估结果的干扰。
2.3 随机划分
随机划分是留出法中最常见的方式，即按照设定比例随机抽取样本进入不同子集。其优点是操作方便，能够在总体上保持样本分布的近似均衡。缺点是一次随机分割可能带来波动，尤其在数据量较小时更为明显。
2.4 分层划分
分层划分会尽量保持各子集中的类别比例与原始数据一致，常用于分类任务。若类别分布不均衡，这种做法有助于避免测试集过度偏向某一类，从而使评估更可靠。分层划分尤其适合少数类样本较少的场景。
2.5 按时间顺序划分
在时间序列或具有明显先后关系的数据中，通常不宜打乱顺序随机划分，而应按时间顺序切分。较早的样本用于训练，较晚的样本用于测试，以模拟真实预测场景。这类划分更符合实际应用逻辑，也能避免未来信息泄漏到训练过程中。
3 实施流程
3.1 数据准备
实施留出法前，通常需要完成数据清洗、缺失值处理、异常值检查和特征整理。若存在重复样本、标签错误或明显不一致的数据，也应在划分前进行处理。准备充分的数据基础，有助于减少后续评估中的偏差。
3.2 划分比例设定
划分比例应根据样本数量和任务复杂度综合确定。数据较多时，可以适当提高测试集比例；样本较少时，则应尽量保留更多训练数据。若需要验证集，常见做法是将数据分为训练、验证、测试三部分，并平衡训练信息量与评估稳定性。
3.3 模型训练
在完成划分后，模型仅使用训练集进行训练。此阶段应避免使用测试集信息参与参数学习，以免影响后续评估的独立性。若存在特征标准化、编码或降维等操作，也应只在训练集上拟合，再应用到其他数据子集。
3.4 模型评估
训练完成后，使用测试集或验证集对模型进行评估。评估结果通常通过若干指标反映模型在未见数据上的表现。若结果明显低于训练集表现，往往提示模型存在过拟合，或数据划分与建模策略需要调整。
3.5 参数调优
当模型支持超参数设置时，可借助验证集进行调优。常见做法是比较多个参数组合，在验证集上选择表现较优者，再在测试集上给出最终结果。为避免反复“看见”测试集而影响判断，测试集通常只用于最后一次报告。
4 评价指标
4.1 分类任务指标
4.1.1 准确率
准确率表示分类正确的样本数占总样本数的比例。它直观易懂，适合类别分布相对均衡的任务。不过在样本严重不平衡时，准确率可能掩盖少数类识别能力不足的问题。
4.1.2 精确率与召回率
精确率关注被判为正类的样本中有多少是真的正类，召回率则衡量真实正类中有多少被成功识别。二者常用于关注误报与漏报成本不同的场景。实际应用中，通常需要结合任务需求同时观察这两个指标。
4.1.3 F1 分数
F1 分数是精确率与召回率的综合指标，能够在一定程度上平衡两者。它常用于类别不平衡或希望兼顾查准率与查全率的任务。相较单一指标，F1 更适合描述模型在正类识别上的整体表现。
4.2 回归任务指标
4.2.1 均方误差
均方误差衡量预测值与真实值差异的平方平均，能较强地惩罚大误差。由于平方项的存在，极端偏差会对结果产生较大影响，因此它适合希望严格控制大偏差的回归问题。
4.2.2 平均绝对误差
平均绝对误差统计预测误差绝对值的平均水平，形式更直观，也不易被少数极端值过度影响。它适合用于关注平均偏差大小、且希望指标解释较为直接的场景。
4.3 指标选择原则
指标选择应与任务目标、数据特征和业务成本相匹配。分类问题中，若类别分布平衡，可优先考虑准确率；若正负样本代价不同，则应关注精确率、召回率或 F1。回归问题中，则应结合误差敏感性选择均方误差或平均绝对误差等指标。
5 优点与局限
5.1 优点
5.1.1 实现简单
留出法的步骤较少，数据一分为二或三即可完成评估流程，易于编写和部署。对于需要快速获得基线结果的项目，它是一种成本较低的方案。
5.1.2 计算效率高
由于只需训练少数几次模型，留出法对计算资源的消耗通常较小。相较多轮重复训练的方法，它更适合大规模数据或需要快速迭代的实验环境。
5.1.3 易于理解和复现
留出法的逻辑直观，结果也便于解释。只要划分规则、随机种子和处理流程明确，其他研究者就能够较容易复现实验过程，这对工程协作和学术交流都很有帮助。
5.2 局限
5.2.1 结果受随机划分影响
由于只进行一次划分，评估结果可能受到样本抽取偶然性的影响。同一模型在不同划分下的表现可能存在差异，因此单次结果不一定足以代表模型的真实水平。
5.2.2 对小样本不够稳定
在样本量较少时，训练集和测试集都可能因样本不足而导致估计偏差较大。若数据本身波动较强，留出法的稳定性会进一步下降，结果更依赖具体划分。
5.2.3 可能造成样本利用率下降
留出法将部分数据保留为测试集，意味着这些样本不参与训练。若数据总量有限，可用于学习的信息减少，可能影响模型性能上限，尤其在复杂模型中更为明显。
6 常见改进
6.1 多次留出法
多次留出法通过重复进行不同的数据划分，并对多次评估结果取平均，来减弱一次划分带来的偶然性。它保留了留出法实现简单的特点，同时在一定程度上提升结果稳定性。
6.2 交叉验证
交叉验证将数据分成多个折，轮流让不同部分充当验证集。与单次留出相比，它能更充分利用数据，并得到更稳健的性能估计。常用于模型比较、特征筛选和参数评估等任务。
6.3 重复随机划分
重复随机划分是指多次随机切分数据集，并对多个结果进行汇总。与固定一次划分相比，这种方式更能反映模型性能的平均水平。它常被视为留出法与交叉验证之间的一种折中。
6.4 分层留出法
分层留出法在随机划分基础上保留类别比例，常用于分类问题。它既能保持留出法的简洁，又能改善类别不平衡情况下的评估偏差，因此应用较为广泛。
7 应用场景
7.1 机器学习模型评估
留出法广泛用于监督学习模型的性能验证，例如分类器、回归器和集成模型等。它能够帮助研究者快速比较不同算法，并为后续深入分析提供初步依据。
7.2 特征选择
在特征选择过程中，研究者常利用验证集比较不同特征组合的效果。通过观察留出评估结果，可以筛选更有预测价值的变量，减少冗余信息对模型的干扰。
7.3 超参数调优
许多模型依赖超参数设置，例如树的深度、正则化强度或学习率等。留出法可以借助验证集对不同参数组合进行对比，从而选择更合适的配置。
7.4 实验结果对比
在方法比较实验中，留出法可作为统一评测框架。不同算法在同一划分下进行训练和测试，便于横向比较性能差异。只要划分一致，结果就更具可比性。
8 注意事项
8.1 数据泄漏问题
数据划分后，任何会“看到”测试集信息的操作都可能造成数据泄漏。例如标准化参数、特征选择结果或编码规则若在全体数据上提前计算，都会让评估结果偏乐观。正确做法是仅在训练集上拟合，再应用到其他子集。
8.2 类别不平衡处理
当类别分布明显不均时，应优先考虑分层划分，并结合合适的评价指标。仅依赖准确率往往不足以反映模型对少数类的识别能力，必要时还可采用重采样或代价敏感方法配合处理。
8.3 随机种子设置
为了提高实验可复现性，通常需要固定随机种子。这样可以保证在相同环境下得到相同或近似一致的数据划分与结果。若研究目标是考察稳定性，也可以报告多个种子下的平均表现。
8.4 结果报告规范
在报告留出法结果时，应明确说明数据划分比例、随机方式、是否分层、随机种子以及所使用的评价指标。若进行了多次重复试验，还应给出均值和波动情况，以便读者更准确地理解模型性能。