剪枝（Pruning）是信息技术领域中通过删除冗余、不必要或低效组件以简化系统结构的优化技术。其核心思想是在保持性能基本不变的前提下，降低计算复杂度、防止过拟合、提升模型泛化能力或压缩存储空间。该技术广泛应用于机器学习、数据挖掘、编译器优化和电路设计等领域。
1.1 定义与基本原理
剪枝的基本原理是识别并移除系统中对最终输出贡献极小或负的组成部分。在数学上，通常通过设定阈值、利用正则化项或统计检验来判定哪些组件可以安全删除。剪枝过程需平衡简化程度与性能损失，避免过度削弱系统功能。
1.2 应用领域总览
剪枝技术横跨多个领域：在机器学习中用于精简决策树和神经网络；在编译器优化中消除死代码；在游戏搜索中加速博弈树遍历；在电路设计中减少门级逻辑。各领域共享“去芜存菁”的思想，但具体实现因数据结构和优化目标而异。
机器学习中的剪枝旨在降低模型复杂度、提升泛化能力，防止过拟合。主要应用于决策树、神经网络和集成模型。
2.1 决策树剪枝
决策树剪枝通过删除不必要的分支来避免模型过于精细地拟合训练数据中的噪声。分为预剪枝和后剪枝两类。
2.1.1 预剪枝
预剪枝在决策树构建过程中提前终止分支生长，通过设定停止条件来防止无限扩展。
2.1.1.1 停止条件设定
常见的停止条件包括：当前节点样本数低于某个阈值、节点纯度达到理想值（如所有样本属于同一类别）、继续划分不能显著提升信息增益或增益率。一旦满足条件，该节点被标记为叶节点并赋予多数类标签。
2.1.1.2 常见阈值指标
常用指标有：最小样本数（min_samples_leaf）、最大深度（max_depth）、最小不纯度减少（min_impurity_decrease）。这些阈值需通过交叉验证调整，以避免欠拟合。
2.1.2 后剪枝
后剪枝允许决策树完全生长，再自底向上删除冗余子树，用叶节点替代。典型算法包括错误率降低剪枝和代价复杂度剪枝。
2.1.2.1 错误率降低剪枝
该方法比较剪枝前后的验证集错误率。如果移除某子树后错误率不增加或下降，则执行剪枝。由于依赖验证集，需要额外划分数据，但操作简单直观。
2.1.2.2 代价复杂度剪枝
代价复杂度剪枝引入平衡因子α，定义代价函数为错误率 + α × 叶子节点数。通过调整α生成一系列子树，再根据验证集选择最优子树。常用算法有CART中的最小代价复杂度剪枝。
2.2 神经网络剪枝
神经网络剪枝通过移除不重要的权重或神经元，减少模型参数量和计算量，助力移动端部署。主要分为非结构化与结构化剪枝。
2.2.1 权重剪枝
权重剪枝删除单个连接（权重），保持网络拓扑的稀疏性。典型方法包括基于幅度和基于正则化的策略。
2.2.1.1 基于幅度的剪枝
该方法假设权重的绝对值大小代表其重要性，设定全局或分层阈值，将绝对值小于阈值的权重置零。训练后需重新训练以恢复精度。经典工作如“Deep Compression”使用三阶段：训练、剪枝、微调。
2.2.1.2 基于正则化的剪枝
在损失函数中加入L1或L2正则化，使不重要权重趋向于零。训练结束后，根据零值或接近零的权重进行剪枝。更高级的方法如Group Lasso可以鼓励结构化的稀疏性。
2.2.2 神经元/通道剪枝
神经元剪枝（或通道剪枝）删除整个神经元（对卷积网络则删除整个特征图通道），直接减小网络宽度。评估神经元重要性常用指标包括激活值均值、梯度幅度或基于Batch Normalization的缩放因子。
2.2.3 结构化剪枝与微调
结构化剪枝保持剪枝后网络的规则张量形状，便于硬件高效计算。剪枝后通常需要微调（fine-tuning）若干轮以恢复因移除单元而损失的精度。迭代式剪枝（逐步剪枝+微调）比一次性剪枝效果更好。
2.3 集成模型剪枝
集成模型（如随机森林、AdaBoost）使用多个基学习器，通过删除冗余基学习器来降低存储和推理成本。
2.3.1 随机森林剪枝
随机森林剪枝通过评估每棵树的性能贡献来移除表现较差的树。常用方法包括：基于袋外误差（OOB）排序，去除误差最高的树；或利用相似性度量，剔除冗余树。剪枝后需重新表决，通常能保持精度而大幅减少模型大小。
2.3.2 AdaBoost剪枝
AdaBoost剪枝针对其加权投票机制，删除权重过小或分类准确率低于随机水平的弱分类器。也可在训练早期设置迭代次数上限（相当于预剪枝），或在完成训练后再按权重阈值剔除。修剪后的集成模型可提升预测速度，且泛化误差往往不会明显增加。
剪枝思想在其他计算领域同样扮演重要角色，包括编译器优化、游戏搜索和电路设计。
3.1 编译器优化中的剪枝
编译器通过剪枝消除无用的代码路径，提升运行效率和内存占用。
3.1.1 死代码消除
死代码消除移除永远不会被执行或计算结果从未被使用的代码片段。编译器通过数据流分析（如可达性分析）识别不可达分支或无用赋值，并从中间表示中移除。这是编译优化中最基本的剪枝形式。
3.1.2 分支预测剪枝
在编译时，根据静态预测或配置文件反馈，将概率极低的分支（如异常处理代码）进行剪枝——实际上是将这些分支的代码迁移到冷区，避免影响指令流水线的预取效率。又称“代码冷热分离”。
3.2 游戏搜索中的剪枝
在博弈树搜索中，剪枝用于裁减未被评估的节点，从而在有限时间内找到最优或次优走法。
3.2.1 Alpha-Beta剪枝
Alpha-Beta剪枝利用上下界（α值和β值）剪去不可能影响最终决策的分支。当某节点的值超出当前搜索窗口时，停止该子树的展开。该算法是极小化极大搜索的标准优化，可将搜索深度提升近一倍。
3.2.2 蒙特卡洛树搜索剪枝
蒙特卡洛树搜索（MCTS）在扩展新节点时，通过置信上界（UCT）等公式选择最有前景的路径。部分实现会在节点访问次数较小时引入剪枝策略——例如，当某个节点的胜率过低且模拟次数足够时，直接放弃该子树，将资源集中于更优分支。
3.3 电路设计中的剪枝
在数字电路综合中，剪枝用于降低逻辑复杂度、减少功耗和芯片面积。
3.3.1 逻辑电路简化
利用布尔代数定律（吸收律、冗余律等）删除冗余门或净线。例如，将“A·(A+B)”化简为“A”，等效于剪枝了一个与门。计算机辅助设计工具自动执行此类简化，使最终网表更精简。
3.3.2 功耗优化剪枝
剪枝在功耗优化中表现为关闭不需要的逻辑块（时钟门控）或消除翻转率极低的信号路径。通过添加使能信号或在综合阶段移除无用寄存器，静态功耗和动态功耗均得以降低。这种剪枝常与动态电压频率缩放配合使用。
剪枝技术需要系统化的评估指标来验证其有效性，同时也面临过剪枝、欠剪枝及恢复训练等挑战。
4.1 性能评估指标
主要从准确率、压缩率和推理速度三个维度衡量剪枝效果。
4.1.1 准确率与压缩率
准确率反映剪枝后模型在测试集上的分类或回归性能，通常要求降低不超过1%~2%。压缩率定义为原模型参数量与剪枝后参数量之比，也可用存储空间节约比例表征。两者需要权衡，高压缩率往往伴随精度下降。
4.1.2 推理速度提升
推理速度提升对神经网络尤为关键，需在真实硬件上实测。由于稀疏运算的加速比受硬件支持程度影响，剪枝后可能无法获得参数压缩对应的理论加速。通常使用每秒推理次数或单次推理延迟作为指标。
4.2 常见问题
实践中的两个典型问题是过度剪枝与欠剪枝，以及剪枝后是否需恢复训练。
4.2.1 过度剪枝与欠剪枝
过度剪枝（Over-pruning）指移除过多组件导致性能严重恶化；欠剪枝（Under-pruning）则指保留过多冗余，未达到压缩目标。解决方法包括使用验证集交叉验证剪枝率，或采用渐进式剪枝逐步逼近最优。
4.2.2 剪枝后恢复训练
对于神经网络和集成模型，剪枝后通常需要微调或重新训练部分参数，使剩余结构适应新的权重分布。完全放弃恢复训练往往导致精度损失不可逆。决策树的后剪枝则通过替换子树直接完成，无需额外训练。
随着模型规模增大和部署场景多样化，剪枝技术正朝自动化和硬件感知方向演进。
5.1 自动化剪枝算法
传统剪枝需人工设定阈值或剪枝率，未来将更多依赖自动化方法，如强化学习搜索剪枝策略、神经架构搜索（NAS）联合剪枝，以及基于贝叶斯优化的自适应剪枝。这些方法能根据不同任务和数据自动找到最优稀疏结构，减轻调参负担。
5.2 硬件感知剪枝
剪枝的最终效果高度依赖目标硬件。硬件感知剪枝在剪枝过程中考虑具体芯片的运算特性（如NVIDIA GPU的稀疏模式、手机NPU的通道对齐要求），生成硬件友好的稀疏模式。例如，NVIDIA的Ampere架构支持2:4结构化稀疏，剪枝时强制每四个权重中保留两个，以发挥张量核心加速能力。这一趋势将使剪枝从理论优化走向工程落地。