1 定义与基本概念
二分类是机器学习与统计建模中最基础的任务之一，其本质为将一组待分类样本强制分配到两个事先定义好的类别中。这种“非此即彼”的决策结构在许多现实问题中广泛存在，例如判定一封电子邮件是否为垃圾邮件、一个交易是否为欺诈行为、一位患者是否患有某种疾病等。从数学视角看，二分类可视为一个从特征空间到离散标签集的映射，且该映射通常通过从标注数据中学习得到。
1.1 二分类问题的数学表述
设输入空间 \(\mathcal{X} \subseteq \mathbb{R}^d\) 为 \(d\) 维特征空间，输出空间 \(\mathcal{Y}=\{0, 1\}\) 或 \(\mathcal{Y}=\{-1, +1\}\) 代表两个类别。给定一个包含 \(m\) 个样本的训练集 \(\mathcal{D}=\{(\mathbf{x}_i, y_i)\}_{i=1}^{m}\)，其中 \(\mathbf{x}_i \in \mathcal{X}\) 为第 \(i\) 个样本的特征向量，\(y_i \in \mathcal{Y}\) 为其真实标签。二分类的目标是学习一个假设函数 \(h: \mathcal{X} \to \mathcal{Y}\)（或一个决策函数 \(f: \mathcal{X} \to \mathbb{R}\) 后接阈值处理），使得对于任意新样本 \(\mathbf{x}_{\text{new}}\)，模型能够准确预测其类别 \(y_{\text{new}}\)。从优化角度，通常最小化经验风险函数（如0-1损失或其凸代理）来逼近最优假设函数。
1.2 正类与负类的约定
在二分类中，通常人为约定其中一个类别为“正类”（positive class），另一个为“负类”（negative class）。正类的选取往往与任务关注点有关：在疾病筛查中，“患病”通常被标记为正类；在垃圾邮件过滤中，“垃圾邮件”为正类；在信贷风险评估中，“违约”为正类。这一约定直接影响评估指标的解读（如精确率、召回率等均以正类为基准计算），并且在类别不平衡时，对正类的预测能力往往比负类更受重视。标准实践中，正类标记为1或+1，负类标记为0或-1。
1.3 与多分类问题的关系
多分类问题（\(K>2\)个类别）的求解策略中，一种重要途径是将多分类拆解为多个二分类子任务。常见策略包括“一对多”（One-vs-Rest）和“一对一”（One-vs-One）。一对多策略训练\(K\)个二分类器，每个分类器区分某一类与其余所有类；一对一策略则在每两类之间训练一个二分类器，共需\(K(K-1)/2\)个分类器，最后通过投票机制集成决策。反之，二分类也可以视为多分类的特例（\(K=2\)），许多多分类算法（如Softmax回归）在\(K=2\)时自然退化为逻辑回归等二分类模型。
2 算法与模型
实现二分类的算法家族非常丰富，从结构简单的线性分类器到高阶的深度神经网络，各有其适用场景与理论基础。
2.1 线性模型
线性模型假设决策边界在特征空间中是一个超平面，即模型输出为特征向量的线性组合加上偏置项：\(f(\mathbf{x}) = \mathbf{w}^T \mathbf{x} + b\)。其优点是训练速度快、可解释性强，在大规模高维数据中表现稳健。
2.1.1 逻辑回归
逻辑回归（Logistic Regression）虽带有“回归”一词，实质是一种用于二分类的概率预测模型。它将线性组合通过Sigmoid函数映射到(0,1)区间：\(\hat{y} = \sigma(\mathbf{w}^T \mathbf{x} + b)\)，其中\(\sigma(z)=1/(1+e^{-z})\)。模型输出视为样本属于正类的概率，通常以0.5为阈值进行硬分类。训练过程通过最大化对数似然（等价于最小化交叉熵损失）来求解参数\(\mathbf{w}, b\)，可使用梯度下降法或拟牛顿法。逻辑回归的系数\(\mathbf{w}\)可解释为各特征对对数几率（log-odds）的贡献，因而在金融、医疗等可解释性要求高的领域广受青睐。
2.1.2 支持向量机（SVM）
| 支持向量机（Support Vector Machine，SVM）是一种最大间隔分类器。其核心思想是寻找一个超平面，使得正类和负类样本距离该超平面的间隔（margin）最大化。标准SVM求解带约束的二次规划问题：\(\min \frac{1}{2}\|\mathbf{w}\|^2 + C\sum_{i=1}^{m}\xi_i\)，其中\(\xi_i\)为松弛变量以允许少量误分类，\(C\)为正则化系数。SVM仅依赖“支持向量”——那些距离超平面最近的样本点，因而具有天然稀疏性。通过核技巧（详见第7.3节），SVM可处理非线性可分问题。因其理论优美、泛化能力强，SVM在文本分类、生物信息学等任务中一度占据主导地位。 |
|---|
2.2 非线性模型
当数据分布呈现复杂边界时，线性模型往往力不从心，非线性模型通过引入层次结构、核映射或不规则分区来捕捉更丰富的模式。
2.2.1 决策树与随机森林
决策树通过递归地选择特征划分点，将特征空间分割成若干个矩形区域，每个叶节点赋予一个类别预测。基于信息增益、基尼系数或方差缩减等准则，树模型构建了一个“if-then-else”的规则集合。单棵决策树易过拟合且不稳定，随机森林（Random Forest）通过集成多棵在随机采样子集和随机特征子集上训练的决策树，并取多数投票结果，有效降低了方差。随机森林对缺失值和异常值有较好的鲁棒性，且无需特征缩放，使用方便。
2.2.2 神经网络与深度学习方法
神经网络由多层神经元堆叠而成，每层对输入进行非线性变换（如ReLU、Tanh等激活函数）。对于二分类任务，输出层通常使用Sigmoid激活函数，输出类别概率。浅层神经网络（如一个隐藏层）已能逼近任意连续函数，而深度网络（深层结构）能自动学习分层特征表示。现代深度学习方法，如卷积神经网络（CNN）用于图像二分类（如猫/狗）、循环神经网络（RNN）用于序列二分类（如情感极性分析），端到端训练，无需手动特征工程。不过深度网络对数据量、计算资源与调参技巧要求较高。
2.3 集成方法
集成学习通过组合多个弱学习器（弱分类器）来构建强学习器，通常能显著提升预测性能。
2.3.1 Bagging与Boosting
Bagging（Bootstrap Aggregating）通过有放回地采样生成多个训练子集，分别在子集上训练基分类器，最后做平均或投票。其代表是随机森林。Boosting则顺序训练基分类器，每个新分类器着重纠正前一个分类器的错误样本。常见Boosting算法有梯度提升（Gradient Boosting）及其变体XGBoost、LightGBM，在结构化数据上表现优异。
2.3.2 自适应增强（AdaBoost）
AdaBoost（Adaptive Boosting）是Boosting的早期经典版本。它赋予每个训练样本一个权重，初始相等；每轮训练一个弱分类器，根据其分类误差率更新样本权重——即提高被错分样本的权重，降低被正确分类的样本的权重。最终将所有弱分类器加权组合作为强分类器。AdaBoost对噪声敏感，但在理论推导与实践中展示了Boosting思想的有效性。
3 评估指标
评估二分类模型性能时，不能仅凭预测错误个数来判断，需结合具体应用（如关注正类预测的准确性）选择合适指标。
3.1 混淆矩阵
混淆矩阵（Confusion Matrix）是一个2×2的表格，汇总了真实类别与预测类别的交叉计数，是几乎所有二分类评估指标的基石。其行表示真实类别，列表示预测类别（或反之）。基于混淆矩阵可以直观、定量地观察模型在哪些地方犯错（如将正类误判为负类，称为“假阴性”）。
3.1.1 真正例（TP）、假正例（FP）、真负例（TN）、假负例（FN）
四个基本元素为：
- 真正例（True Positive，TP）：真实正类且被预测为正类的样本数。
- 假正例（False Positive，FP）：真实负类但被错误预测为正类的样本数（即“虚惊一场”）。
- 真负例（True Negative，TN）：真实负类且被预测为负类的样本数。
- 假负例（False Negative，FN）：真实正类但被错误预测为负类的样本数（即“漏网之鱼”）。
四个指标满足：TP + FN + FP + TN = 总样本数。
3.1.2 基于混淆矩阵的派生指标：准确率、精确率、召回率、特异度
由四个基本元素可以推导出多个常用评估指标：
- 准确率（Accuracy）：\(\frac{TP+TN}{TP+FP+TN+FN}\)，即整体预测正确的比例。在类别平衡时有效，但在严重不平衡时可能被主导类别掩盖真实性能（例如99%负类，全预测为负类准确率也有99%，但对正类毫无识别能力）。
- 精确率（Precision）：\(\frac{TP}{TP+FP}\)，表示模型预测为正类中真正为正类的占比，衡量“预测为正的准确性”。高精确率意味着少出现“误报”。
- 召回率（Recall）或敏感度（Sensitivity）：\(\frac{TP}{TP+FN}\)，表示真实正类中被正确预测的比例，衡量“抓住正类的能力”。高召回率意味着少出现“漏报”。
- 特异度（Specificity）：\(\frac{TN}{TN+FP}\)，表示真实负类中被正确预测的比例，常用于医学检测领域。
精确率和召回率往往此消彼长，可通过F1分数（\(2\cdot\frac{Precision \cdot Recall}{Precision + Recall}\)）求调和平均综合衡量。
3.2 ROC曲线与AUC
ROC曲线（Receiver Operating Characteristic curve）与AUC（Area Under the Curve）是评估二分类器排序性能的经典工具，尤其适用于不同阈值下的整体性能比较。
3.2.1 ROC曲线的绘制方法
ROC曲线以假正率（FPR）为横轴（\(FPR = \frac{FP}{FP+TN}\)）,真正率（TPR）为纵轴（\(TPR = \frac{TP}{TP+FN}\)，即召回率）。绘制时，不断移动概率预测的决策阈值（从0到1），在每个阈值下计算一组(FPR, TPR)坐标点，依次连接形成曲线。理想分类器的ROC曲线会紧贴左上方（FPR接近0、TPR接近1），随机猜测的曲线大致接近对角线（y=x）。曲线下方的面积即为AUC。
3.2.2 AUC的数学含义与解读
AUC数值介于0和1之间（通常>0.5）。其统计含义为：随机选取一个正类样本和一个负类样本，分类器将正类预测分数排在负类之前的概率。换言之，AUC衡量了模型对两个类别间排序能力的强弱。AUC=1表示完美分类，AUC=0.5表示随机猜测。AUC的优点是无需指定阈值，且对类别不平衡相对不敏感（因为它关心排序而非绝对数值）。但AUC反映的是全局排序性能，在特定阈值下的实际业务成本可能仍需结合其他指标。
3.3 损失函数与优化目标
不同模型在训练过程中使用不同的损失函数来量化预测与真实标签之间的差距，并驱动参数更新。损失函数的选择直接关系到训练稳定性与模型行为。
3.3.1 交叉熵损失
交叉熵损失（Cross-Entropy Loss）是逻辑回归与神经网络的默认损失函数。对于二分类，其定义为： \[ \mathcal{L}(y, \hat{p}) = -[y \log \hat{p} + (1-y) \log (1-\hat{p})] \] 其中\(\hat{p}\)为概率预测。该损失引入了信息论的熵概念，当\(\hat{p}\)接近1且\(y=1\)（或\(\hat{p}\)接近0且\(y=0\)）时，损失接近0；而如果模型错误地高度自信（如将负类预测为接近1的概率），损失将极大。梯度下降下，交叉熵损失具有良好的凸性（对逻辑回归而言）和梯度性质。
3.3.2 合页损失（Hinge Loss）
合页损失是标准SVM使用的损失函数，定义为： \[ \mathcal{L}(y, f(\mathbf{x})) = \max(0, 1 - y \cdot f(\mathbf{x})) \] 其中\(y \in \{-1, +1\}\)，\(f(\mathbf{x}) = \mathbf{w}^T\mathbf{x}+b\)为决策函数输出。当样本被正确分类且间隔足够大（\(y\cdot f(\mathbf{x}) \geq 1\)）时，损失为0；否则损失与间隔缺口（\(1 - y\cdot f(\mathbf{x})\)）成正比。合页损失是一种“最大边界”损失的凸代理，它在优化中鼓励分类器不仅在训练集上分对，还要留出安全的间隔，从而提升泛化能力。
4 阈值选择与后处理
标准二分类管道中，模型通常先输出一个连续分数（如概率估计），再通过阈值将其转化为离散类别。阈值与后处理策略对最终性能有重要影响。
4.1 概率阈值的作用
默认阈值通常为0.5（对应概率输出超过0.5则判为正类），但这并非对任何场景都是最优选择。调整阈值能够改变精确率与召回率的权衡：降低阈值（如设为0.3）会增多正类预测，提高召回但可能降低精确；调高阈值（如设为0.7）则反之。在业务要求高召回（如危重疾病筛查）时，可采用低阈值；若要求高精确（如精准营销推送）则采用高阈值。实际中可以通过验证集的精确率-召回率曲线或ROC曲线确定最佳阈值。
4.2 代价敏感学习
在很多现实问题中，两类错误（假正与假负）的不对称性意味着它们承受的“代价”不同。例如，银行误判一个用户欺诈（假正）可能导致客户投诉成本，而漏判一个欺诈交易（假负）可能直接造成经济损失。代价敏感学习通过在损失函数中引入代价矩阵（如将FN误分类的代价设为FP的10倍）来引导模型做出偏向低成本错误的决策。另一种实现方式是在阈值选择上体现代价比：以代价最小的概率作为阈值。
4.3 分类器校准（概率校准）
许多模型（特别是SVM、决策树、朴素贝叶斯）输出的分数或“概率”并不总是良好校准的，即分数值与实际发生概率之间存在系统性偏差。例如，某样本预测概率为0.8时，实际只有60%的可能为正类。概率校准通过后处理（如Platt缩放、等温回归）将未标定的分数映射到更准确的概率分布上。校准后的概率对业务决策（如成本-效益分析、风险定价）至关重要。校准效果可通过可靠性图（Reliability Diagram）和Brier分数来评估。
5 常见挑战与应对策略
二分类在实践中常遭遇数据或模型层面的问题，影响性能与泛化能力。以下列举三大典型挑战及其解决思路。
5.1 类别不平衡问题
当正类样本远少于负类样本（如信贷违约率仅1%）时，简单追求准确率会使模型偏向多数类，完全忽视少数类。这种不平衡会严重损害对正类的召回能力。
5.1.1 重采样方法：过采样与欠采样
重采样通过调整数据分布来缓解不平衡。欠采样（Undersampling）从多数类中随机选取与少数类等量样本，丢失信息但计算快；改进版有Tomek Links、NearMiss等。过采样（Oversampling）复制少数类样本直至平衡，简单但易导致过拟合。常用过采样算法SMOTE（Synthetic Minority Oversampling Technique）通过在少数类样本及其近邻之间插值生成新的合成样本，效果更佳。更优的组合技术如SMOTE+Tomek Links或SMOTE+ENN结合两类方法的长处。
5.1.2 代价矩阵调整
除重采样外，可通过代价敏感学习（第4.2节）在损失函数中为少数类错误赋予更高权重，间接纠正不平衡。具体方式包括使用带权重的交叉熵损失（class weight），或直接在SVM中设置类别代价参数\(C_+\)和\(C_-\)（通常\(C_-/C_+\)与类别比成反比）。
5.2 过拟合与正则化
过拟合指模型学习了训练集中的噪声和随机波动，而非通用模式，导致测试性能差。正则化（Regularization）通过向损失函数添加参数惩罚项来抑制模型复杂度。常用L1正则化（Lasso）使权值稀疏，L2正则化（Ridge）使权值平滑，二者的线性组合即弹性网（Elastic Net）。在树模型中，剪枝（限制树最大深度、最小叶子样本数）也是一种正则化。早停（Early stopping）、Dropout（对神经网络）等方法有效防止过拟合。
5.3 数据噪声与异常值
训练样中的标签错误（标签噪声）或特征异常值会误导模型学习。应对策略包括：鲁棒性较强的模型（如随机森林对孤立点有一定抵抗力）；数据清洗（如基于孤立森林或LOF识别并剔除异常样本）；或设计对噪声鲁棒的损失函数（如Huber损失代替均方误差，Focal Loss降低易分样本权重）。针对特征噪声，可采用去噪自编码器或特征降维来过滤冗余和噪声信息。
6 应用场景
二分类的实用性跨越几乎所有需要二元决策的领域。下面列举四个经典场景。
6.1 垃圾邮件检测
将电子邮件分为“垃圾邮件”（正类）和“正常邮件”（负类）。模型通常使用词袋特征、TF-IDF或词嵌入表示文本，由朴素贝叶斯、逻辑回归或SVM分类。要求高精确率以免误删重要邮件，同时高召回以有效过滤广告、钓鱼邮件。此场景下数据常动态变化，需要模型支持增量更新。
6.2 医学诊断（患病/未患病）
医生借助机器学习模型辅助诊断疾病：如从X光片中判断是否有肺癌（正类/负类）。此类任务对假阴性（漏诊）容忍度极低，通常设置低阈值、追求极高召回率，同时通过AUC等指标评估整体判序能力。模型需包含可解释性部分（如突出病灶区域）以获得临床信任。
6.3 情感分析（正面/负面）
对于文本（如商品评论、社交媒体帖子），二分类模型将其情感倾向判定为正面或负面。以卷积神经网络或BERT为代表的预训练模型已成为主流。应用过程中需注意语境歧义与讽刺表达。
6.4 欺诈交易识别
对银行信用卡交易实时判断是否欺诈（正类）。由于正样本稀少（<0.1%），类别不平衡矛盾突出。常用XGBoost结合欠采样/代价敏感训练，强调召回率与精确率的平衡（以Fbeta分数标定），同时为了实时响应，模型需具备低推理延迟。
7 延伸与变体
二分类基础之上衍生出多种扩展形式，以适应更复杂的应用需求。
7.1 多标签二分类
在传统二分类中，每个样本只属于两类中之一。而多标签二分类允许一个样本同时属于多个类别（例如，一张图片同时包含“猫”、“狗”和“草地”）。解法通常将问题转化为每个标签独立做二分类（Binary Relevance法），或采用分类器链（Classifier Chains）等考虑标签依赖的模型。评测指标相应变为Hamming Loss、Jaccard指数等。
7.2 在线学习与增量二分类
在数据以流式方式到达、无法一次性加载全量数据时，在线学习（Online Learning）以逐样本方式更新模型，常用于推荐系统、广告点击率预测。代表性算法包括在线梯度下降、Passive-Aggressive算法、第二感知器（Second-order Perceptron）。增量二分类关注在保留旧知识的前提下持续学习新数据，需平衡稳定性与可塑性。
7.3 对偶问题与核方法
核方法（Kernel Methods）通过将原始特征映射到高维空间（甚至无限维），使得线性模型在高维空间中学习非线性边界。核技巧（Kernel Trick）在SVM中最为经典：通过将原始优化问题的内积替换为核函数\(K(\mathbf{x}_i,\mathbf{x}_j) = \phi(\mathbf{x}_i)^T\phi(\mathbf{x}_j)\)来隐式地处理高维特征。常用核函数包括线性核、多项式核与径向基核（RBF）。核方法的对偶形式使其计算复杂度与样本数相关（而非特征维数），在大规模数据中对计算与存储的要求较高。