1 算法原理
支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论的监督学习算法，由Vladimir Vapnik及其团队在20世纪90年代提出。其核心思想是通过寻找最优超平面来最大化不同类别样本之间的间隔，从而实现分类或回归任务。SVM在解决小样本、非线性及高维模式识别问题中表现出色，并凭借核技巧（kernel trick）扩展到非线性场景，广泛应用于文本分类、图像识别、生物信息学等领域。作为上世纪90年代末至21世纪初的“顶流”算法，SVM至今仍是机器学习教科书中的必修课。
1.1 线性可分SVM
当训练数据在特征空间中线性可分时，SVM试图找到一个能将两类样本完美分开的超平面，并且要求这个超平面距离两类样本的边界尽可能远。
1.1.1 最大间隔超平面
在二维空间中，分类超平面退化为一条直线；在高维空间中，它是一个维度减一的平面。存在无数个超平面可以将线性可分数据分开，但SVM只选择那个使两侧空白区域最大的超平面。这个超平面被称为最大间隔超平面，其数学形式为 \( \mathbf{w}^T \mathbf{x} + b = 0 \)，其中 \( \mathbf{w} \) 是法向量，\( b \) 是偏置项。
1.1.2 支持向量与间隔定义
距离最大间隔超平面最近的样本点被称为“支持向量”。这些点“支撑”起了超平面的位置——如果移除它们，超平面会移动；如果只移除其他样本，超平面则纹丝不动。间隔定义为两个异类支持向量到超平面的距离之和，数值为 \( 2 / \|\mathbf{w}\| \)。SVM的目标就是最大化这个间隔。
1.1.3 硬间隔优化问题
对于线性可分数据，SVM要求所有样本都位于间隔边界之外。这一约束导致了一个凸二次规划问题：在满足 \( y_i(\mathbf{w}^T \mathbf{x}_i + b) \geq 1 \) 的条件下，最小化 \( \frac{1}{2} \|\mathbf{w}\|^2 \)。该问题有唯一最优解，保证了模型的稳定性。
1.2 线性不可分SVM
现实中的数据往往存在噪声或重叠，无法被一个超平面完美分开。硬间隔SVM在这种情况下会无解，于是引入了软间隔机制。
1.2.1 软间隔与松弛变量
软间隔允许部分样本出现在间隔内部甚至错误一侧。每个样本被赋予一个松弛变量 \( \xi_i \geq 0 \)，表示它违反间隔约束的程度。原约束变为 \( y_i(\mathbf{w}^T \mathbf{x}_i + b) \geq 1 - \xi_i \)。优化目标也随之修改，在最小化 \( \|\mathbf{w}\|^2 \) 的同时，还要惩罚 \( \xi_i \) 的总和。
1.2.2 正则化参数C
参数C控制了对错误的容忍度：C越大，模型越倾向于让所有样本都分类正确（可能导致过拟合）；C越小，模型允许更多样本越界，换取更宽的间隔（可能导致欠拟合）。C是一个需要手动调节的超参数，其选择经常被戏称为“炼丹”的第一步。
1.3 非线性SVM与核技巧
当数据在原始空间中根本不像线性可分离时，核技巧将数据隐式映射到高维空间，在那里可能变得线性可分。
1.3.1 核函数定义与性质
核函数 \( K(\mathbf{x}_i, \mathbf{x}_j) \) 计算的是两个样本在映射后的高维空间中的内积，而不需要显式地执行映射本身。这一“降维打击”般的技巧避免了高维计算的灾难性复杂度。核函数必须满足Mercer条件，即对应的核矩阵是半正定的。
1.3.2 常用核函数
1.3.2.1 多项式核
\( K(\mathbf{x}_i, \mathbf{x}_j) = (\mathbf{x}_i \cdot \mathbf{x}_j + c)^d \)，其中 \( d \) 为多项式次数。它能够产生次数为 \( d \) 的多项式决策边界，适合特征之间具有交互关系的数据。
1.3.2.2 高斯径向基核（RBF）
\( K(\mathbf{x}_i, \mathbf{x}_j) = \exp(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2) \)，其中 \( \gamma > 0 \)。RBF核是最常用的核，具有无限维映射能力，能处理各种形状的数据。\( \gamma \) 控制着单个样本的影响半径：\( \gamma \) 越大，模型越复杂，容易过拟合。
1.3.2.3 Sigmoid核
\( K(\mathbf{x}_i, \mathbf{x}_j) = \tanh(\kappa \mathbf{x}_i \cdot \mathbf{x}_j + \theta) \)。它来源于神经网络中的激活函数，使用Sigmoid核的SVM在数学上等价于一个两层神经网络。
1.3.3 核函数选择经验法则
实际应用中，如果没有特殊理由，RBF核是默认首选。当RBF效果不佳时，可尝试多项式核（数据低维且特征较少时）或Sigmoid核。或者，传说中的“调参侠”会挨个试验，直到找到一个在验证集上表现最好的组合。
2 训练与求解
直接求解SVM的原始优化问题较为困难，因此通常通过拉格朗日对偶性将问题转化为对偶形式，再使用高效的序列算法求解。
2.1 对偶问题推导
2.1.1 拉格朗日乘子法
为原始优化问题引入了拉格朗日乘子 \( \alpha_i \geq 0 \) 和 \( \mu_i \geq 0 \)，构造拉格朗日函数。通过对 \( \mathbf{w} \) 和 \( b \) 求偏导并令其为零，可以得到 \( \mathbf{w} = \sum \alpha_i y_i \mathbf{x}_i \) 以及约束条件。代入原函数后，原问题演变为一个仅包含 \( \alpha_i \) 的对偶问题。
2.1.2 KKT条件解释
KKT（Karush-Kuhn-Tucker）条件是非线性规划最优解的必要条件。在SVM中，KKT条件直观地揭示了支持向量的本质：对于非支持向量，\( \alpha_i = 0 \)；对于间隔边界上的支持向量，\( 0 < \alpha_i < C \)；对于越界的样本，\( \alpha_i = C \)。这些条件确保了优化问题的解满足所有原始约束。
2.2 序列最小优化（SMO）算法
SMO算法由John Platt于1998年提出，是一种专门用于求解SVM对偶问题的快速算法。
2.2.1 坐标下降思想
SMO将大规模Q问题分解为一系列小的二次规划子问题。每次只选择两个拉格朗日乘子进行优化，固定其他所有乘子。由于一个乘子可以通过约束条件由另一个乘子表示，每个子问题实际上只需要处理一个变量的优化，效率极高。
2.2.2 SMO启发式选择策略
为了加快收敛，SMO采用内外两层循环来选取待优化的乘子对。外层循环优先选择违反KKT条件最严重的乘子；内层循环则选择使优化步长最大的搭档。这种策略避免了盲目配对，使得算法通常在几十到几百次迭代后即可收敛。
2.2.3 两变量子问题求解
对于选定的两个乘子，SMO直接解析地求解出它们在约束范围内的最优值。更新公式中包含对裁剪（clipping）的处理，确保新值非负且不超过C。这一过程不需要调用任何外部优化器，因此SMO执行得非常快。
3 扩展与变体
3.1 支持向量回归（SVR）
SVM的思想被推广到回归问题，形成了支持向量回归。
3.1.1 不敏感损失函数（ε-insensitive）
SVR允许模型输出与真实值之间有一定的误差ε，只要误差在ε以内，就不计损失。这相当于在回归线周围构建了一条“ε管道”，管道内的点不参与损失计算。这使得SVR得到的回归函数可以忽略小的噪声，具备良好的鲁棒性。
3.1.2 回归间隔概念
类似于分类，SVR也试图最大化“间隔”，只不过这里的间隔是指使管道尽可能宽。管道越宽，模型越平滑，泛化能力可能越好；反之，管道越窄，模型对数据的拟合能力越强，但易过拟合。
3.2 多分类SVM
原始SVM只能处理二分类问题。扩展到多分类时，常见策略有两类。
3.2.1 一对一（OvO）策略
为每两个类别训练一个SVM分类器。对于K个类别，共需训练 \( K(K-1)/2 \) 个分类器。预测时，将所有分类器的结果进行投票，得票最多的类别即为预测结果。OvO对小数据集中类别较多的情况效率较高。
3.2.2 一对多（OvR）策略
为每个类别训练一个SVM，将该类作为正类，其他所有类作为负类。共需训练K个分类器。预测时，选择输出值最大的分类器对应的类别。OvR实现简单，但可能面临类别不平衡问题。
3.3 其他变体
3.3.1 最小二乘SVM（LS-SVM）
LS-SVM将原始SVM的不等式约束改为等式约束，损失函数改用平方误差。这使得优化问题从二次规划退化为一个线性方程组求解，计算速度更快。但代价是失去了SVM的稀疏性——所有样本都可能成为支持向量。
3.3.2 孪生SVM（Twin SVM）
Twin SVM试图为每个类别生成一个超平面，使得每个超平面靠近本类样本，远离另一类样本。它求解两个更小的二次规划问题，训练速度比传统SVM快约四倍。Twin SVM对某些非对称数据表现较好。
4 应用与实例
SVM在实际问题中有着广泛的应用场景。
4.1 文本分类与情感分析
文本数据通常具有高维稀疏的特点（词袋模型下动辄数万维），而这正是SVM的长处。在早期新闻分类、垃圾邮件过滤、以及影评情感分析中，SVM常常力压其他方法。直到深度学习兴起前，SVM几乎是文本分类领域的默认选项。
4.2 图像识别（如手写数字识别）
在MNIST手写数字识别的历史上，基于RBF核的SVM曾达到当时的最优水平。SVM通过核技巧能有效提取像素间的非线性关系，对数字形状变化具有较强的容错能力。当然，后来卷积神经网络以更高的准确率将其替代，但这并不妨碍SVM作为教学案例的经典地位。
4.3 生物信息学（如蛋白质分类）
生物数据往往样本量小（收集困难）但维度高（如基因表达谱）。SVM的小样本学习能力在此类场景中大放异彩。例如，根据序列特征预测蛋白质的结构类别、识别癌症标志基因等，都是SVM的经典应用。
4.4 “梗”式调侃：SVM为何曾被称作“调参侠的救星”
在很多入门级机器学习项目中，当数据量不大、特征维度中等时，SVM配上RBF核往往只需调两个参数（C和γ）就能得到不错的基线结果——相比之下，神经网络的层数、节点数、学习率等一堆超参数足以让新手崩溃。由于SVM的调参范围相对可控、理论清晰、且一次训练后可用“支持向量”可视化解释，它曾被调侃为“调参侠的救星”：你不需要成为深度学习炼丹大师，依靠SVM和一两个核函数也能在多个竞赛中拿到还说得过去的排名。当然，这个“救星”称号在数据量暴涨和GPU普及后，逐渐被更多调参更复杂的模型所覆盖。
5 优缺点与对比
5.1 优点
5.1.1 泛化能力强
SVM基于结构风险最小化原则，通过最大化间隔控制了模型复杂度，使其在训练集和测试集上的差距通常较小。相比于那些容易过拟合的浅层模型，SVM的泛化性能令人信服。
5.1.2 高维空间有效
SVM的解只依赖于支持向量，而非全部样本，因此在特征维度远大于样本量的情况下（如文本分类），它不会像某些模型那样陷入“维度灾难”。核技巧进一步增强了其对高维数据的处理能力。
5.1.3 理论支撑严密
SVM有坚实的统计学习理论基础，包括VC维、结构风险最小化等概念。这使得SVM的行为可解释、可预测，而不仅仅是“黑盒”模型。
5.2 缺点
5.2.1 对缺失数据敏感
SVM的优化过程要求所有样本的特征都是完整的。一旦出现缺失值，标准的SVM无法直接处理，需要先进行填补（imputation）或删除缺失样本。而树模型等则可以天然地处理缺失值。
5.2.2 大规模数据训练耗时
标准SVM的训练复杂度介于 \( O(n^2) \) 到 \( O(n^3) \) 之间，其中n是样本数。当样本超过数万级别时，训练时间显著增加。虽然有SMO、近似核等加速方法，但对于百万级样本，SVM的时效性通常不如随机森林或线性模型。
5.2.3 核函数与参数选择玄学
虽然RBF核是默认选择，但C和γ的取值往往需要通过网格搜索或随机搜索获得。不同的数据集需要不同的参数组合，这种选择有时被称为“调参玄学”。而且，核函数的选择本身也没有绝对统一的法则，有时不得不靠经验或试错。
5.3 与神经网络等模型的对比
在深度学习流行之前，SVM在分类任务中常优于当时浅层的神经网络（如单隐层MLP）。但深层神经网络凭借强大的表示能力和海量数据的支撑，在图像、语音等领域取得了压倒性优势。相比之下，SVM在小样本、中等规模数据上仍有竞争力，且训练不需要昂贵的GPU。此外，SVM的全局最优解（凸优化）不同于神经网络的局部极小值问题，前者理论保证完好，后者依赖启发式。总体而言，两者不是替代关系，而是适用于不同的数据规模和复杂场景。业界一句俏皮话说得好：当你有大数据和GPU时，用神经网络；当你只有小数据和一台笔记本时，SVM可能是更好的朋友。
6 历史与趣闻
6.1 统计学习理论的诞生
SVM的根基——统计学习理论——由Vladimir Vapnik和Alexey Chervonenkis在1960至1970年代在苏联创立。他们的工作包括VC维理论、结构风险最小化等，但由于当时学术环境的封闭和计算机性能的限制，这些理论未能立即转化为实用的算法。
6.2 90年代：SVM的黄金时代
1992年，Bernhard Boser、Isabelle Guyon和Vapnik引入了核技巧，使SVM能够处理非线性问题。1995年，Vapnik的著作《The Nature of Statistical Learning Theory》出版，系统总结了SVM理论。整个90年代末，SVM在文本分类、手写识别等多项任务上刷新了纪录，成为机器学习社区的明星。SMO算法的提出更使得SVM的训练变得可行，推动了其广泛应用。
6.3 深度学习兴起后：SVM的“过气网红”与学术常青树
进入2010年代，随着深度卷积神经网络在ImageNet大赛中大放异彩，SVM在视觉领域的地位被迅速替代。“过气网红”一词开始在技术社区调侃SVM——它曾经炙手可热，如今却常被新人遗忘。然而，SVM并未真正“过气”。在文本分析、生物信息学、工业故障检测等小样本或高维场景中，SVM依然是生产级工程的上乘之选。在学术界，SVM的原理仍是机器学习的必修内容，其背后的理论为许多后续工作（如核方法、最大间隔思想）奠定了基础。可以说，SVM不再是聚光灯下的顶流，却始终是教科书和工具箱中可靠的老友。一句流传甚广的调侃是：“当你用深度学习搞不定时，不妨试试SVM——也许所谓的‘复古’才是真正的‘经典’。”