支持向量机（SVM）编辑历史

# 支持向量机

## 1 算法原理

支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论的监督学习算法，由Vladimir Vapnik及其团队在20世纪90年代提出。其核心思想是通过寻找最优超平面来最大化不同类别样本之间的间隔，从而实现分类或回归任务。SVM在解决小样本、非线性及高维模式识别问题中表现出色，并凭借核技巧（kernel trick）扩展到非线性场景，广泛应用于文本分类、图像识别、生物信息学等领域。作为上世纪90年代末至21世纪初的“顶流”算法，SVM至今仍是机器学习教科书中的必修课。

### 1.1 线性可分SVM

当训练数据在特征空间中线性可分时，SVM试图找到一个能将两类样本完美分开的超平面，并且要求这个超平面距离两类样本的边界尽可能远。

#### 1.1.1 最大间隔超平面

在二维空间中，分类超平面退化为一条直线；在高维空间中，它是一个维度减一的平面。存在无数个超平面可以将线性可分数据分开，但SVM只选择那个使两侧空白区域最大的超平面。这个超平面被称为最大间隔超平面，其数学形式为 \( \mathbf{w}^T \mathbf{x} + b = 0 \)，其中 \( \mathbf{w} \) 是法向量，\( b \) 是偏置项。

#### 1.1.2 支持向量与间隔定义

距离最大间隔超平面最近的样本点被称为“支持向量”。这些点“支撑”起了超平面的位置——如果移除它们，超平面会移动；如果只移除其他样本，超平面则纹丝不动。间隔定义为两个异类支持向量到超平面的距离之和，数值为 \( 2 / \|\mathbf{w}\| \)。SVM的目标就是最大化这个间隔。

#### 1.1.3 硬间隔优化问题

对于线性可分数据，SVM要求所有样本都位于间隔边界之外。这一约束导致了一个凸二次规划问题：在满足 \( y_i(\mathbf{w}^T \mathbf{x}_i + b) \geq 1 \) 的条件下，最小化 \( \frac{1}{2} \|\