1 定义与数学形式
1.1 基本表达式
多项式核是一种通过多项式内积隐式映射特征的非线性核函数。其核心思想是：在不显式计算高维特征向量的前提下，利用核技巧直接计算两个样本在多项式特征空间中的内积。
1.1.1 标准形式
标准形式为 \( K(x, y) = \langle x, y \rangle^d \)，其中 \( d \) 为正整数，表示多项式的次数。该形式相当于将原始特征空间中的内积直接进行 \( d \) 次幂运算，对应的特征映射包含了所有 \( d \) 次单项式的组合。
1.1.2 带参数形式
更通用的形式为 \( K(x, y) = (\gamma \langle x, y \rangle + c)^d \)，其中 \( \gamma \) 为缩放系数，\( c \) 为常数项，\( d \) 为次数。常数项 \( c \) 的引入使得特征空间中同时包含从0次到 \( d \) 次的所有单项式，增强了表示能力。
1.2 核矩阵计算
给定 \( n \) 个样本 \( x_1, x_2, \dots, x_n \)，多项式核的核矩阵 \( K \) 是一个 \( n \times n \) 矩阵，其元素 \( K_{ij} = (\gamma \langle x_i, x_j \rangle + c)^d \)。核矩阵需要满足对称性和半正定性，才能保证对应特征空间的存在性。
2 参数详解
2.1 次数参数 \( d \)
2.1.1 低次多项式核
当 \( d \) 较小（如 \( d = 2 \) 或 \( d = 3 \)）时，多项式核对应的特征空间维度相对较低，能捕捉较简单的非线性关系。低次核计算成本低，且不易过拟合，常用于数据量较小或噪声较多的场景。
2.1.2 高次多项式核
当 \( d \) 较大（如 \( d \geq 5 \)）时，特征空间维度急剧膨胀，模型复杂度增加，可能导致训练数据上的过拟合。同时，高次幂的数值计算容易溢出，需配合适当的 \( \gamma \) 和 \( c \) 使用。
2.2 常数项 \( c \)
2.2.1 同质核与非同质核
当 \( c = 0 \) 时，核函数简化为 \( K(x, y) = (\gamma \langle x, y \rangle)^d \)，称为同质多项式核，对应的特征映射仅包含 \( d \) 次单项式。当 \( c > 0 \) 时，称为非同质多项式核，特征映射包含从0次到 \( d \) 次的所有单项式。常数项 \( c \) 越大，低次项的影响越显著。
2.3 缩放系数 \( \gamma \)
\( \gamma \) 控制内积 \( \langle x, y \rangle \) 的缩放程度。若 \( \gamma \) 过小，内积值被压缩，核函数值趋近于 \( c^d \)；若 \( \gamma \) 过大，高次项的影响被放大，可能引发数值不稳定。通常 \( \gamma \) 取 \( 1/\text{特征维度} \) 或通过交叉验证调优。
3 性质与特点
3.1 可分离性
多项式核能将原始线性不可分的数据映射到高维空间，使其在该空间中线性可分。理论上，只要 \( d \) 足够大，任何有限样本集在该特征空间中都是线性可分的，但实际应用中受限于过拟合风险。
3.2 特征映射的维度
对于输入维度为 \( m \) 的样本，次数为 \( d \) 的同质多项式核对应的特征空间维度为 \( \binom{m+d-1}{d} \)。非同质核的维度更高，包含了所有低次项的组合数之和。例如，\( m=2, d=2 \) 时，同质核维度为3，非同质核维度为6。
3.3 正定性
3.3.1 Mercer条件验证
多项式核满足Mercer条件，即对于任意有限样本集，核矩阵是半正定的。这一性质源于内积的幂运算保持了正定性，且常数项 \( c \geq 0 \) 及 \( \gamma > 0 \) 时，\( (\gamma \langle x, y \rangle + c)^d \) 可视为正定核函数的合法组合。
4 与相关核函数的比较
4.1 线性核
线性核 \( K(x, y) = \langle x, y \rangle \) 是多项式核在 \( d=1 \) 且 \( c=0 \) 时的特例。线性核无法捕捉非线性关系，但计算速度极快且解释性强。多项式核通过增加次数引入了非线性，但参数更多，调优更复杂。
4.2 径向基函数（RBF）核
| RBF核 \( K(x, y) = \exp(-\gamma \|x-y\|^2) \) 具有无限维特征空间，能拟合任意复杂的决策边界。相比之下，多项式核的特征空间维度有限，对局部变化不敏感，但全局插值能力更强。RBF核通常比多项式核更稳定，而多项式核在某些结构化数据（如图像像素内积）上更有优势。 |
|---|
4.3 信号形核
信号形核（如Sigmoid核）基于双曲正切函数，而多项式核则基于幂运算。信号形核不总是满足正定性，而多项式核在参数合理时严格正定。两者均能产生非线性映射，但多项式核的数学性质更清晰。
5 应用场景
5.1 支持向量机（SVM）
5.1.1 二分类问题
在二分类SVM中，多项式核通过隐式映射使两类样本在高维空间中线性可分。常用于手写数字识别、文本情感分类等任务，其中 \( d=2 \) 或 \( d=3 \) 的核效果较好。
5.1.2 多分类问题
对于多分类（如一对多或一对一策略），多项式核仍可沿用。由于多分类需要多个二分类器，多项式核的计算开销会线性增加，但特征映射的共享性使其仍具可行性。
5.2 核岭回归
在核岭回归中，多项式核用于非线性回归。通过选择适当的 \( d \) 和正则化参数，可以拟合多项式趋势的数据，如时间序列预测或信号平滑。
5.3 核主成分分析（KPCA）
多项式核在KPCA中用于提取非线性的主成分。低次多项式核（如 \( d=2 \)）可捕获数据中的二次型结构，常用于图像去噪或降维可视化。
5.4 自然语言处理中的文本分类
在文本分类中，文档常表示为TF-IDF向量。多项式核能捕捉特征之间的高阶交互（如词共现），但高次核容易受稀疏性影响，实际中 \( d=2 \) 较为常见。
6 实现与调参
6.1 常用机器学习库支持
6.1.1 scikit-learn 示例
在Python的scikit-learn中，可通过 SVC(kernel='poly', degree=d, coef0=c, gamma=g) 调用。参数 coef0 对应常数项 \( c \)，gamma 对应 \( \gamma \)，degree 对应 \( d \)。例如：SVC(kernel='poly', degree=3, coef0=1, gamma=0.1)。
6.1.2 MATLAB 示例
在MATLAB的统计与机器学习工具箱中，使用 fitcsvm(X, Y, 'KernelFunction', 'polynomial', 'PolynomialOrder', d, 'KernelScale', 1/gamma, 'Bias', c)。其中 KernelScale 控制缩放，Bias 控制常数项。
6.2 参数选择策略
6.2.1 网格搜索
网格搜索是调优多项式核的常用方法。对于 \( d \)、\( c \)、\( \gamma \) 分别设定候选值（如 \( d \) 取2,3,4；\( c \) 取0,1,10；\( \gamma \) 取0.01,0.1,1），组合所有参数进行训练，选取验证集上性能最优的组合。
6.2.2 交叉验证
将训练集划分为 \( k \) 折，对每组候选参数进行 \( k \) 折交叉验证，取平均准确率作为性能指标。交叉验证能减少过拟合风险，但高次多项式核的计算成本较高，折数不宜过大。
7 优缺点分析
7.1 优点
7.1.1 解释性强
多项式核对应的特征映射有明确的数学含义：原始特征的各次幂与交叉项。这使得模型具有一定的可解释性，例如在回归中可分析哪些交互项起作用。
7.1.2 计算直接
与RBF核需计算指数函数不同，多项式核仅涉及内积和幂运算，计算复杂度和输入维度呈线性关系（次数较低时）。在稀疏数据上，内积计算可借助稀疏矩阵运算加速。
7.2 缺点
7.2.1 数值不稳定
当 \( d \) 较大或特征值内积较大时，核函数值可能溢出（如 \( (100)^5 = 10^{10} \)）。需通过缩放 \( \gamma \) 或对数据归一化来缓解，否则容易导致数值误差。
7.2.2 参数敏感
多项式核的性能对 \( d \)、\( c \)、\( \gamma \) 的组合非常敏感。选择不当会导致欠拟合（\( d \) 过小）或过拟合（\( d \) 过大），且调优空间为三维网格，耗时较长。
8 历史与发展
8.1 核方法的起源
核方法的思想最早可追溯到20世纪60年代的势函数方法，但真正成型于20世纪90年代支持向量机的兴起。Vapnik等人将核技巧引入最大间隔分类器，使得线性算法能处理非线性问题。
8.2 多项式核的提出
多项式核是早期核函数中与RBF核、Sigmoid核同时被广泛研究的核之一。其具体形式由Boser、Guyon和Vapnik在1992年的SVM论文中明确给出，作为非线性映射的实例。此后，多项式核在图像识别（如手写数字识别）和文本分类中得到了验证。
9 相关数学基础
9.1 内积与特征空间
内积 \( \langle x, y \rangle \) 是欧氏空间中的标准度量。多项式核通过将内积映射为 \( (\langle x, y \rangle + c)^d \)，隐式地构造了一个特征空间 \( \phi(x) \)，使得 \( K(x, y) = \langle \phi(x), \phi(y) \rangle \)。这一空间中的每个维度对应一个单项式，例如 \( d=2 \) 时，\( \phi(x) \) 包含所有形如 \( x_i x_j \) 和 \( x_i \) 的项。
9.2 多项式展开
多项式展开将输入特征向量 \( x = (x_1, x_2, \dots, x_m) \) 映射为所有次数不超过 \( d \) 的单项式集合。以 \( m=2, d=2 \) 的非同质核为例，展开后的特征向量为 \( (1, x_1, x_2, x_1^2, x_1 x_2, x_2^2) \)。核函数通过内积计算避免了显式展开，从而降低了维度灾难带来的计算负担。