特征工程 - Ciallo Wiki

1 基本概念

1.1 特征的定义与类型

特征是数据中用于描述观测对象的可量化属性或变量。在机器学习中，特征通常以向量形式存在，每一维度代表一个特定的信息维度。根据数据性质，特征可分为数值型特征（如年龄、价格）、类别型特征（如性别、颜色）、文本特征（如评论内容）、时间序列特征（如股票收盘价）以及图像/音频特征（如像素值、频谱）等。良好的特征能够准确捕捉问题的内在规律，是模型学习的“原材料”。

1.2 特征工程的目标与意义

特征工程的核心目标是使原始数据转化为模型能够高效利用、具有强预测能力的表示形式。具体来说，它旨在解决以下问题：消除噪声和冗余、统一特征尺度、处理缺失与异常、创造能反映复杂交互的新特征。业界共识是，特征的质量直接决定了模型性能的上限——即便使用简单的线性模型，精心设计的特征也可能超越“暴力”调参的深度学习网络。因此，特征工程被认为是数据科学中“含金量最高”的步骤之一。

1.3 特征工程在机器学习流程中的位置

典型的机器学习流程依次为：业务理解 → 数据采集 → 数据清洗 → 特征工程 → 模型选择与训练 → 模型评估 → 部署。特征工程位于数据清洗之后、模型训练之前，它既承接原始数据的“整理”工作，又为后续模型提供“弹药”。在实际项目中，特征工程往往占据总开发时间的60%-80%，其产出直接影响到模型收敛速度、泛化能力以及最终效果。

2 常见特征处理方法

2.1 数值型特征处理

2.1.1 标准化与归一化

标准化（Z-score）将特征转化为均值为0、方差为1的标准正态分布，公式为：\( z = (x - \mu) / \sigma \)。归一化（Min-Max Scaling）则将特征缩放到[0,1]区间，公式为：\( x' = (x - min) / (max - min) \)。标准化对异常值更鲁棒，适用于数据分布未知或存在极端值的情况；归一化则适用于有界特征，如像素值。许多模型（如SVM、神经网络）对特征尺度敏感，因此这两种变换是预处理中的“常规操作”。

2.1.2 离散化与分箱

将连续数值划分为若干离散区间（分箱），可减少噪声并增强模型鲁棒性。常见方法包括等宽分箱（将范围均分为K段）、等频分箱（使每箱样本数量一致）以及基于聚类的分箱（如K-means将数值点聚为K组）。离散化后的特征通常与独热编码搭配使用，适用于线性模型或树模型，尤其当特征与目标呈非线性关系时。

2.1.3 对数变换与幂次变换

对数变换 \( \log(x + c) \) 常用于偏态分布（如收入、房价），能够拉近范围、使分布更接近对称。幂次变换（如Box-Cox变换）是其一般化形式，通过估计参数λ使数据最大化符合正态分布要求。这类变换对长尾数据或异方差性问题有较好改善效果，能提升线性模型与神经网络的表现。

2.1.4 缺失值处理

常见处理策略包括删除法（删除含缺失值的样本或特征）、填充法（用均值、中位数、众数填充）、模型预测法（用其他特征构建模型预测缺失值）以及将缺失本身作为新特征标记。选择哪种方法取决于缺失比例、数据机制（随机缺失/非随机缺失）以及业务解释性。例如，对于重要特征且缺失比例较低时，中位数填充是一种保守但实用的选择。

2.2 类别型特征处理

2.2.1 独热编码（One-Hot Encoding）

将类别变量转换为一系列二进制变量（0/1），每个取值对应一列。例如“颜色：红、绿、蓝”会生成三个新列。该编码不引入顺序假设，适用于线性模型和神经网络。但当类别数量极多（如城市列表）时，会导致维度爆炸，引发“维数灾难”。

2.2.2 标签编码（Label Encoding）

将每个类别分配一个整数值（如：红色=1，绿色=2，蓝色=3），常用于树模型，因为树模型能够处理有序性。缺点是引入了不存在的顺序关系，可能误导线性模型。因此，标签编码更适合“有序类别”（如“差、中、好”），对于无序类别应谨慎使用。

2.2.3 目标编码（Target Encoding）

使用目标变量（因变量）的统计值来替换类别，典型做法是用类别对应的目标均值编码。如“城市”特征的“北京”被替换为该城市样本的平均目标值。该方法能有效捕获类别与目标的关系，但容易导致过拟合，需要通过交叉验证或添加噪声来抑制。常用于高基数类别（如用户ID、商品ID）。

2.2.4 频次编码与计数编码

直接用类别出现的频次或计数作为新特征，该方法对稀有类别有较好泛化效果，因为高频次类别可能具有更稳定的统计特性。频次编码还适用于处理低频噪声。例如，在交易数据中，“用户ID”列可以转换为“该用户历史交易次数”，这既能降低维度又保留了信息。

2.3 文本特征处理

2.3.1 词袋模型（Bag of Words）

将文本表示为词频向量，忽略词语顺序。每个文档对应一个向量，维度为整个语料库的词汇表大小，每个位置记录该词在文档中出现的次数（或是否出现）。这种方法简单高效，但会丢失上下文语义，且词汇表过大时需配合降维或稀疏表示。

2.3.2 TF-IDF

在词袋模型基础上引入逆文档频率（IDF）惩罚，即一个词如果在很多文档出现（如“的”“是”），其重要性会降低；高频但在少数文档出现的词（如专有名词）会获得更高权重。公式为TF-IDF = TF × IDF，其中IDF = log(文档总数 / 包含该词的文档数)。该方法是文本分类任务的基维工具之一。

2.3.3 Word2Vec与词嵌入

通过神经网络训练得到词的向量表示（如300维），能捕获词语之间的语义相似性（如“国王” - “男人” + “女人” ≈ “女王”）。Word2Vec包括CBOW（根据上下文预测中心词）和Skip-gram（根据中心词预测上下文）两种模型。词嵌入可进一步用于句子级别（如通过平均词向量）或序列模型（LSTM/Transformer）中。

2.3.4 n-gram特征

将连续的n个词或字符作为整体特征，如bi-gram（“机器”“学习”“特征”，即这样）。n-gram能够部分捕捉词的顺序和局部短语信息，n值一般取2或3，过大则导致稀疏性与计算成本急剧上升。常用于短语级情感分析或搜索建议。

2.4 时间序列特征处理

2.4.1 时间戳分解（年、月、日、星期等）

将时间戳转换为可分析的结构化特征，如年、月、日、星期几、小时、是否节假日、第几季度等。这些特征可以捕捉周期性和季节性模式。例如，零售数据中“星期几”可能显著影响销量，而“是否为月底”可能影响薪资消费。分解后可作为数值或类别特征使用。

2.4.2 滑窗统计特征（均值、标准差等）

对滑动窗口内的历史数据计算统计量（如过去7天的均值、过去30天的最大值、标准差等），用于预测当前时刻。这些特征能够表现近期趋势和波动性。选择窗口大小需结合领域经验（如一周周期、月度周期）。滑窗统计是时间序列预测任务中最常用的人工特征之一。

2.4.3 滞后特征（Lag Features）

利用延迟一段时间（lag）的历史值作为当前特征，如t-1时刻的值、t-7时刻的值。滞后特征能直接反映序列的自相关性，常用于ARIMA类模型或树模型。通常需要设定多个滞后步长，并结合差分（将序列转换为平稳序列）来消除趋势。注意滞后特征不可用于“未来”数据，以避免数据泄露。

2.5 图像与音频特征处理（简要概述）

图像特征传统上包括颜色直方图、纹理特征（如LBP、Gabor）、角点检测（如SIFT、SURF）；现代视觉任务主要依赖卷积神经网络（CNN）自动提取的深度特征（如ResNet输出层的特征向量）。音频特征类似，包括梅尔频率倒谱系数（MFCC）、频谱图、节拍特征、过零率等。在实际应用如语音识别中，常用预训练模型（如Wav2Vec）获取嵌入向量。图像和音频特征工程正向“端到端”表示学习迁移，但在数据量少或硬件限制时，手工特征仍有使用价值。

3 特征选择

3.1 Filter方法（过滤法）

3.1.1 方差选择法

根据特征的方差来筛选，方差过低的特征（如几乎所有样本取值相同）被认为提供的信息量少，直接剔除。常用阈值为0或设定百分位（如保留方差排前80%的特征）。该方法计算简单，但仅考虑特征自身，忽略与目标的关系。

3.1.2 相关系数法

计算特征与目标变量之间的皮尔逊相关系数（适用于线性关系）或斯皮尔曼秩相关系数（非线性）。取绝对值大于某个阈值（如0.1）的特征保留。相关系数能直观显示变量间的线性关联强度，但对于复杂的非线性模式可能漏检，并且无法检测多特征交互作用。

3.1.3 卡方检验与互信息

卡方检验用于类别特征与类别目标之间的独立性检验，计算每个特征与目标的卡方统计量，筛选统计量较大的特征。互信息（MI）更通用，可衡量任意特征与目标之间的信息共享量（包括非线性关系）。互信息的值越高，说明该特征对预测目标越重要。两者均是Filter方法中比较有效的进阶工具。

3.2 Wrapper方法（包装法）

3.2.1 递归特征消除（RFE）

基于一个估计器（如逻辑回归、SVM）反复训练模型，每次迭代后剔除权重最小（或重要性最低）的特征，直到达到预设特征数。此过程考虑特征间的组合效应，结果比Filter方法更精准，但计算成本高（需要多次拟合模型）。RFE按特征重要性从大到小排序，可同时作为特征重要性排序工具。

3.2.2 正向/反向逐特征搜索

正向搜索：从空集开始，每次添加一个对模型性能提升最大的特征，直到性能不再显著提升。反向搜索：从全特征开始，每次删除一个影响最小的特征。这两种方法简单直观，但容易陷入局部最优，且计算量随特征数呈指数增长（尽管通常采用贪心策略）。在特征数<50时使用较多。

3.3 Embedded方法（嵌入法）

3.3.1 基于L1正则化（Lasso）

在损失函数中加入L1惩罚项，迫使部分特征系数变为0，从而实现特征选择和模型拟合的一体化。Lasso适用于线性模型，能自动筛选出非零系数的特征。其正则化强度由参数α控制，α越大，被保留的特征越少。Lasso对特征间高相关性的处理较为粗糙（通常只保留其中一个），需配合相关性分析使用。

3.3.2 基于树模型的特征重要性

树模型（如决策树、随机森林、XGBoost）可输出特征重要性评分，常用指标包括基于不纯度减少（Gini重要性）或基于排列精度下降。该评分能直观展示各特征对预测的贡献程度，且天然考虑特征交互。将其用作特征选择的依据非常常见，如保留重要性排名前K个特征。缺点是不同实现（如sklearn的随机森林与XGBoost）之间重要性定义略有差异，可能存在偏差。

4 特征构造与自动化

4.1 手工特征构造

4.1.1 交叉特征（多项式特征、笛卡尔积）

将两个或多个特征组合成新特征，以捕捉它们之间的互动关系。例如，对数值特征计算乘积、平方、交互项（如 \( x_1 \times x_2 \)），或对类别特征做笛卡尔积（如“性别×城市”）产生新的类别组合。这种构造能提升线性模型对非线性关系的拟合能力，但也会显著增加特征维度，需警惕过拟合和共线性。

4.1.2 聚合特征（分组统计）

在按某个实体分组（如按用户ID分组）时，对同一组内的数值特征做统计汇总（平均值、最大值、最小值、标准差、计数、中位数等），生成全局或局部统计量。例如“该商品所在店铺的平均销量”“该用户月交易金额的最大值”。这种方法广泛用于多对一关系表（如用户历史行为表）的特征提取，是结构化数据竞赛中的“杀手锏”。

4.1.3 基于业务逻辑的领域特征

依赖领域知识构造的特征，例如在信用卡欺诈检测中，构造“近一小时交易频次”“本次金额与历史平均金额的比值”；在天气预报中，构造“气压变化率”“相对湿度与温度差”。业务特征往往具有极高的可解释性和预测力，是手工特征中最难复制但最体现工程师价值的部分。

4.2 自动化特征工程

4.2.1 特征生成算法（如Featuretools）

Featuretools通过“深度特征合成”（Deep Feature Synthesis, DFS）自动从多个关系表中生成特征，它识别实体之间的连接（如用户-交易表），并应用预定义的聚合函数（如计数、平均值、趋势、分位数）在时间序列或分组维度上构造新特征。用户只需提供实体集和关系定义，即可自动得到数千个候选特征，极大减少手工工作量。但也需要注意结果的可解释性和计算开销。

4.2.2 自动特征选择与搜索

结合自动生成特征与特征选择算法，形成闭环自动化流程。常见做法包括使用遗传算法、模拟退火或贝叶斯优化搜索最佳特征子集，配合简化评估（如交叉验证AUC）以控制搜索时间。端到端的自动化特征工程工具（如AutoML的某些模块）尝试整合生成、编码、选择与建模步骤，形成一站式解决方案。

4.2.3 深度学习中的自动表示学习

深度神经网络通过多层非线性变换自动学习数据的高阶表示，替代了传统手工特征构造。例如卷积神经网络在图像任务中自动学习边缘、纹理、物体部分等特征；循环神经网络或Transformer在序列数据中自动捕获上下文依赖。这种“端到端学习方法”在非结构化数据（图像、文本、音频）中表现优异，甚至实现了对结构化数据的直接建模（如TabNet、FT-Transformer），但仍然需要配合归一化、缺失值处理等常规预处理步骤。

5 特征工程评估与优化

5.1 特征有效性验证

5.1.1 单特征预测能力评估

对每个特征单独训练一个基础模型（如逻辑回归、单层决策树），评估该特征单独预测目标变量的能力。常用的评估指标包括准确率、AUC、互信息分数或F1分数。通过单特征评估可以快速筛选出显著有效的特征，也能识别出“伪装好”的噪声特征（即单独看效果好，但加入其他特征后性能下降）。

5.1.2 特征与目标的相关性分析

使用统计量（皮尔逊r、斯皮尔曼ρ、方差分析F值）或可视化（散点图、箱线图）直观展示特征与目标的关系。分析结果有助于确认特征是否符合领域直觉，以及发现非线性或分段关系。例如，“年龄与收入”可能呈现“先增后降”的驼峰形状，此时应考虑加入平方项或分段化处理。

5.2 特征冗余与多重共线性

冗余特征指与其他特征高度相关、提供重复信息的特征。多重共线性（多重共线性指线性回归中特征之间存在高度线性相关）会导致模型参数估计不稳定，尤其对线性模型影响大。常用检测指标是方差膨胀因子（VIF），VIF>10通常认为多重共线性严重。处理方法包括删除相关特征（保留与目标相关性更强的特征）、使用主成分分析（PCA）降维，或采用正则化模型（如岭回归）自动处理共线性。

5.3 特征工程对模型可解释性的影响

过于复杂的特征构造（如深度交互、高维嵌入）可能牺牲模型的可解释性，使得业务人员难以理解预测依据。例如，独热编码和多项式交叉虽然能提升性能，但产生大量稀疏特征，使逻辑回归系数的解释变得繁琐。在金融风控、医疗诊断等对解释性要求高的场景下，需要权衡性能与透明的矛盾，倾向保留少量清理过的高可解释性特征。另一种思路是使用SHAP、LIME等后验解释技术评估各特征贡献，提升复杂特征对外的“透明度”。

6 常用工具与库

6.1 Python生态（scikit-learn、pandas、Featuretools、Category Encoders）

scikit-learn 提供Feature selection模块（如SelectKBest、RFE）、preprocessing模块（StandardScaler、OneHotEncoder、LabelEncoder），以及Pipeline用于组合变换。
pandas 是数据处理的核心，支持分箱（pd.cut/pd.qcut）、分组统计（groupby.agg）、时间戳分解等。
Featuretools 专注于自动特征生成，支持多表关系与DFS，尤其适合复杂OLTP数据。
Category Encoders 提供大量类别编码器（目标编码、留一法编码、WOE编码、Janowski编码等），覆盖了scikit-learn未提供的编码方法。

6.2 R语言相关包（caret、recipes）

caret 提供统一的特征选择和预处理函数接口，如preProcess（标准化/Box-Cox）、nearZeroVar（方差过滤）、rfe（递归特征消除）。
recipes 是tidyverse生态的预处理包，通过step_*系列函数实现分箱、虚拟变量、标准化、PCA降维等，可与parsnip建模框架打包成workflow工作流。

6.3 分布式大数据场景（Spark MLlib、Dask）

Spark MLlib 提供可伸缩的并行特征工程操作：VectorAssembler（向量组装）、StandardScaler、StringIndexer（类别索引）、OneHotEncoderEstimator、以及基于树的特征重要性输出。适合处理TB级数据。
Dask 类似pandas的并行版，支持内存放不下的大数据集，可配合scikit-learn的增量功能。用户可将pandas式特征处理代码迁移到Dask DataFrame，通过调度器实现分布式计算。

7 实战案例与注意事项

7.1 典型数据竞赛中的特征工程技巧

在Kaggle等竞赛中，特征工程往往决定胜负，常见的杀手级技巧包括：

多层聚合：按实体分层（如用户→商品→时间），对内层统计后再对外层聚合，产生“第二级聚合特征”。
时间滑窗验证：针对时序问题，使用时间切片划分训练集与验证集，基于滑窗生成特征，避免“未来数据污染”。
特征融合与排序：基于多个基模型（如不同的树、线性模型）的特征重要性排序，选出共识高的特征，增强通用性。
利用外部数据：引入外部数据集（如天气、节日、电子地图）进行join或扩充，获得独特洞察。

7.2 常见陷阱（数据泄露、过拟合、评估偏差）

数据泄漏：特征构造中无意使用了未来信息，如用整个训练集的均值为分组做目标编码、用未来时间点的滑窗统计。解决方法是严格划分时间或使用交叉验证内的独立编码。
过拟合：构造过多特征、信息量不全或无意义的特征，导致模型在训练集上表现极好、测试集上惨不忍睹。对策包括增加正则化、使用交叉验证选择特征、对特征重要性设立阈值。
评估偏差：使用错误的验证策略，如在时序问题中使用随机打乱交叉验证；或在特征生成环节使用了验证集数据（如对全量数据做PCA）。这会导致对模型泛化能力的错误乐观估计。

7.3 特征工程与模型选择的关系

特征工程与模型选择并非孤立的两个步骤，它们之间高度耦合：

线性模型（逻辑回归、SVM）依赖特征工程来捕捉非线性、交互和高阶信息，因此对交互特征、多项式特征、目标编码等非常敏感。
树模型（随机森林、XGBoost）对非线性、缺失值和异常值具有天然鲁棒性，但可能无法很好地利用平滑的全局模式，需要对数值特征进行适当分箱或对数变换。
神经网络 对特征尺度敏感，需要标准化，同时擅长通过内部表示学习特征交互，过度的手工特征可能带来冗余反而影响收敛。在深度方法中，适度精简特征（配合嵌入）往往优于堆砌大量人工特征。

实践中，建议先粗筛特征（如至少具有单特征显著性），再对不同类型的模型批量验证特征组合效果，通过迭代优化找到当前的“最佳特征集+最佳模型”配对。