1 特徴量エンジニアリングの概要
特徴量エンジニアリングとは、機械学習モデルが利用する入力として、データから意味のある数値表現や特徴量を作成・選択・変換する一連の技術と実務プロセスである。特徴量の質は学習結果に直結し、同じモデルでも特徴の与え方によって精度や頑健性、学習速度が大きく変わる。
1.1 目的と役割
1.1.1 学習可能性の向上
モデルが扱いやすい形にデータを整えることで、勾配の安定化や探索の効率化につなげる。例えば、尺度の揃っていない変数は学習が偏りやすく、適切なスケーリングや変換により最適化の収束が促進される。
1.1.2 予測性能と汎化性能の改善
特徴量は、データ中の構造をより直接的にモデルに伝える役割を持つ。ターゲットとの関連性が高い変換、ノイズを抑える集約、再現性のある統計量の導入などによって、訓練データだけでなく未知データへの性能も高めることが狙いとなる。
1.1.3 解釈性・運用性の確保
現場では、モデル性能だけでなく意思決定に必要な説明可能性や、継続運用の容易さが重要となる。特徴量がどのデータからどのように生成され、どの範囲で利用可能かを明確にすることは、監視や保守のコスト削減に寄与する。
1.2 従来の前処理との違い
1.2.1 特徴作成の範囲
前処理は主として欠損処理やスケーリングなど「入力を整える」ことに重点が置かれやすい。一方、特徴量エンジニアリングは、目的変数との関係を強めるための新規の表現を設計し、集計・変換・相互作用などを含めてより踏み込む。
1.2.2 表現とモデルの相互作用
特徴量はモデルの帰納バイアスと噛み合う必要がある。線形モデルでは有効な変換が異なり、木系モデルや深層モデルでは同じ特徴でも得られる効果が変わるため、特徴設計と学習器の選定は同時に考えることが望ましい。
1.3 典型的なワークフロー
1.3.1 データ理解と要件整理
最初にデータの生成過程、測定単位、欠損の理由、利用可能な時間帯や頻度、評価指標と制約を整理する。ここでの理解不足は、後工程での特徴設計や検証設計の破綻につながる。
1.3.2 仮説設定と実験計画
仮説は「どの情報が予測に寄与しそうか」を具体化したものとなる。例えば、需要の季節性が疑われる場合は期間窓の集計や周期性の特徴を検討し、どの範囲で検証するか、比較対象となるベースラインを定める。
1.3.3 検証・反復
試作した特徴量は、適切な分割と指標で評価し、過学習やリークの兆候を確認する。性能が伸びない場合は、特徴の妥当性、前処理の整合性、評価設計の再点検を行い、改善サイクルを回す。
2 データ準備（前処理）
特徴量エンジニアリングの効果を最大化するには、入力データの品質と整合性を確保することが必要である。前処理は特徴生成の前段として位置づき、誤りが入ると後工程の特徴も歪んでしまう。
2.1 欠損値への対応
欠損は情報そのものを含む場合があるため、単純な除外ではなく理由と影響を理解した上で扱う。
2.1.1 欠損の検出と整理
欠損率を全体だけでなく、主要な属性や時間に沿って分解して観察する。欠損が偏っている場合、学習結果にバイアスが入り得るため、欠損メカニズムの仮説を立てておく。
1.1.2 補完・除外の選択基準
補完は平均や中央値のような単純手法から、推定モデルを用いる手法まで幅がある。欠損が多い特徴は補完が不安定になりやすく、また補完値が意味を持たない場合は別の表現（欠損フラグ）を併用するのが一般的である。
2.2 外れ値・異常値の扱い
外れ値は誤測定や手続き上の例外であることもあれば、予測対象に関する重要な兆候であることもある。そのため、一律の削除は危険となる。
2.2.1 ルールベース検出
物理的妥当性や業務上の上限下限、測定プロセスの逸脱など、明確な条件に基づいて異常を抽出する。検出基準はドメイン知識に依存し、透明性が高いのが利点である。
2.2.2 ロバスト化と影響評価
代表値や損失関数のロバスト化により外れ値の影響を抑える。さらに、除外した場合と保持した場合で性能や安定性がどう変わるかを比較し、損失増加の理由を特定する。
2.3 スケーリングと正規化
尺度の差は学習の振る舞いを変えるため、特徴量の分布を揃える操作がよく用いられる。
2.3.1 標準化・正規化の違い
標準化は分散を1にし平均を0にする操作として知られる。一方、正規化は範囲を制限したりノルムを揃えることを指し、目的やモデルの前提に応じて選択される。
2.3.2 特徴量分布の歪みへの対処
歪んだ分布に対しては、対数変換や冪変換などでテールを抑えることがある。結果として分散や勾配が扱いやすくなり、特徴同士の競合が減る。
2.4 型変換とエンコーディング
データは数値だけでなくカテゴリや時系列を含むため、モデルが受け取る形式へ変換する。
2.4.1 数値・カテゴリ・時系列の整理
数値は単位と欠損の扱いを確定し、カテゴリは集合の定義（語彙）を決める。時系列では観測タイミング、ラグ計算の根拠、集計の窓を誤らないことが重要である。
2.4.2 カテゴリ変換（ワンホット等）
ワンホットは次元が増える一方で実装が単純である。高基数カテゴリではターゲット統計の利用や埋め込み的表現が検討されるが、リークや過学習に注意が必要となる。
2.5 データリークの防止
学習時に将来情報が混入すると、実運用では再現できない性能が得られる。これは最も深刻な失敗の一つである。
2.5.1 学習・評価分割の考え方
ランダム分割だけでなく、時系列なら時点をまたがない分割、グループなら同一個体の重複を避ける分割が必要となる。前処理の推定（平均や語彙など）も、学習側のみで行い評価側へ適用する。
2.5.2 生成特徴のリーク要因
集計特徴やターゲットエンコーディングは、計算範囲を誤ると将来データを参照してしまう。特徴量生成の窓やラグの定義、バッチ処理の境界を明確にし、テスト時点で利用不可能な情報を含めない設計にする。
3 特徴量作成（特徴抽出・変換）
ここでは、データから予測に有益な表現を取り出す具体的な方向性を扱う。良い特徴量は、情報を要約するだけでなく、学習器にとって構造が掴みやすい形にする。
3.1 集計・統計特徴
3.1.1 平均・分散・分位点
カテゴリ内や顧客内、ユーザ内などの集合に対する統計量は、ノイズを抑えつつ傾向を捉える。分位点は外れ値の影響を避けやすく、平均だけでは見えない分布形状を補うことがある。
3.1.2 期間窓（ローリング集計）
時系列や行動データでは、直近の実績を表す窓がよく用いられる。窓幅は短すぎると偶然に振れ、長すぎると変化を覆い隠すため、複数候補を比較して決める。
3.2 時系列・順序データの特徴
3.2.1 ラグ特徴
過去の値を入力に含めることで、遅延構造や自己相関を捉える。ラグ数はデータの頻度や現象の時間スケールに依存し、過度な拡張は次元増加や過学習を招きやすい。
3.2.2 差分・移動量
差分や増減量は、絶対値よりも変化の大きさを表す。極端なスケール差の影響を抑える場合があり、またトレンドの存在検出に有用である。
3.2.3 トレンド・周期性の抽出
移動平均や周波数領域の要約などにより、長期の方向性や周期を特徴として表す。周期性はデータ長が短いと不安定になりやすいため、観測可能な範囲と整合させる。
3.3 文字・テキスト特徴
3.3.1 トークン化と正規化
表記揺れや大小文字、記号の扱いを統一することで語彙の無駄を減らす。言語特性に応じた分割単位（単語、サブワードなど）の選定も結果に影響する。
3.3.2 分散表現（頻度・埋め込み）
頻度ベースでは語彙の重要度が反映されやすいが、高次元になりがちである。埋め込みは意味的な近さを表現しやすく、他特徴との統合もしやすい一方で学習コストや説明性の変化に留意する。
3.3.3 文書レベルの集約特徴
単語や文の表現を平均、重み付き和、最大値などで要約して文書表現とする。入力長のばらつきが大きい場合でも、集約によりモデル負荷を制御できる。
3.4 画像・音声など非構造データ
3.4.1 埋め込み特徴の生成
画像や音声はそのままでは扱いにくいため、専用の前処理とエンコーダを経て特徴ベクトルへ変換する。事前学習済みモデルの利用は実務で多く、再学習コストを下げられる。
3.4.2 モデル出力の特徴化
クラス確率や中間層の活性を特徴として用いる方法がある。出力に過剰な自己相関が生じる場合は、どの層を採用するかや学習の凍結戦略を調整する。
3.4.3 多様な特徴の統合
複数モーダルを同一の予測器に入力する際は、スケールや欠損（欠モーダル）の整備が課題となる。特徴の正規化や欠損フラグ、結合戦略（連結、加重和、注意機構など）を設計する。
3.5 数学的・関数的変換
3.5.1 対数・冪変換
正の値が中心のデータでは対数変換が有効なことがある。冪変換はテール形状を変え、線形性が改善する場合に採用される。
3.5.2 桁・離散化（ビニング）
連続量を区間へ分けることで非線形の境界を表現できる。ビニングの境界設定は恣意性が入りやすいため、データ分布に基づくルールや検証結果で補強する。
3.5.3 相互作用（交差特徴）
2つの変数の積や比、条件付き組み合わせにより、単独では表せない関係を表す。特徴数が増えると過学習が進みやすいため、候補の制限と評価が重要となる。
4 特徴選択と次元削減
特徴量の追加は性能を高める場合もあるが、冗長性やノイズ増を招く場合がある。そこで選択と圧縮により、学習の安定化やコスト削減を図る。
4.1 特徴選択の基本方針
4.1.1 相関に基づく選択
同じ情報を複数の特徴が持つ場合、相関の高い特徴のうち代表を残す。相関は線形関係の指標であり、非線形の依存を見落とす可能性があるため過信は禁物である。
4.1.2 モデルベース選択
木系モデルの重要度やL1正則化などを用いて有用な特徴を絞る。重要度の解釈は手法依存であり、安定性の確認が不可欠となる。
4.1.3 目的関数（性能・コスト）の反映
特徴選択は精度だけでなく推論時間、保存コスト、入力の取得難度も考慮する。運用では追加特徴が取得不能になった場合の影響もあるため、コスト評価を織り込む。
4.2 次元削減の手法
4.2.1 主成分分析
主成分分析は分散の大きい方向へデータを圧縮する。解釈性は低下することが多いが、学習の前段としてノイズを抑える用途で効果が得られる場合がある。
4.2.2 非線形次元削減
非線形の圧縮手法はデータ構造をより反映する可能性があるが、外れ値やスケールに敏感になりやすい。学習器への入力として使う場合は、変換の学習範囲と再現性の管理が重要になる。
4.2.3 埋め込みの利用と注意点
深層学習由来の表現は次元削減も兼ねることがあるが、表現の学習が評価設計に影響することがある。圧縮前後でリークが隠れないよう、変換の適用範囲を確実にする。
4.3 選択後の再評価
4.3.1 性能低下の原因切り分け
精度が落ちた場合、情報損失、過正則化、分割方法の不整合、スケーリングの適用順など複数の要因が考えられる。ログや再実験により要因を絞り、改善方針を決める。
4.3.2 安定性と再現性
特徴選択の結果はデータ分割や乱数に左右されることがある。複数の分割で同様の特徴が選ばれるか、性能がブレないかを確認して、手順の頑健性を担保する。
5 評価・実験管理
特徴量エンジニアリングは試行錯誤の工程であり、評価設計と記録が成果の再現性を左右する。
5.1 特徴量の有効性評価
5.1.1 検証指標の設計
分類なら適合率や再現率、確率予測なら対数損失など、目的に合う指標を選ぶ。指標の選び方は意思決定の性質と結びつくため、単一指標に偏らない運用も検討される。
5.1.2 ベースラインとの比較
既存手法に対する改善が本当に特徴量由来かを確認するため、強めのベースラインを設定する。特に前処理やチューニングが変わっていると差分が曖昧になるため、比較条件を揃える。
5.1.3 交差検証と分割戦略
データの依存構造に応じて分割方法を選ぶ。ランダム交差検証は独立性が仮定できる場合に適し、時系列やグループがある場合はそれに合わせた戦略を採用する。
5.2 実験の再現性
5.2.1 パイプラインの固定化
特徴生成と前処理の手順、学習器の設定をコードとして固定し、入力データのバージョンも記録する。環境差による再現性低下を避けるため、依存ライブラリの管理も重要となる。
5.2.2 乱数・バージョン管理
乱数シード、計算環境、モデルの初期化条件を管理する。特徴選択やサンプリングを含む場合は、実験ごとに再現可能な条件を揃えることで比較の信頼性が上がる。
5.3 特徴量管理と命名規則
5.3.1 特徴定義書の作成
特徴ごとに、計算式、入力列、集計範囲、欠損処理、学習・推論での扱いを明文化する。定義が曖昧だと運用時に誤差が増え、監査や説明にも支障が出る。
5.3.2 系列・派生の追跡
元データから派生した系列の関係を追跡し、再計算時の影響範囲を把握する。派生が増えると整合性が崩れやすいため、系統管理が有効である。
5.4 モデル別の相性調整
5.4.1 線形モデル向け
線形モデルは変換による非線形性の表現が重要になる。適切なスケーリングや交差特徴により、単純な仮定でも精度を引き上げやすい。
5.4.2 木系モデル向け
木系モデルは非線形を自然に学習するため、過度な変換よりも欠損処理やカテゴリ表現の工夫が効果的なことがある。特徴の分布極端さや欠損の扱いに注目して設計する。
5.4.3 ニューラルネット向け
ニューラルネットは表現学習が進むため、入力の整備と正則化のバランスが重要となる。埋め込みや正規化、学習の安定化のための特徴設計が性能に直結する。
6 自動特徴量生成・表現学習との関係
特徴量エンジニアリングは手作業に限らず、自動化や表現学習と組み合わせることで効率化できる。
6.1 自動化の位置づけ
6.1.1 手動と自動の役割分担
手動はドメイン知識で重要な仮説を短い試行回数で反映しやすい。自動化は大量の候補を探索し、見落としを減らす方向に強みがあるため、両者を補完関係として設計する。
6.1.2 探索空間と計算コスト
自動生成は特徴数を爆発させる可能性がある。探索空間の制限、生成後の選別、評価頻度の調整などで計算量を制御することが実務上の要点となる。
6.2 表現学習との協調
6.2.1 埋め込みと特徴設計の境界
表現学習が担う範囲と、手作り特徴が担う範囲を整理することが重要である。埋め込みに任せる部分が増えるほど、特徴設計の責任は薄れるが、過信は禁物である。
6.2.2 事前学習特徴の活用
事前学習済みモデルの出力は、少量データでも表現を得やすい。転移の適合度を評価し、凍結する層と微調整する層の方針を決める。
6.3 深層学習と特徴量工学の共存
6.3.1 ハイブリッド設計
手作りの特徴を補助入力として併用したり、深層モデルの出力を二次的な特徴として利用する。モデル構造の変更を最小限にしつつ性能を伸ばす場合に有効となる。
6.3.2 過学習とリークの再点検
自動化や深層学習では、特徴の生成過程が複雑になりリークが見えにくくなる。データ分割に基づく変換の適用範囲を再確認し、汎化の根拠を点検する。
7 実務上の注意点と失敗パターン
特徴量エンジニアリングは効果が大きい反面、失敗のコストも高い。代表的な問題を把握して早期に対処する。
7.1 過学習・リーク
7.1.1 ラベル情報の混入
目的変数に間接的に依存する統計量が特徴に混じると、見かけ上の高精度が得られる。例えば集計範囲のずれや参照列の取り違えが典型的な原因となる。
7.1.2 未来情報の利用
時系列の特徴で計算窓がずれると、将来の値を参照した状態で学習することがある。実装段階でのラグ定義の統一と、シミュレーションによる検証が重要となる。
7.2 特徴量の冗長性
7.2.1 相関過多と説明コスト
特徴が互いに似通うと、モデルは情報の重複に時間を使うだけでなく、説明の整理が難しくなる。削減や選択を行うことで、性能と運用性の両方が改善する可能性がある。
7.2.2 解釈性の低下
高度な変換や多数の派生特徴は、なぜその予測が出たかを追跡しづらくする。意思決定に説明が必要な領域では、特徴の由来を追える設計が求められる。
7.3 データドリフトへの備え
7.3.1 学習時分布と実運用分布の差
時間経過や施策の変更で入力分布が変わると、特徴の有効性も変化する。統計量や分布のモニタリングにより、劣化を早期に検知できる。
7.3.2 特徴更新戦略
再学習のタイミングや特徴定義の固定方針を決める。特徴量を頻繁に作り替えると再現性が失われるため、更新の条件と効果を記録しながら運用する。
7.4 パフォーマンスとコストのトレードオフ
7.4.1 推論時間の制約
特徴生成が重い場合、オンライン推論が遅くなる。計算量の大きい集計や外部特徴の取得は、バッチ化や事前計算を検討する。
7.4.2 保守性（特徴生成の複雑さ）
複雑な特徴はバグや仕様変更に弱い。段階的に実装し、テスト項目を整備し、特徴定義書と整合する形で保守することが実務では重要である。
8 まとめ
特徴量エンジニアリングは、データをモデルが学習しやすい表現へ変換することで、予測性能と汎化を高めるための体系的な工程である。
8.1 主要ポイントの整理
8.1.1 目的・手順・評価の統合
目的に応じて特徴を設計し、前処理の整合性を保ちながら、適切な検証で効果を確かめることが中心となる。リーク防止と再現性確保は、結果の信頼性を支える基盤である。
8.2 次に学ぶべき観点
8.2.1 モデル選択と特徴量の相互作用
特徴量は学習器の前提と結びつくため、モデル側の調整と同時に最適化する視点が必要となる。単独での改善ではなく、全体のシステム性能として評価するのが望ましい。
8.2.2 パイプライン実装と運用設計
実験の成果を本番へ移すには、計算手順、特徴定義、監視、更新方針をパイプラインとして固めることが重要である。運用を見据えた設計が、長期的な性能維持につながる。