1 ホワイトニングの概要
ホワイトニングとは、データの分布の相関構造を前処理として調整し、特徴量間の依存を弱めたり分散を揃えたりするための手法群を指す。統計的には、共分散行列を「単位行列に近づける」変換として説明されることが多い。これにより、学習アルゴリズムが直面する条件数の悪化や、特定方向への過度なスケーリングといった問題が緩和されやすくなる。
一般に、入力特徴量を線形変換（または近似としての線形変換）し、中心化されたデータの共分散が目標の形になるよう調整する。画像・音声・信号処理、特徴抽出、異常検知、クラスタリング前処理など、幅広い用途で利用される。
1.1 目的と効果
目的は主に次の2点に集約される。第一に、複数の特徴量にまたがる相関を抑え、特徴量が互いに独立に近い振る舞いをするよう整えること。第二に、各方向（主な変動の向き）の分散を同程度に整え、モデルが特定のスケールに引きずられにくくすることである。
効果としては、距離計算や勾配ベース学習での最適化が安定しやすいこと、正則化の効きが読みやすくなること、特徴抽出器以降のモデルが「入力のスケール差」から受ける影響が小さくなることなどが挙げられる。ただし、必ずしも精度が一様に向上するとは限らず、データ分布の仮定や正則化の設計次第で逆効果にもなり得る。
1.2 共分散行列による定義
ホワイトニングは共分散行列を基準に定義されることが多い。中心化されたデータ行列 \(X\) に対し、共分散 \(\Sigma\) を用いて、線形変換 \(W\) により \(WX\) の共分散が目標になるよう設計する。
典型的には、変換後の共分散が単位行列に近い、あるいはその厳密な一致を狙う。共分散の形が「相関と分散の情報をまとめた行列」として扱えるため、数学的な整理がしやすい利点がある。
1.2.1 単位共分散への変換
データを平均0に中心化し、共分散を \(\Sigma=\mathbb{E}[xx^\top]\) とするとき、変換後の共分散が \[ \mathbb{E}[(Wx)(Wx)^\top] = I \] となる \(W\) を求めるのが基本形である。これにより、各方向の分散が1に揃い、交差相関が0になる（理想化した条件のもとで）状態を作る。
厳密な単位共分散化には、\(\Sigma\) の逆平方根などを用いる設計が現れる。実務では有限サンプルのばらつきや数値誤差のため、完全な一致を目標にせず「近似」または「正則化つきの近似」として扱うことが多い。
1.2.2 非相関化と等分散化
共分散が単位行列になることは、非相関化と等分散化を同時に意味する。非相関化は、特徴量間の共分散がゼロになることに対応する。等分散化は、対角要素（個々の成分の分散）が同一値になることに対応する。
ただし、非相関化と等分散化が常に「成分ごと」に見えるとは限らない。線形変換後の基底では単位共分散が達成されるが、元の空間における見かけの分散配分や意味的な解釈は、変換の種類によって変わる。
1.3 対象データと前提条件
ホワイトニングは通常、実数ベクトルとして表現された特徴量に適用される。画像なら画素値や局所特徴、音声ならスペクトル特徴など、ベクトル化できる形で導入しやすい。
前提として、共分散の推定に十分なサンプルが必要になる。特に高次元では推定誤差が増え、\(\Sigma\) が退化（ランク不足）しやすい。さらに、学習時と推論時で特徴分布が大きく変わる場合、推定した変換が適切でなくなる。したがって、データリーク防止や学習・推論の整合性確保が重要な前提条件となる。
2 数学的基礎
数学的基礎では、平均中心化、共分散計算、そして線形変換としてのホワイトニング構成を整理する。ホワイトニングは「共分散行列を目標形に写す線形作用」として扱えるため、固有値分解や特異値分解と親和性が高い。
本質は、共分散の持つ相関・スケールの情報を、適切な線形変換でならす点にある。
2.1 代表的なデータ表現
データ \(x\) を特徴量ベクトルとして扱い、複数サンプルを行列としてまとめる。以下では、変換対象が中心化された状態にあることを前提にすると、式の見通しが良くなる。
2.1.1 平均0への中心化
まず、観測ベクトル \(x\) から平均 \(\mu\) を引き、\(\tilde{x}=x-\mu\) とする。推定ではサンプル平均を用い、\(\hat{\mu}\) による中心化が行われる。
中心化は共分散の定義と整合させるために不可欠である。中心化が不十分だと、見かけ上の共分散に平均のずれ由来の成分が混入し、変換の目的から外れやすくなる。
2.1.2 共分散行列の計算
中心化後のデータから共分散行列を推定する。サンプル数を \(n\) とすると、代表的には \[ \hat{\Sigma}=\frac{1}{n}\sum_{i=1}^n \tilde{x}_i \tilde{x}_i^\top \] または \(\frac{1}{n-1}\) を用いる推定がある。どちらを採るかは統計的な不偏性の文脈によるが、実務では後続の正則化や評価設計と合わせて整合を取る。
共分散は特徴量数に対して \(d\times d\) の行列になるため、高次元では計算量と推定誤差が課題になりやすい。
2.2 線形変換としてのホワイトニング
ホワイトニングは、多くの場合において線形変換 \(W\) として構成される。変換後の共分散が所望の形になるよう \(W\) を設計する。
代表的な設計は、共分散の分解を用いて逆平方根相当の行列を構成する流れである。
2.2.1 固有値分解に基づく方式
共分散 \(\Sigma\) に固有値分解 \(\Sigma=U\Lambda U^\top\) があるとする。ここで \(U\) は直交行列、\(\Lambda\) は固有値を対角成分にもつ行列である。ホワイトニングの理想形は、\(\Sigma^{-1/2}\) に対応する \[ W = \Lambda^{-1/2} U^\top \] あるいは同等の表現として与えられる。
実務では固有値がゼロに近い場合に不安定化するため、後述の正則化が重要になる。固有ベクトルの向きが解釈に影響するため、どの変換形を採るか（ZCA系かPCA系か）が結果の見え方に関わる。
2.2.2 特異値分解に基づく方式
データ行列 \(X\)（中心化済み、行がサンプルで列が特徴など取り方は状況により異なる）に対して特異値分解 \(X = U S V^\top\) を用いると、共分散に関連付けてホワイトニングを構成できる。特異値 \(S\) から特定のスケーリングを行い、数値計算として安定なルートで変換を得ることができる場合がある。
特異値分解は、行列の次元関係によっては計算効率が良く、また固有値分解より安定に扱える局面がある。特に高次元・サンプル少数の設定では、共分散を直接作らずデータ行列側で分解する方針が採られることがある。
2.3 数値安定性の考え方
ホワイトニングは逆行列や逆平方根を含みやすい。そのため、固有値が小さい方向では増幅が起こり、ノイズを強調する危険がある。数値安定性は理論だけでなく実装設計に強く依存する。
また、浮動小数点誤差によって、理想的な直交性や対称性が崩れる可能性もある。安定化策を用いることで、学習の破綻を回避しやすくなる。
2.3.1 正則化（過学習抑制と安定化）
正則化は主に二つの役割を持つ。第一に、小さい固有値に対する逆数の暴走を抑えること。第二に、有限サンプルの推定誤差をならし、入力変換がデータの偶然の癖に過剰に適合することを抑えることである。
典型的には、共分散に対して \(\Sigma+\epsilon I\) のような調整を加え、\(\epsilon\) をハイパーパラメータとして選ぶ。これにより逆平方根が安定化され、過度な増幅が減る。正則化の強さは、精度と汎化のバランスに直結する。
2.3.2 退化・小固有値への対処
退化（ランク不足）の場合、厳密な逆平方根は定義できない。そこで、固有値がしきい値より小さい成分を切り捨てる、あるいは適切な下駄を履かせて扱うことが多い。
実務では、次元数を抑える（低ランク近似）ことで安定性を確保する方法も用いられる。これにより計算量も下がるが、情報を落とす代償があるため、性能評価を通じてトレードオフを見極める必要がある。
3 主な手法とバリエーション
ホワイトニングには、同じ「単位共分散」近似でも変換の形が異なる複数の流派がある。特に、空間構造の保持をどこまで重視するか、そして後段の処理との整合をどう取るかで選択が変わる。
以下では代表的なZCAホワイトニング、PCAホワイトニング、データ駆動型の近似、球面化との関係を整理する。
3.1 ZCAホワイトニング
ZCAホワイトニング（ゼロ位相成分解析に由来する呼称）は、観測空間で見たときに原来の見え方に近い形でホワイトニング結果を返す傾向がある。数学的には、逆平方根相当の作用に直交変換の扱い方が加わり、出力の座標系が元空間に近づくよう調整される。
ZCAの特徴は、変換後のデータが元の特徴空間と直感的に対応しやすい点にある。視覚的な前処理ではこの性質が評価されることがある。
3.1.1 空間構造の保持傾向
ZCAでは、基底の回転を抑え、出力が入力に対して「近い座標系」に留まるよう設計されることが多い。そのため、変換が加える幾何学的な変形が比較的抑制され、空間構造を保ちやすい傾向がある。
ただし「保持される」といっても、厳密に意味を保存するわけではない。単位共分散化により相関とスケールは変わるため、識別に有効な情報が減る場合もあり得る。
3.1.2 画像処理との相性
画像では、ピクセル間の相関をならす処理としてホワイトニングが文脈化されることがある。ZCAは出力を元空間に近づけるため、フィルタリング結果の見え方が分かりやすく、実装・説明の面で使われることが多い。
一方で、データセットが多様で平均や共分散が安定しない場合、画像全体に対する単一推定が不適合になり得る。その場合は局所化した特徴での適用や、分割統計を用いる設計が検討される。
3.2 PCAホワイトニング
PCAホワイトニングは、主成分空間（固有ベクトル基底）でホワイトニングを行う考え方に基づく。変換後の成分が主方向の座標系で整理されやすく、各成分の分散が揃う形になる。
PCAホワイトニングは計算面や解釈面で利点を持ちやすい。主成分に沿ってスケール調整するため、次元削減と組み合わせやすい点が特徴となる。
3.2.1 固有空間でのスケーリング
PCAホワイトニングでは、\(\Sigma\) の固有ベクトル基底に射影したうえで、固有値方向に応じたスケーリングを行う。これにより、相関成分が基底内で整理され、分散が等しくなる。
変換後の座標は元の成分と直接対応しないことが多い。そのため、出力を「元空間に見せる」必要がある用途ではZCAが好まれる場合がある。
3.2.2 次元削減との関係
PCAホワイトニングは、固有値の大きい成分のみを用いる低ランク近似と結びつきやすい。小さい固有値方向はノイズ増幅の原因になりやすいため、切り捨てを行うと安定性が改善される。
この性質により、ホワイトニングと次元削減を同時に達成する設計が可能になる。結果として計算量も抑えられ、実装上の選択肢として扱いやすい。
3.3 データ駆動型の近似手法
データ駆動型の近似は、厳密な共分散推定や分解をそのまま行うと計算コストやメモリ負荷が大きい場合に用いられる。理論上の変換を、サンプルや計算制約に合わせて近似する発想である。
近似の質は、サンプル数、次元、分布の安定性に依存する。評価を通じて、十分に有効な範囲であるかを確認する必要がある。
3.3.1 サンプリングによる近似
共分散行列の推定において、全データを使わずサンプルを縮約して近似する方法がある。あるいは、分解のための計算を低ランク化して、主要成分だけを取り込む。
サンプリングは計算量を下げる一方、推定誤差の増加を招く。固有値が大きく分離しているデータでは近似が効きやすい傾向があるが、固有値が近い場合は誤差の影響が大きくなり得る。
3.3.2 オンライン更新の考え方
オンライン更新では、データが逐次的に入ってくる状況を想定し、平均や共分散の推定を更新しながらホワイトニング変換を保つ。これにより、バッチ全体の再計算を避けられる場合がある。
ただし、データ分布が時間とともに変化する場合には、過去データの重み付け（忘却の導入）を設計する必要がある。更新が不安定になると変換も揺れるため、適切な平滑化や正則化を同時に行うことが重要になる。
3.4 スフィアリング（球面化）との関係
スフィアリング（球面化）は、データの分布を「球面に近い形」に整える処理として理解されることがある。ホワイトニングと同様に、分散や相関の調整という共通点はあるが、目標が微妙に異なる。
一つの見方として、スフィアリングは「ある距離測度に基づいてデータを球状に配置する」方向の発想で、ホワイトニングは「共分散を単位化する」方向の発想に近い。両者は近い変換族に含まれることがあり、設計によっては互いに関連づけて扱える。
4 実務での使いどころ
実務では、前処理としての位置付け、学習・推論の整合性、評価設計、そして失敗要因の回避が鍵になる。ホワイトニングは万能ではないため、目的変数やモデルの特性に応じた検討が必要である。
4.1 機械学習パイプラインでの位置付け
ホワイトニングは特徴抽出の後、モデル入力の直前、あるいはニューラルネットの前段に入れる形で扱われることが多い。特に距離計算や線形モデル、勾配がスケールに敏感な手法では導入効果が観察されやすい。
ただし、深層学習の文脈では、内部で正規化（バッチ正規化など）や学習可能なスケーリングが行われるため、外部ホワイトニングの必要性は一様ではない。
4.1.1 学習時と推論時の扱い
学習時には、訓練データから平均と共分散（またはその近似）を推定し、変換行列を作る。推論時は同じ推定結果を使って新しいデータを変換する。ここで推論時に再推定を行うと、評価の整合性が崩れ、性能が不自然に見える原因になる。
また、ハイパーパラメータ（正則化の強さ、次元削減のしきい値など）は訓練データの分割に基づいて決める必要がある。実務では、データ分割とパイプライン実行の順序を固定して再現性を担保する。
4.1.2 前処理としてのメリット・注意点
メリットとしては、特徴量スケールのばらつきを抑え、学習の収束挙動が安定しやすい点が挙げられる。特に線形分類や距離ベース手法では、変換が有効に働くことがある。
注意点は、分布が変わると変換の妥当性が失われること、推定誤差が増える高次元領域では不安定化し得ること、さらにホワイトニングが「意味のある相関」まで壊してしまう可能性があることだ。よって、ベースラインとの比較とアブレーションが重要になる。
4.2 応用領域
ホワイトニングは信号処理由来の発想と親和性が高く、相関を持つ観測から特徴を整える用途で現れる。画像・音声、一般の特徴量工学、異常検知などで採用例がある。
4.2.1 画像・音声の前処理
画像では、局所特徴や画素集合の相関をならし、後段の学習器が受け取る統計を調整する目的で用いられることがある。音声では、スペクトルやフィーチャーの相関を弱め、モデルの入力分布を均質化する狙いで利用される。
実務では、計算量と推定の安定性から、全データ一括よりもバッチやチャンク単位の統計推定、または低次元近似が選ばれる場合がある。
4.2.2 信号処理における特徴強調
信号処理では、相関を除去することでノイズ成分や冗長な情報が相対的に扱いやすくなることがある。ホワイトニングは、観測の二次統計を平滑化し、後段の推定（例：フィルタ設計や特徴抽出）の条件を改善する方向に働く。
ただし、信号の構造が強く相関に依存している場合、単純な相関除去が情報損失につながることもある。目的に応じて、どの帯域やどの特徴空間に適用するかが重要になる。
4.2.3 異常検知での利用
異常検知では、正常データが持つ統計構造からの逸脱を測る設計が多い。ホワイトニングを行うと、正常データの共分散構造が揃えられるため、逸脱の尺度が比較しやすくなる場合がある。
一方で、異常の定義が「分散の偏り」だけでなく「非線形な形状」に依存する場合、ホワイトニングだけでは十分でない。別の検出器（距離、密度推定、復元誤差など）と組み合わせる前提で評価されることが多い。
4.3 評価と検証
評価では、変換がもたらす変化を定量化し、過剰な複雑化やデータリークを避けた実験設計が求められる。ホワイトニングは前処理であるため、比較条件を揃えることが特に重要になる。
4.3.1 性能指標の選び方
性能指標はタスクに依存する。分類なら精度やF1、回帰なら誤差指標、異常検知なら検出率と偽陽性のトレードオフを反映する指標が用いられる。
また、学習の安定性（収束速度や再現性）を補助的に観察することも実務上有用である。ホワイトニングが効いているかどうかは最終精度だけでなく、学習挙動の改善として現れる場合もある。
4.3.2 ベースラインとの比較設計
比較設計では、「ホワイトニングあり」と「なし」を、モデル構造・学習率・バッチサイズなどの主要条件を揃えて検証する。正則化や次元削減が入る場合は、それらが変換由来なのかモデル由来なのかを切り分ける。
さらに、分割（訓練・検証・テスト）の境界で推定が正しく行われているかを確認する。平均や共分散の推定がテストデータに触れてしまうと、見かけ上の改善が出るため、再現性を損なう。
4.4 よくある失敗と対策
失敗は主に推定手順の不整合、正則化不足、次元・計算の見積もりの誤りに集中する。対策として、パイプラインの厳密化とハイパーパラメータ探索、計算設計の事前評価が挙げられる。
4.4.1 データリークの防止
データリークは、訓練外の情報が変換の推定に混ざることで生じる。例えば、全データで平均や共分散を計算してから分割する場合、モデルは未来の統計を間接的に参照してしまう。
対策として、分割前に統計を計算しない運用にする、学習器に渡す変換を訓練データのみでフィットさせる設計にする、実験ログを残して再実行可能にするなどが重要になる。
4.4.2 次元数・計算量の見積もり
次元が高いほど共分散行列は大きくなり、分解には時間とメモリが必要になる。さらに、オンライン更新や複数バッチへの適用ではコストが累積する。
対策として、低ランク近似、固有値のしきい値に基づく次元削減、あるいは分解のための計算ルートの見直し（共分散を直接作らずデータ行列側で処理する等）が挙げられる。事前に概算し、許容する計算時間と精度の範囲を決めると、導入判断が行いやすくなる。