1 混合の基礎概念
1.1 混合の定義
混合とは、異なる要素をまとめることで、単一の全体として観測される性質を特徴づける考え方である。要素は物質に限らず、状態、発生源、生成機構などの「異質な源」として表されることがある。確率論の文脈では、複数の確率モデル（たとえば複数の分布や遷移機構）を同時に考え、それらを重みづけして合成した結果として生じる確率構造を扱う。
1.2 混合の対象（要素・成分・状態）
混合の対象は、(1)成分としての要素、(2)それぞれが取りうる状態、(3)状態を生む発生源、のいずれか、あるいは複合として定義される。たとえば観測データが複数の生成機構から生じうる状況では、成分は生成機構に対応し、状態は観測変数の取りうる値域に対応する。状態遷移を含む場合には、成分は「遷移規則の違い」として表現されることがある。要点は、混合を定義する際に「何が混ざるのか」を確率モデル上で対応づけることである。
1.3 混合比率（重み）の意味
混合比率、すなわち重みは、各成分が全体に寄与する割合を数理的に表す。通常、重みは非負で、全成分にわたって合計が 1 となるように定めることが多い。重みが大きい成分ほど、合成された全体の確率がその成分の特徴に強く引き寄せられる。さらに、重みは固定の量として扱われる場合と、観測に応じて変化する（条件付き）量として扱われる場合がある。
2 確率論における混合
2.1 混合分布
混合分布は、複数の確率分布を重みづけして足し合わせることで得られる分布である。各成分分布の形状は保持され、混合により全体の確率密度（または確率質量）が組み合わされる。直感的には、「どの成分が生成に使われたか」を潜在的に選択し、その選択に従って観測値が生じる状況を表す。
2.1.1 離散混合
離散混合では、成分が有限個または可算個の離散的な集合として扱われる。重みは各成分に対応する確率として解釈され、全体の確率は各成分の確率を重みで平均したものになる。結果として、全体の分布は成分分布の特徴（モードの位置、確率の偏りなど）を複合的に示す場合がある。離散混合は、カテゴリデータを説明する際にも利用される。
2.1.2 連続混合
連続混合では、成分のインデックスが連続変数として存在する。たとえばパラメータが連続的に分布しているとみなし、生成機構に応じたパラメータの「密度」を積分で重ね合わせる形になる。実務上は、連続の混合を有限の近似（数値積分や離散化）として扱うことも多い。連続混合は、階層モデルの設計や不確実性の表現に適する。
2.2 混合過程と解釈
混合過程の解釈としては、「潜在の成分選択」を想定する枠組みが用いられる。まず成分を選ぶ確率（重み）に従い、選ばれた成分に属する規則で観測値が生成されるという読み替えが可能である。この解釈により、推定や推論において「どの成分が関与したか」を隠れ変数として扱えるようになる。混合の現象面では、複数の生成源が同時に存在することで、全体の分布が単一成分では説明しにくい形になることが特徴である。
2.3 成分ごとの条件付き表現
混合分布は全体としての分布である一方、観測値が得られた後には「各成分がどれほど説明力を持つか」を条件付きに表現できる。具体的には、観測値が与えられたときの成分選択の事後確率が計算可能であり、これにより各成分の寄与を局所的に評価できる。これらの条件付き量は、パラメータ推定（特に反復的手順）やクラスタリングの割り当てに直結する。
3 混合モデルの統計的性質
3.1 合成された平均
混合モデルの平均は、各成分の平均を混合比率で重みづけした形になる。ただし、平均の合成が成立するためには、成分ごとの平均が定義可能であることが前提となることが多い。全体の平均は単一成分の単純なずれではなく、各成分の位置（分布中心）とそれぞれの寄与度の組み合わせとして現れる。結果として、平均だけでは成分の多峰性を判別できない場合もある。
3.2 分散の分解
混合の分散は、各成分内のばらつきと、成分平均のばらつきの和として分解できることが多い。前者は「同じ成分の中で起きる不確実性」、後者は「成分間で異なる中心の違い」に由来する。したがって、全体分散が大きいからといって単一成分の分散が大きいとは限らず、混合による中心の散らばりが寄与している可能性がある。分散分解は、モデルの解釈やパラメータ推定の診断に役立つ。
3.3 共分散と相関への影響
多変量の場合、混合は共分散行列にも影響する。全体の共分散は、成分ごとの共分散の平均に加え、成分平均の相互のずれに起因する項を含む形で表されることがある。相関は単に成分内の相関が平均されたものではなく、成分間の差が見かけの相関を作る場合がある。したがって、相関構造の観察から原因が単純に特定できない点が、混合モデルの解釈上の注意となる。
3.4 尤度と対数尤度
混合モデルでは、観測データに対する尤度は成分分布の重み付き和として表される。これにより、パラメータを変えると尤度の形状が非線形になりやすく、最適化が複雑になることがある。数値計算上は、積によるアンダーフローを避けるために対数尤度が用いられる。対数尤度は、モデルの良さを比較する指標として機能し、学習の反復過程では単調増加（手法によって保証範囲あり）が観測されることもある。
4 混合の推定・応用
4.1 パラメータ推定の考え方
混合の推定は、(1)混合比率、(2)各成分のパラメータ、(3)潜在的に選ばれた成分の割り当て（または確率）のいずれかを推定する問題として整理できる。成分が隠れているため、直接の最大化は難しくなりやすい。そこで、反復計算を通じて推定量を改善する方針が多用される。推定の目的は、観測の尤度を高めること、予測精度を上げること、あるいは解釈可能性を確保することに置かれる。
4.2 代表的手法（分類と分解の視点）
代表的な枠組みとしては、潜在変数を導入して推定する手法がある。分類の視点では、事後確率に基づき各観測を成分へ割り当てる考え方がとられる。分解の視点では、観測分布を成分へ分ける操作とみなし、パラメータの推定を進める。反復法としては、期待値に基づく更新と確率的に補完する更新を組み合わせる手法が典型である。どの手法でも、初期値や局所解の影響が現れるため、実装段階での工夫が重要になる。
4.3 モデル選択と評価
モデル選択では、混合する成分数や分布の種類を決める必要がある。成分数を増やすとデータへの適合はよくなる傾向があるが、過学習が起こりやすい。そこで、汎化性能を考慮した評価指標（たとえば情報量規準）や、別データでの検証が用いられる。評価では、予測に対する安定性だけでなく、解釈の一貫性（成分が意味のある形で分かれているか）も論点となる。
4.4 応用例（データのクラスタリング・識別）
混合モデルはデータのクラスタリングに広く利用される。各成分をクラスタとして扱い、観測を属する成分として確率的に割り当てることで、境界が曖昧なデータでも柔軟に表現できる。識別の場面では、クラスに対応する成分を仮定し、観測がどのクラスに由来しやすいかを事後確率として算出できる。さらに、異なる生成源が混在するセンサー計測、複数の行動パターンが重なって現れる時系列、混合状態を持つ文書のトピック推定などにも適用が見られる。