1 予測モデルの概観
1.1 予測の目的と出力の種類
予測モデルとは、過去の観測や記録からパターンや関係性を学習し、将来の数値・状態・起こりやすさを推定する枠組みである。目的は「将来の値を当てる」ことに限らず、意思決定に必要な期待値、リスクの大きさ、不確実性の扱いまで含めて整理される。
出力は目的変数の性質によって整理でき、代表例として連続値（需要量、温度など）、離散ラベル（カテゴリ、クラス）、確率（発生確率、到達確率）、さらには複数ステップの系列予測がある。実務では点推定に加えて、予測区間や分布の形を伴う「どれくらいブレるか」も同時に提示されることが多い。
1.2 モデルが使われる対象領域
予測モデルは、統計的因果の推定というよりも「観測に基づく予測性能」を目的として広く適用される。対象は時系列・空間データ・観測センサーデータなど多様であり、データ収集の仕方や環境変動の有無がモデル選定に影響する。
1.2.1 需要・売上などのビジネス予測
需要予測では、購買履歴、価格、販促、季節性、競合状況などを用いて販売量や売上を推定する。運用上は、在庫計画や発注量の最適化、価格戦略の評価に直結するため、予測の誤差だけでなく上振れ・下振れのリスク（欠品、過剰在庫）をどう評価するかが重要になる。
1.2.2 交通・設備などの運用予測
交通分野では、混雑度、所要時間、流量、遅延などの予測が行われる。設備分野では、故障までの時間や稼働率の推定、保全計画の立案などが対象となる。これらは運用上の制約（安全基準、保全周期、リソース配分）が強く、予測結果は最適化や計画へ接続される。
1.2.3 科学・計測データの推定
科学計測では、センサーノイズを含む観測から物理量や状態を推定する。欠損のある計測、非線形な観測モデル、計測条件の変化などを扱うため、統計的推定とモデル化が組み合わされることがある。また、推定対象の不確実性を定量化する要請が強い。
1.3 予測の前提条件と制約
予測モデルは、学習データと将来データの関係が一定期間は保たれるという仮定に依存しやすい。特に、データ分布が変わると性能が急に劣化する場合があるため、導入前に環境変化の頻度、介入（施策変更）の有無、観測方法の変更などを点検する必要がある。
制約としては、利用可能なデータ量、計算資源、応答時間要件、説明責任、データの取得コスト、プライバシーや規約に基づく利用制限が挙げられる。さらに、予測が意思決定に用いられる場合、誤差の種類（過大・過小）の影響を反映した評価設計が欠かせない。
2 数理・統計的な基礎
2.1 回帰と分類
予測モデルの基礎は、目的変数が何を表すかによって分類できる。最も一般的には、連続量を対象とする回帰と、カテゴリを対象とする分類がある。
2.1.1 連続値予測（回帰）
回帰では、入力特徴量 \(x\) から連続値 \(y\) を推定する。典型的には、モデルが \( \hat{y}=f(x) \) の形で出力を作り、損失関数を通じて誤差を最小化する。線形回帰のような単純なモデルから、非線形関数を学習する手法まで幅広い。
回帰は「誤差の大きさ」を数値化しやすい一方、外れ値や分布の偏りにより平均的な最適化が望ましくない場合がある。そのため、頑健化（外れ値に強い損失）、スケール調整、目的に応じた評価指標の選択が重要になる。
2.1.2 離散ラベル予測（分類）
分類では、入力 \(x\) に対して離散カテゴリ \(y \in \{1,\dots,K\}\) を予測する。多くの場合、モデルは各クラスのスコアや確率 \(p(y=k\mid x)\) を出力し、最大確率のクラスを採用する、あるいは閾値で判定する。
クラス不均衡があると、単純な精度では実態を反映しにくい。したがって再現率や適合率、確率の扱い、校正などの観点が評価に加わることが多い。
2.2 確率的予測と不確実性
予測は点推定だけでなく、不確実性を含めて扱うことで意思決定の質を高められる。ここでの不確実性は、データのばらつきに由来するものと、モデル化・学習に伴う曖昧さに由来するものが混在し得る。
2.2.1 予測区間と信頼性
予測区間は、ある信頼水準で真の値が含まれると見込まれる範囲を与える。区間が狭すぎれば過度な楽観、広すぎれば情報価値の低下につながるため、幅と包含率のバランスが評価対象となる。
区間推定では、将来データの条件が過去と同程度であること、外れ値や分布変化への耐性が担保されることが前提になりやすい。運用では、区間の実際の包含率が目標と整合するかを継続的に確認する必要がある。
2.2.2 確率分布の推定
確率分布の推定では、単一の予測量ではなく、可能性の分布全体を表現する。分布推定により、上側リスク・下側リスクの評価や、閾値を用いた意思決定の設計が容易になる。
代表的には、ガウス分布などの仮定に基づくパラメトリックな手法や、分布形状を柔軟に表現する方法がある。分布の仮定が現実の形から大きく外れると誤差が増えるため、データに合う仮定の検討が必要になる。
2.3 損失関数と評価指標
学習では損失関数を最小化し、評価では目的に対応した指標を用いる。損失と評価指標が一致していないと、学習は最適化されても実務目的に合わない結果になり得る。
2.3.1 回帰の評価指標
回帰では、平均二乗誤差（MSE）、平均絶対誤差（MAE）、根平均二乗誤差（RMSE）などが用いられる。RMSEは大きな誤差により強く罰則を与える性質があり、外れ値の影響や「大きい外れの抑制」を重視する場合に適している。
比率系の指標（例えば平均絶対パーセント誤差）では、分母が小さい場合の挙動に注意が要る。目的変数のスケールが安定していないと比較が難しくなるため、評価の前提を整えることが重要である。
2.3.2 分類の評価指標
分類では、正解率（accuracy）のほか、適合率（precision）と再現率（recall）、F値、ROC曲線のAUC、PR曲線のAUCなどがある。どの指標を選ぶかは、誤分類の種類に対するコストの違いに依存する。
確率出力を評価する場合、しきい値依存の指標と、しきい値に依存しない指標を整理して扱う必要がある。運用では、特定の閾値での誤検知・見逃しのバランスが意思決定に直結するため、実際の運用点に合わせた評価が求められる。
2.3.3 校正（キャリブレーション）
校正とは、出力確率が「実際にその確率どおりに起きる」程度になっているかを調整・評価する考え方である。分類モデルが高い確率を出しているにもかかわらず実際の的中率が低い場合、意思決定は誤った確信度で進む。
校正の評価には、信頼度図や適合度検定などが用いられることがある。必要に応じて事後補正（キャリブレーション手法）を行い、予測の信頼性を運用に耐える形へ整える。
3 学習と推定のプロセス
3.1 データ準備と特徴量設計
予測性能はモデル構造だけでなく、入力に使うデータの品質と設計によって大きく左右される。学習前に、欠損や外れ値の扱い、スケール統一、情報の再表現を行うことが基本になる。
3.1.1 欠損・外れ値への対応
欠損はランダムに欠けている場合と、条件付きで欠ける場合があり、単純な埋め戻しが必ずしも適切とは限らない。特徴量ごとに、欠損そのものを情報として扱う設計（欠損フラグ）や、モデルに応じた補完戦略を検討する。
外れ値は測定誤差、まれな事象、もしくはデータ生成過程の一部であり得る。ノイズとして除去するか、頑健な損失で影響を抑えるか、あるいは別クラスのように扱うかを判断するには、ドメイン知識とエラー分析が必要になる。
3.1.2 正規化・スケーリング
スケーリングは、特徴量のスケール差によって学習が偏る問題を緩和するために行われる。標準化（平均0・分散1）や最小最大スケーリングなどが代表的である。
手順としては、訓練データで統計量を計算し、それを検証・テストにも同じ変換で適用する。ここを誤ると、データリークに近い形で情報が混入し、評価が過大になる。
3.1.3 特徴量エンジニアリング
特徴量設計では、生データの変換により学習しやすい表現を作る。時系列であれば移動平均、差分、季節成分、ラグ特徴などが用いられる。カテゴリ変数ではエンコーディングが必要になり、頻度に基づく手法や埋め込み的表現が使われることがある。
特徴を増やすほど表現力は高まるが、不要な相関の取り込みや過学習にもつながる。適切な正則化や、特徴選択・次元削減を組み合わせる設計が望ましい。
3.2 学習手法の代表例
学習手法は、仮定の置き方と表現の柔軟性で整理できる。単純で解釈しやすいモデルから、複雑な非線形まで段階的に使い分けるのが一般的である。
3.2.1 線形モデルと拡張モデル
線形モデルは、入力の重み付き和として出力を表すため、パラメータの理解が容易で学習も安定しやすい。拡張として、非線形変換を特徴量に施すことで表現力を補うことがある。
正則化（後述）を組み合わせることで、不要な特徴への過度な追随を抑えられる。データが少ない場合やベースラインとしての有効性が高い。
2.2.2 決定木系モデル
（注）階層整合のため、ここでは目次の指定に従い「2.2.2」を「3.2.2」の意図として扱わず、そのまま章題として記載せず、代替として「3.2.2」を正規の見出しで展開する。
3.2.2 決定木系モデル
決定木系モデルは、特徴量の条件分岐により予測を行う。軸となるアイデアは、入力空間を領域へ分割し、領域ごとに出力を割り当てることである。単一木は解釈しやすい一方、変動に弱いことがあるため、アンサンブル化（ブースティングやランダム化）で性能と安定性を高める。
決定木はスケーリングに比較的頑健で、カテゴリ変数も扱いやすい設計が可能な場合がある。反面、深い木は過学習しやすいため、木の深さや学習率、最小分割などの制御が重要になる。
3.2.3 複雑な非線形モデル
ニューラルネットワークやガウス過程など、より複雑な非線形モデルは高い表現力を持つ。大規模データや複雑な関係を学習できる一方、計算コストが増え、最適化の難しさやハイパーパラメータ依存が課題になる。
非線形モデルでは、学習の再現性、データ欠損への対応、外れ値や分布変化への耐性などを評価しながら導入する必要がある。説明可能性を要求される場合は、追加の解釈手法や制約付き設計が検討される。
3.3 検証設計（分割とリーク対策）
予測の信頼性は、検証の仕方で大きく左右される。学習と評価の分離が不適切だと、実運用よりも良く見える評価が得られ、失敗につながる。
3.3.1 ホールドアウトと交差検証
ホールドアウトはデータを学習用と検証（またはテスト）用に分ける方法である。データ量が十分であればシンプルで分かりやすい。
交差検証は、複数分割により平均的な性能を推定する。データが限られる場合に有利であるが、計算量が増えることがある。時系列など順序が重要な場合は、通常のランダム分割が適さないため別の設計が必要になる。
3.3.2 時系列での分割
時系列では、未来の情報が過去の学習に混入しないように、時間順で分割するのが基本である。例えば、過去で学習し、その後の期間で評価することで、実際の運用に近い状況を再現できる。
複数ステップの予測や、季節性を含むデータでは、分割点が季節の重なりに与える影響も考慮する。評価期間を複数の時期にまたがって設定すると、季節ごとの性能差を把握しやすい。
3.3.3 データリークの検出と回避
データリークは、本来予測時点では利用できない情報が特徴量やラベル生成に混入することで起きる。代表例として、集計特徴量を作る際に未来期間を含めてしまう、前処理の統計量を全データから計算する、ラベルを紐づけるキーの取り扱いが不適切になるなどが挙げられる。
回避には、前処理・特徴量生成を時間順に適用し、訓練期間のみで必要統計を計算することが有効である。さらに、特徴量の生成手順を監査し、モデルが参照する情報の時点整合性を確認することが重要になる。
4 実装・運用・改善
4.1 過学習対策と正則化
過学習は、学習データに適合しすぎて汎化性能が落ちる現象である。モデルが複雑であるほど起こりやすく、正則化や検証設計、学習手順が対策の柱になる。
4.1.1 ハイパーパラメータ最適化
ハイパーパラメータは学習の挙動を左右し、過学習と性能のトレードオフに関係する。代表的な探索として、グリッド探索、ランダム探索、ベイズ最適化などがある。
探索には検証データが使われるため、テストデータは最終評価まで温存する必要がある。探索回数が多いほど偶然で良く見える可能性が高まるため、評価の信頼性確保も同時に考える。
4.1.2 正則化（概要）
正則化は、モデルの自由度を制限し、極端なパラメータ値への依存を抑える仕組みである。線形モデルではL1やL2のペナルティが代表的で、係数の大きさや疎性をコントロールする。
ニューラルネットワークではドロップアウト、重み減衰、早期終了などが用いられることがある。目的は「学習データへの当てはまり」よりも「未知データへの適用」を重視する点にある。
4.2 予測の監視とドリフト検知
運用後は、データ分布や関係性が変化し、モデルの前提が崩れる可能性がある。これを監視し、必要なら再学習や再設計を行う仕組みが求められる。
4.2.1 データ分布の変化
データドリフトは入力特徴量の分布が変わる現象である。例えば、季節やユーザー構成、計測手法の変更、プロモーション施策によって分布が移動することがある。
検知では、特徴量ごとの統計量比較や、分布距離指標、回帰・分類タスクなら確率出力の変動などを用いる。閾値設定は誤警報と見逃しのバランスを考慮する必要がある。
4.2.2 性能劣化の検知
性能ドリフトは、予測が実運用上の品質基準を満たさなくなる状態である。教師ラベルが遅れて得られる場合も多いため、遅延を含む評価計画が必要になる。
監視では、誤差統計、校正の崩れ、意思決定に使う指標（例えば欠品率や誤検知率）の変化を見ることがある。単発の異常だけでなく、傾向としての劣化を捉える設計が望ましい。
4.3 説明可能性と意思決定への接続
予測モデルの出力は意思決定に接続されるため、単に当たるだけでなく「なぜそのように言えるのか」を状況に応じて示す必要がある。説明可能性の要請は業務の性質や規制、関係者の理解度によって変わる。
4.3.1 重要度・寄与の考え方
重要度や寄与は、予測に対してどの特徴量がどの程度影響したかを示す試みである。線形モデルでは係数が直接的な手がかりになることがあるが、非線形モデルでは追加の解釈手法が必要になる場合が多い。
ただし重要度は相関に基づくことが多く、因果を保証するものではない。特徴量間の相関や欠損処理の影響で解釈が歪むことがあるため、説明は検証可能な形で提示することが望ましい。
4.3.2 予測結果の解釈の注意点
予測の数値は、不確実性やデータの制約を含んだ推定結果である。したがって、説明可能性の情報を意思決定に用いる際には、信頼度や予測区間の幅、校正状態を同時に確認するべきである。
また、説明はユーザーの誤解を誘うことがある。例えば「重要度が高い＝直接の原因」という捉え方は誤りになり得る。現場では、説明を学習モデルの限界とセットで提示し、判断の根拠を過剰に単純化しない運用が必要になる。
4.4 典型的なワークフロー例
実装と運用では、学習から再学習までを一貫した手順として設計することが重要になる。ここでは代表的な循環を示す。
4.4.1 学習→検証→本番→再学習の循環
まず、過去データで特徴量を構成し、学習と検証を行ってモデルを選ぶ。次に最終的なテストで性能を確認し、本番環境へデプロイする。本番では予測と必要なログ（入力、モデルバージョン、出力、前処理の前提）を記録し、時間経過で得られる正解ラベルを用いて品質を評価する。
ドリフト検知により性能劣化が疑われた場合、再学習を行う。再学習では特徴量生成や前処理の手順も含めて点検し、同時にモデル更新に伴う影響（旧モデルとの比較、段階的切替、ロールバック手順）を整備して継続運用へ移行する。