1 基本概念
1.1 数値予測の定義と目的
数値予測とは、既知のデータや変数に基づいて、連続的な数値（実数値）を推定または予測する統計的手法および機械学習手法の総称である。目的は、過去のパターンや関係性をモデル化し、未知の入力に対応する出力値を高精度で予測することにある。経済成長率、気温、患者の生存期間など、多様な実数値ターゲットを扱う。
1.2 分類問題との違い
数値予測（回帰問題）は、出力が連続値である点で分類問題と明確に区別される。分類問題が離散的なカテゴリ（例：スパムメールか否か、犬か猫か）を予測するのに対し、数値予測は「いくらか」という量的な問いに答える。例えば、住宅価格の予測は数値予測、住宅の価格帯（高・中・低）の予測は分類問題となる。
1.3 データの種類：時系列データとクロスセクションデータ
数値予測で扱うデータは、時間の順序を持つ時系列データと、ある時点における複数の個体を観測したクロスセクションデータに大別される。時系列データ（株価、気温など）は自己相関やトレンド・季節性を持つため、専用のモデルが必要となる。クロスセクションデータ（顧客属性と購入額など）は、個体間の独立性を仮定した回帰分析が適用されることが多い。
2 主要な手法
2.1 回帰分析
2.1.1 線形回帰
線形回帰は、従属変数と一つ以上の独立変数の間の線形関係をモデル化する最も基本的な手法である。最小二乗法により回帰係数を推定し、予測値は独立変数の線形結合として計算される。単回帰（変数1つ）と重回帰（複数変数）があり、解釈性が高く計算が容易であるが、非線形関係には対応できない。
2.1.2 非線形回帰
非線形回帰は、独立変数と従属変数の非線形な関係を表現する手法である。多項式回帰、対数変換、指数関数、ロジスティック関数などを用いてモデル化する。線形回帰を拡張した一般化線形モデル（GLM）や、カーネル法を用いた非線形回帰も含まれる。過学習に注意が必要である。
2.2 機械学習による予測
2.2.1 決定木とランダムフォレスト
決定木は、特徴量空間を再帰的に分割し、各領域に割り当てられた平均値で予測を行う手法である。単一の決定木は過学習しやすいが、ランダムフォレストは複数の決定木をバギングし、ランダムな特徴選択を導入することで汎化性能を高める。非線形性や交互作用を自動的に捉える利点がある。
2.2.2 サポートベクター回帰
サポートベクター回帰（SVR）は、マージン最大化の考え方を回帰に応用した手法である。ε-感応損失関数を用いて、誤差がε以内の点は無視し、その範囲外の点のみをサポートベクターとしてモデルを構築する。カーネルトリックにより非線形回帰にも対応できるが、大規模データでは計算コストが高くなる。
2.2.3 ニューラルネットワーク
ニューラルネットワークは、多層のニューロンから構成される非線形回帰モデルである。中間層の活性化関数（ReLU、tanhなど）により複雑な関数を近似でき、大規模データに対して高い予測性能を発揮する。回帰問題では出力層に線形活性化関数を用い、損失関数に平均二乗誤差を適用する。過学習を防ぐためにドロップアウトや正則化が用いられる。
2.3 時系列予測手法
2.3.1 ARIMAモデル
ARIMA（自己回帰和分移動平均）モデルは、時系列データの自己相関構造を捉える線形モデルである。自己回帰（AR）項、和分（I）によるトレンド除去、移動平均（MA）項を組み合わせる。定常性を仮定し、パラメータ選択にはAICやBICが用いられる。季節性を持つデータにはSARIMAが拡張として利用される。
2.3.2 指数平滑法
指数平滑法は、過去の観測値に指数関数的に減少する重みを付けて将来を予測する手法である。単純指数平滑法（レベル）、ホルト法（トレンド）、ホルト・ウィンターズ法（トレンド＋季節性）などのバリエーションがある。パラメータ推定には最小二乗法や最尤法を用いる。モデルが単純で解釈しやすいが、複雑なパターンには限界がある。
2.3.3 リカレントニューラルネットワーク
リカレントニューラルネットワーク（RNN）は、時系列データの逐次的な依存関係を学習するニューラルネットワークである。隠れ状態に前の時間ステップの情報を保持し、長期依存性の学習にはLSTMやGRUが用いられる。株価予測や気象予測などに応用されるが、勾配消失問題への対策が必要である。
3 モデル評価と選択
3.1 評価指標
3.1.1 平均二乗誤差 (MSE)
平均二乗誤差は、予測値と実測値の差の二乗を平均した指標である。大きな誤差をより強く罰するため、外れ値の影響を受けやすい。損失関数として最適化に用いられ、値が小さいほど予測精度が高い。
3.1.2 平均絶対誤差 (MAE)
平均絶対誤差は、予測値と実測値の差の絶対値を平均した指標である。MSEと比べて外れ値の影響を受けにくく、解釈が容易である（単位が元の変数と同じ）。誤差の分布が裾の重い場合に適している。
3.1.3 決定係数 (R²)
決定係数は、モデルがデータの変動をどの程度説明しているかを示す指標である。0から1の値を取り、1に近いほど当てはまりが良い。ただし、外挿には無力であり、過学習に対して鈍感な場合がある。
3.2 過学習と正則化
3.2.1 リッジ回帰 (L2正則化)
リッジ回帰は、線形回帰の損失関数に回帰係数のL2ノルムのペナルティ項を加えた手法である。係数を0に近づけるが完全には0にしないため、モデルの複雑さを抑制し過学習を防ぐ。多重共線性がある場合にも有効である。
3.2.2 ラッソ回帰 (L1正則化)
ラッソ回帰は、回帰係数のL1ノルムのペナルティ項を加えた手法である。いくつかの係数を正確に0に縮小するため、特徴量選択の効果を持つ。スパースなモデルが得られ解釈性が向上するが、相関の高い特徴量がある場合に不安定になることもある。
3.3 交差検証とデータ分割
交差検証は、データを複数の分割に分け、一部を訓練データ、残りを検証データとしてモデルの性能を評価する手法である。代表的なk分割交差検証（k-fold CV）では、データをk個に分割し、k-1個で訓練、1個で評価をk回繰り返す。時系列データでは、時間順序を考慮した交差検証（例：拡張ウィンドウ法）が必要となる。
4 実践と応用
4.1 データ前処理の重要性
4.1.1 欠損値処理
欠損値は、数値予測モデルの性能に悪影響を及ぼす。一般的な処理方法として、欠損値を削除（リストワイズ削除）、平均値・中央値・最頻値で補完、回帰モデルやk近傍法による補完、または欠損を示すダミー変数を追加する方法がある。補完方法はデータの性質や欠損メカニズムに依存する。
4.1.2 特徴量スケーリング
特徴量の単位やスケールが異なる場合、多くの機械学習モデル（SVR、ニューラルネットワーク、k近傍法など）は影響を受ける。標準化（平均0、分散1）や正規化（[0,1]の範囲に変換）が一般的であり、勾配降下法の収束を早め、モデルの性能を向上させる。木ベースのモデルでは不要な場合が多い。
4.2 代表的な応用例
4.2.1 株価・経済指標の予測
数値予測は金融・経済分野で広く用いられる。株価や為替レートの予測には時系列モデル（ARIMA、GARCH）や機械学習（LSTM、ランダムフォレスト）が適用される。ただし、効率的市場仮説により完全な予測は困難であり、リスク管理やアルゴリズム取引の補助として利用される。
4.2.2 気象予測
気象予測では、数値天気予報モデル（物理シミュレーション）に加えて、機械学習による統計的補正やアンサンブル予報が行われる。気温、降水量、風速などの連続値を予測し、予測誤差の評価にはMSEやMAEが用いられる。深層学習（CNN、RNN）による短時間予測（ナウキャスティング）も発展している。
4.2.3 医療診断におけるリスクスコア
医療分野では、患者のリスクスコア（例：生存率、再発確率、入院期間）の予測に数値予測が活用される。ロジスティック回帰に似た手法（Cox比例ハザードモデル）や機械学習（ランダムフォレスト、勾配ブースティング）を用いて、検査値や病歴から連続的なリスク値を算出する。解釈性が求められるため、SHAPやLIMEによる説明が併用される。
5 限界と注意点
5.1 外挿の危険性
数値予測モデルは、訓練データの範囲外の入力（外挿）に対しては信頼性が著しく低下する。特に線形回帰や多項式回帰は外挿時に極端な値を出力しやすい。機械学習モデルも訓練データの分布から外れた領域では無意味な予測を行うため、予測範囲の制約を常に意識する必要がある。
5.2 因果関係と相関関係の混同
高い予測精度は必ずしも因果関係を意味しない。数値予測モデルは相関関係に基づいて予測を行うため、交絡因子や疑似相関に惑わされる可能性がある。政策介入や因果推論が必要な場面では、予測モデルの結果を直接的な因果解釈に用いるべきではない。
5.3 モデル解釈性とブラックボックス問題
深層ニューラルネットワークやアンサンブル手法は高い予測性能を持つが、その内部構造が複雑で予測根拠を説明することが難しい（ブラックボックス問題）。医療や金融などのハイステークス領域では、モデルの解釈性が重要視され、SHAP、LIME、部分依存プロットなどの説明手法が併用される。また、透明性の高い線形モデルや決定木を選択する判断も求められる。