1 定義と基本概念
教師あり学習（Supervised Learning）は、機械学習の主要なパラダイムの一つであり、入力データとそれに対応する正解ラベル（出力）のペアからなる訓練データを用いて、入力から出力への写像を学習する手法である。モデルは未知の入力に対して正確な予測や分類を行うことを目的とし、回帰問題（連続値の予測）と分類問題（離散的なカテゴリの識別）に大別される。代表的なアルゴリズムには線形回帰、ロジスティック回帰、サポートベクターマシン、決定木、ニューラルネットワークなどがあり、画像認識、自然言語処理、医療診断など幅広い実世界の応用で活用されている。
1.1 教師あり学習の位置づけ
機械学習は大きく教師あり学習、教師なし学習、強化学習に分類される。教師あり学習は、明示的な正解ラベルが与えられたデータを用いる点で他の手法と異なり、予測精度が高く、厳密な評価が可能である。一方、ラベル付きデータの収集にはコストがかかるため、ラベルが少ない状況では半教師あり学習や自己教師あり学習などの派生手法が用いられる。
1.2 ラベル付きデータと教師信号
ラベル付きデータとは、各入力サンプルに人間や既存システムが付与した正解ラベルが含まれるデータセットを指す。このラベルは「教師信号」とも呼ばれ、モデルが予測誤差を計算し、パラメータを更新するための基準となる。回帰問題では実数値、分類問題ではカテゴリ値がラベルとして与えられる。
1.3 学習の目的：汎化能力
教師あり学習の最終的な目標は、訓練データに適合するだけでなく、未知のデータに対しても良好な予測性能を発揮する「汎化能力」を獲得することである。過学習（訓練データへの過度な適合）を防ぎ、汎化性能を高めるために、正則化や交差検証などの手法が用いられる。
2 主要なアルゴリズム
2.1 回帰アルゴリズム
2.1.1 線形回帰
線形回帰は、入力特徴量の線形結合によって連続的な出力を予測する最も基本的な回帰手法である。モデルは \( y = w_0 + w_1 x_1 + \dots + w_n x_n \) の形で表され、最小二乗法によりパラメータ \( w \) を推定する。計算が高速で解釈性が高い一方、線形性の仮定が成り立たないデータには適用が難しい。
2.1.2 多項式回帰
多項式回帰は、線形回帰を拡張して入力特徴量の高次項（例えば \( x^2, x^3 \) など）を加えることで、非線形な関係をモデル化する手法である。次数を大きくすると表現力が向上するが、過学習のリスクも高まるため、次数選択には注意が必要である。
2.1.3 リッジ回帰とラッソ回帰
リッジ回帰は線形回帰にL2正則化項（重みの二乗和）を加え、係数を縮小することで過学習を抑制する。ラッソ回帰はL1正則化項（重みの絶対値和）を加え、不要な特徴量の係数をゼロにするスパースな解を得られる。これらの手法は多重共線性や高次元データに有効である。
2.2 分類アルゴリズム
2.2.1 ロジスティック回帰
ロジスティック回帰は、二値分類問題に広く用いられる手法で、シグモイド関数を用いて入力の線形結合を0から1の確率値に変換する。交差エントロピー損失を最小化することで学習が行われる。多クラス分類にはソフトマックス関数を適用した多項ロジスティック回帰が用いられる。
2.2.2 サポートベクターマシン
サポートベクターマシン（SVM）は、異なるクラスのデータ点を最大マージンで分離する超平面を見つける手法である。カーネルトリックを用いることで非線形な分類も可能となり、高次元データに対して優れた性能を発揮する。計算コストが高くなる場合があるが、小〜中規模のデータセットで有効。
2.2.3 決定木とランダムフォレスト
決定木は、特徴量の条件分岐を繰り返して木構造を構築し、各葉ノードにクラスや値を割り当てる手法である。解釈性が高いが、深い木は過学習しやすい。ランダムフォレストは複数の決定木をバギング（ブートストラップ集約）とランダムな特徴量選択で構築し、それらの多数決または平均で予測を行うアンサンブル手法であり、過学習を抑えつつ高い精度を実現する。
2.2.4 k近傍法
k近傍法（k-NN）は、新しい入力に対して訓練データ内の最も近いk個のサンプルの多数決（分類）または平均（回帰）で予測する、距離ベースの非パラメトリック手法である。学習は行わず、予測時に全データとの距離計算が必要となるため、大規模データでは計算コストが高い。
2.2.5 ニューラルネットワーク
ニューラルネットワークは、多数のニューロン（ユニット）を層状に接続したモデルであり、非線形活性化関数（ReLU、シグモイドなど）を用いることで複雑な関数を近似できる。深層学習と呼ばれる多層構造により、画像、音声、テキストなどの高次元データで顕著な成果を挙げている。バックプロパゲーションと勾配降下法により学習される。
2.3 その他の手法
2.3.1 ナイーブベイズ分類器
ナイーブベイズ分類器は、ベイズの定理に基づき、各特徴量がクラスに対して条件付き独立であると仮定する生成モデルである。計算が非常に高速で、テキスト分類（スパムフィルタなど）に広く用いられる。独立性の仮定が実際には成り立たない場合でも、多くの問題で良好な性能を示す。
2.3.2 勾配ブースティング
勾配ブースティングは、弱学習器（通常は浅い決定木）を逐次的に追加し、前段の残差（誤差の勾配方向）を補正するアンサンブル手法である。XGBoost、LightGBM、CatBoostなどの実装が知られ、構造化データの分類・回帰で最高レベルの精度を達成することが多い。一方、ハイパーパラメータ調整が重要で、過学習に注意が必要。
3 学習プロセス
3.1 データの前処理
3.1.1 特徴量エンジニアリング
特徴量エンジニアリングでは、生データからモデルが学習しやすいように特徴量を生成・選択・変換する。例えば、カテゴリ変数のダミー変数化、日付情報からの曜日抽出、テキストデータのTF-IDFベクトル化などが含まれる。適切な特徴量設計はモデルの性能を大きく左右する。
3.1.2 正規化と標準化
正規化（Min-Maxスケーリング）はデータを特定の範囲（例えば[0,1]）に変換する。標準化（Zスコア正規化）は平均0、分散1に調整する。距離ベースのアルゴリズム（k-NN、SVM）や勾配降下法を用いるモデルでは、特徴量間のスケールを揃えることで学習の安定性と収束速度が向上する。
3.2 モデル選択とハイパーパラメータ調整
モデル選択では、問題の性質（線形・非線形、データサイズ、解釈性の要否）に応じてアルゴリズムを選ぶ。ハイパーパラメータ（正則化係数、木の深さ、学習率など）は訓練前に設定するパラメータであり、グリッドサーチやランダムサーチ、ベイズ最適化を用いて最適な組み合わせを探索する。交差検証により汎化性能を評価しながら調整を行う。
3.3 損失関数と最適化
3.3.1 平均二乗誤差
平均二乗誤差（MSE）は回帰問題でよく使われる損失関数で、予測値と真値の差の二乗の平均である。 \( \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2 \) で定義され、外れ値の影響を大きく受ける。二乗誤差は微分可能で、勾配降下法との相性が良い。
3.3.2 クロスエントロピー損失
クロスエントロピー損失は分類問題で最も一般的に用いられる損失関数である。二値分類では \( -[y \log(\hat{y}) + (1-y) \log(1-\hat{y})] \)、多クラス分類では \( -\sum_{c=1}^C y_c \log(\hat{y}_c) \) で表される。確率分布間の距離を測り、尤度最大化と等価である。
3.3.3 勾配降下法とその変種
勾配降下法は損失関数の勾配方向にパラメータを更新する最適化手法である。バッチ勾配降下法は全データで勾配を計算するが、確率的勾配降下法（SGD）は1サンプルずつ更新し、ミニバッチ勾配降下法はその中間で効率的である。Momentum、AdaGrad、Adamなどの適応的学習率手法は収束を加速する。
3.4 過学習と対策
3.4.1 正則化
正則化は損失関数にモデルの複雑さに対するペナルティ項を追加することで過学習を防ぐ。L1正則化（ラッソ）はスパース性を促進し、L2正則化（リッジ）は重みを均等に小さくする。ニューラルネットワークでは、重み減衰（Weight Decay）として実装されることが多い。
3.4.2 ドロップアウト
ドロップアウトはニューラルネットワークの学習時に、ランダムに一定割合のニューロンを無効化する手法である。これによりユニット間の共適応を防ぎ、アンサンブル効果と似た汎化性能の向上が得られる。テスト時にはすべてのユニットを使い、ドロップアウト率でスケーリングする。
3.4.3 早期停止
早期停止は、検証データの損失が増加し始めた時点で学習を打ち切る手法である。訓練誤差は減少し続ける一方で検証誤差が上昇する「過学習の兆候」を捉え、最適なエポック数でモデルを保存する。計算コストの削減にも寄与する。
4 評価と検証
4.1 訓練データ・検証データ・テストデータの分割
データセットは通常、訓練データ（モデルの学習用）、検証データ（ハイパーパラメータ調整やモデル選択用）、テストデータ（最終的な汎化性能の評価用）に分割される。一般的な分割比率は6:2:2や8:1:1などである。テストデータはモデル開発の最後まで使用せず、情報漏洩を防ぐ。
4.2 交差検証
交差検証は、限られたデータを効率的に活用するための評価手法である。k分割交差検証ではデータをk個のフォールドに分割し、1つを検証、残りを訓練としてk回繰り返して平均性能を算出する。k=5やk=10がよく用いられる。データ数が少ない場合には、1個ずつ検証するリーブ・ワン・アウト交差検証（LOOCV）も使われる。
4.3 評価指標
4.3.1 回帰指標：平均絶対誤差、決定係数
平均絶対誤差（MAE）は予測誤差の絶対値の平均であり、外れ値の影響を受けにくい。決定係数（R²）はモデルがデータの分散をどの程度説明できるかを示し、1に近いほど良い。他に平均二乗誤差（MSE）や二乗平均平方根誤差（RMSE）も用いられる。
4.3.2 分類指標：精度、再現率、F1スコア、ROC-AUC
精度（Precision）は陽性と予測した中で実際に陽性だった割合、再現率（Recall）は実際の陽性の中で陽性と予測できた割合である。F1スコアは精度と再現率の調和平均で、不均衡データの評価に適する。ROC-AUCは閾値を変化させたときの真陽性率と偽陽性率の曲線下面積で、モデルの識別性能を総合的に評価する。
5 応用分野
5.1 画像認識と物体検出
教師あり学習は画像分類（例：猫か犬か）、物体検出（例：画像内の車や人の位置特定）、セグメンテーション（ピクセル単位の分類）に広く利用される。畳み込みニューラルネットワーク（CNN）が中心的な役割を果たし、ImageNetなどの大規模ラベル付きデータセットが性能向上に貢献している。
5.2 自然言語処理とテキスト分類
テキストの感情分析、スパム検出、トピック分類、機械翻訳など、自然言語処理の多くのタスクで教師あり学習が用いられる。従来はナイーブベイズやSVMが主流だったが、近年はTransformer（BERT、GPTなど）を基盤とした大規模モデルが高い性能を示している。
5.3 音声認識と合成
音声認識では、音響特徴量から単語や音素へのマッピングを学習する。ディープニューラルネットワーク（DNN）やリカレントニューラルネットワーク（RNN）、さらにエンドツーエンドモデル（Attention機構など）が用いられる。音声合成（テキストから音声への変換）でも教師あり学習が主要なアプローチである。
5.4 医療診断と創薬
医療画像（X線、CT、MRI）の病変検出、病理画像の分類、心電図解析などで教師あり学習が活用される。創薬では、化合物の構造から生物学的活性や毒性を予測するモデルが構築され、候補化合物のスクリーニング効率を向上させる。
5.5 金融予測とリスク評価
株価や為替の予測、信用リスク評価、不正取引検出など金融分野でも教師あり学習は広く応用されている。回帰モデルによる時系列予測や、不均衡データに対するアンサンブル手法（勾配ブースティングなど）が実務で使われる。
6 課題と限界
6.1 データ品質とラベル付けコスト
教師あり学習の性能はラベル付きデータの品質と量に大きく依存する。ラベル付けには専門知識や多大な人手が必要であり、誤ったラベル（ノイズ）があるとモデルの精度が低下する。また、プライバシーや機密性の高いデータではラベル付けが困難な場合もある。
6.2 バイアスと公平性
訓練データに含まれる社会的バイアス（人種、性別、年齢などに関する偏り）は、モデルがそれを学習し、予測に反映させる可能性がある。これにより不公平な判断や差別的な結果を生むリスクがあり、バイアス検出やデータの再バランシング、公平性制約の導入などの対策が研究されている。
6.3 解釈可能性と説明可能性
複雑なモデル（深層ニューラルネットワークやアンサンブル）は高い予測精度を持つ一方、その判断根拠を人間が理解することが難しい。医療や金融など説明責任が求められる分野では、モデルの解釈可能性（なぜその予測に至ったか）が重要な課題であり、SHAPやLIMEなどの説明手法が開発されている。
6.4 ラベルのノイズと不均衡データ
実世界のデータセットでは、ラベルに誤りが含まれるノイズや、クラス間のサンプル数に大きな偏りがある不均衡が頻繁に発生する。ノイズに対しては頑健な損失関数の採用、不均衡に対してはオーバーサンプリング（SMOTEなど）やアンダーサンプリング、重み付き損失関数などの手法が用いられるが、根本的な解決には至らない場合もある。