1 基本概念
1.1 定義と役割
学習可能なパラメータとは、機械学習・深層学習モデルにおいて、訓練データに基づく最適化プロセスを通じて値が自動的に調整される変数を指す。これらのパラメータはモデルの挙動を決定する核心要素であり、入力データから目的の出力への写像を表現する。代表的にはニューラルネットワークの重みやバイアスがあり、モデルの規模（パラメータ数）は表現能力や計算資源の要求に直結する。
1.2 パラメータとハイパーパラメータの区別
学習可能なパラメータは訓練中にデータから学習される値であるのに対し、ハイパーパラメータは学習率、層数、バッチサイズなど、訓練前に人間が設定し、訓練中は固定される値である。ハイパーパラメータはモデル構造や学習プロセスを制御するが、パラメータはデータから自動的に決定される点が本質的な差異である。
2 主要なパラメータの種類
2.1 ニューラルネットワークにおけるパラメータ
2.1.1 重み行列
重み行列は、各層の入力と出力ニューロン間の結合強度を表す行列である。全結合層では、入力ベクトルと重み行列の積により出力が計算される。重み行列の各要素は訓練を通じて調整され、特徴間の関係性を学習する。
2.1.2 バイアスベクトル
バイアスベクトルは、各ニューロンに加算される定数項である。重みだけで表現できないオフセットを補償し、活性化関数のシフトを可能にする。バイアスは重みと同様に訓練により最適化される。
2.2 畳み込みニューラルネットワークの特殊なパラメータ
2.2.1 フィルタ（カーネル）の重み
畳み込み層では、複数のフィルタ（カーネル）が入力画像に対してスライドしながら畳み込み演算を行う。各フィルタは小さな重み行列から構成され、エッジやテクスチャなどの局所パターンを学習する。フィルタの重みは全結合層と同様に訓練により更新される。
2.2.2 プーリング層のパラメータ
プーリング層（最大プーリングや平均プーリング）は通常、学習可能なパラメータを持たない。ただし、近年の一部の手法（例：混合プーリング）では、プーリング方式を学習するための小さなパラメータが導入されることがある。従来のプーリング層は固定操作のみを行う。
2.3 リカレントニューラルネットワークのパラメータ
2.3.1 隠れ状態の重み
リカレントニューラルネットワーク（RNN）では、時刻間の隠れ状態を伝達するための重み行列が存在する。これにより、系列データの時間的依存関係を学習する。隠れ状態の重みは、現在の入力と前時刻の隠れ状態から次時刻の隠れ状態を計算する際に使用される。
2.3.2 入出力ゲートのパラメータ
LSTMやGRUなどのゲート付きRNNでは、忘却ゲート、入力ゲート、出力ゲートなど、情報の流れを制御するための複数の重み行列とバイアスが存在する。各ゲートは独立した学習可能なパラメータを持ち、長期依存関係の学習を可能にする。
3 訓練メカニズム
3.1 初期化手法
3.1.1 ランダム初期化
訓練開始時に、パラメータは通常、小さな乱数で初期化される。一様分布や正規分布に従う値が用いられ、対称性の崩壊を防ぐ。初期値の範囲は活性化関数や層のサイズに依存する。
3.1.2 Xavier / He 初期化
Xavier初期化（Glorot初期化）は、シグモイドやtanh活性化関数に適した手法で、入力数と出力数に基づいて分散を調整する。He初期化はReLU系活性化関数向けに開発され、より大きな分散を設定することで勾配の消失を防ぐ。どちらも訓練の収束性を改善する。
3.2 最適化アルゴリズム
3.2.1 確率的勾配降下法
確率的勾配降下法（SGD）は、各訓練サンプル（またはミニバッチ）ごとに損失関数の勾配を計算し、パラメータを更新する基本アルゴリズムである。学習率をハイパーパラメータとし、勾配方向に一定のステップでパラメータを移動させる。
3.2.2 Adam オプティマイザ
Adam（Adaptive Moment Estimation）は、勾配の1次モーメントと2次モーメントを適応的に推定し、各パラメータに個別の学習率を適用する最適化手法である。モーメンタムとRMSPropの利点を組み合わせ、SGDよりも収束が速く、広く利用されている。
3.3 更新則とバックプロパゲーション
3.3.1 誤差逆伝播法
誤差逆伝播法（バックプロパゲーション）は、ネットワークの出力層から入力層に向かって損失の勾配を連鎖律に従って計算する手法である。各層のパラメータに関する勾配が求められ、最適化アルゴリズムによる更新が可能となる。
3.3.2 勾配消失・爆発問題
深いネットワークでは、勾配が層を伝播するにつれて指数的に小さくなる（消失）または大きくなる（爆発）現象が発生する。これにより、初期層のパラメータ更新が困難になる。対策として、適切な活性化関数（ReLUなど）、バッチ正規化、勾配クリッピング、残差接続などが用いられる。
4 制御と正則化
4.1 正則化手法
4.1.1 L1/L2 正則化
L2正則化（ウェイト減衰）は、損失関数にパラメータの二乗和をペナルティ項として追加し、パラメータ値を小さく抑える。L1正則化は絶対値和をペナルティとし、スパースなパラメータを促進する。どちらも過学習を抑制する効果がある。
4.1.2 ドロップアウト
ドロップアウトは、訓練中にランダムに一部のニューロン（とその接続）を無効にする手法である。これにより、各ニューロンが他のニューロンに過度に依存することを防ぎ、アンサンブル的な効果で汎化性能を向上させる。テスト時には全ニューロンを使用する。
4.2 パラメータ共有
4.2.1 畳み込み層における重み共有
畳み込み層では、同一のフィルタが入力全体に適用されるため、フィルタの重みが空間的位置に関して共有される。これにより、パラメータ数が大幅に削減され、画像中の位置不変性の学習が可能になる。
4.2.2 転移学習とファインチューニング
転移学習では、大規模データセットで事前学習されたモデルのパラメータを初期値として利用し、新しいタスクに適応させる。ファインチューニングでは、一部または全部のパラメータを新しいデータで再訓練する。これにより、少ないデータでも高い性能が得られる。
5 応用と関連分野
5.1 事前学習モデルにおけるパラメータ
5.1.1 BERT のパラメータ構造
BERTはTransformerエンコーダをベースとし、自己注意機構（マルチヘッドアテンション）やフィードフォワード層の重み、埋め込み層、位置エンコーディングのパラメータから構成される。訓練済みモデルは大規模コーパスで学習され、様々な自然言語処理タスクにファインチューニング可能である。
5.1.2 GPT シリーズの大規模パラメータ
GPTシリーズ（GPT-2, GPT-3, GPT-4など）は、Transformerデコーダを拡張し、数十億から数千億に及ぶパラメータを持つ。これらの巨大モデルは、自己回帰的なテキスト生成を行い、パラメータ数の増加に伴って創発的な能力が現れることが観察されている。
5.2 強化学習におけるパラメータ
強化学習では、方策ネットワークや価値関数ネットワークのパラメータが学習可能である。エージェントは環境との相互作用を通じて報酬を最大化するようにパラメータを更新する。代表的なアルゴリズムにDQN、PPO、SACなどがあり、それぞれ異なる目的関数と更新則を持つ。
5.3 生成モデルにおけるパラメータ
生成モデル（GAN、VAE、拡散モデルなど）は、データ分布を学習するためのパラメータを持つ。GANでは生成器と識別器の両方のパラメータが対抗的に訓練される。VAEではエンコーダとデコーダのパラメータが変分下界を最大化するよう更新される。拡散モデルはノイズ除去過程をパラメータ化して学習する。