1 定義と基本原理
ミニバッチとは、機械学習における勾配降下法の一種であり、訓練データ全体を複数の小さな部分集合（ミニバッチ）に分割し、各ミニバッチごとにモデルパラメータを更新する手法である。バッチ勾配降下法が全データを一度に処理するのに対し、ミニバッチは部分データのみを用いることで計算負荷を軽減し、確率的勾配降下法（SGD）より安定した勾配推定を実現する。
1.1 勾配降下法における位置づけ
勾配降下法は、損失関数の最小化を目的としてパラメータを繰り返し更新する最適化手法である。ミニバッチは、バッチ勾配降下法（全データ使用）と確率的勾配降下法（1サンプル使用）の中間に位置する。これにより、計算コストと収束速度のバランスをとることが可能となる。
1.2 バッチサイズの役割
バッチサイズは、ミニバッチに含まれる訓練サンプルの数を指す。この値は、勾配の分散（推定のばらつき）と計算効率に直接影響を与える。バッチサイズが小さいほど勾配のノイズが大きくなるが、更新頻度が高まり、局所最適解からの脱出が容易になる。逆に大きいほど勾配の推定精度が向上するが、計算資源の消費が増大する。
1.3 ミニバッチと確率的勾配降下法の違い
確率的勾配降下法（SGD）は各イテレーションで1サンプルのみを使用するのに対し、ミニバッチ法は複数サンプルを用いる。このため、ミニバッチ法はSGDよりも勾配の分散が小さく、収束が安定する傾向がある。また、GPUの並列計算を活用する場合、適切なバッチサイズで処理することでハードウェアの性能を最大限引き出せる。
2 実装とパラメータ選択
ミニバッチを実装する際には、バッチサイズの決定、学習率との調整、エポックやイテレーションの概念理解が重要である。
2.1 ミニバッチサイズの決め方
バッチサイズの選択は、モデルの収束性や計算効率に大きく影響する。
2.1.1 経験則と一般的な値
実務では、32、64、128、256といった2の冪乗が頻繁に用いられる。これらの値はGPUのメモリ管理に適しており、深層学習の標準的な設定として広く受け入れられている。データセットの規模やタスクの複雑さに応じて調整される。
2.1.2 ハードウェア制約との関係
GPUのメモリ容量はバッチサイズの上限を決める。大きなバッチを設定するとメモリ不足（out-of-memory）が発生する可能性がある。また、バッチサイズが小さすぎると並列計算の効率が低下するため、ハードウェアの演算ユニット数を考慮した選択が必要である。
2.2 学習率との相互作用
ミニバッチのバッチサイズは、学習率の調整と密接に関連する。
2.2.1 バッチサイズと学習率のスケーリング則
バッチサイズを大きくする場合、学習率も比例して大きくする線形スケーリング則が知られている。これは、大きなバッチで得られる勾配の分散が小さくなるため、より大きな更新ステップを許容できるからである。ただし、極端に大きなバッチでは汎化性能が低下することが報告されており、学習率のウォームアップなどの工夫が必要となる。
2.3 エポックとイテレーション
エポックは全訓練データを1回使い切ること、イテレーションは1回のミニバッチ処理を指す。訓練データ数をN、バッチサイズをBとすると、1エポックあたりのイテレーション数はN/B（切り上げ）となる。ミニバッチ法では、各エポックの開始時にデータをシャッフルすることが一般的である。
3 利点と欠点
3.1 利点
ミニバッチは多くの利点を持ち、深層学習の標準的手法となっている。
3.1.1 計算効率の向上
バッチ勾配降下法では全データをメモリに載せる必要があるが、ミニバッチでは部分データのみで済むため、大規模データセットでも実用的な時間で学習が可能である。また、GPUの並列処理能力を活用し、単位時間あたりの処理量を最大化できる。
3.1.2 メモリ使用量の削減
一度に処理するサンプル数が限られるため、必要メモリ量が削減される。これにより、メモリ容量が限られた環境でも大規模なモデルを学習できる。
3.1.3 収束の安定化
SGDよりも勾配の推定が安定するため、損失関数の振動が軽減され、収束が滑らかになる。また、適度なノイズにより局所最適解に陥るリスクを低減できる。
3.2 欠点
3.2.1 ノイズによる振動
バッチ勾配降下法と比較すると、ミニバッチは勾配にノイズが含まれるため、収束過程で損失値が振動することがある。これにより、最適点に到達するまでに時間がかかる場合がある。
3.2.2 局所最適解への影響
ノイズが大きすぎると、最適解付近で不安定になる一方、ノイズが適切な場合は局所最適解からの脱出を促進する。しかし、バッチサイズが不適切だと、収束の遅延や性能低下を招く可能性がある。
4 バリエーションと応用
4.1 動的ミニバッチ
訓練の進行に応じてバッチサイズを変化させる手法。初期は小さなバッチで多様な勾配を得て幅広く探索し、後期は大きなバッチで安定した収束を狙う。学習率との組み合わせが重要となる。
4.2 階層的ミニバッチ
複数の異なるバッチサイズを階層的に組み合わせる手法。例えば、グループ単位でミニバッチを構成し、そのグループ内でさらに細かいサンプリングを行う。大規模データにおける負荷分散に役立つ。
4.3 分散学習におけるミニバッチ
複数の計算ノードを用いた分散学習では、ミニバッチの扱い方が鍵となる。
4.3.1 データ並列処理
各ノードが同一モデルを保持し、異なるミニバッチを並列に処理する。勾配を集約（平均化）してパラメータを更新する手法であり、スケーラビリティに優れる。同期更新と非同期更新の選択肢がある。
4.3.2 モデル並列処理
モデルを複数のノードに分割し、各ノードがモデルの一部と対応するミニバッチを担当する。大規模モデルで有効だが、ノード間の通信オーバーヘッドが課題となる。
5 関連概念
5.1 エポックシャッフル
各エポックの開始時に訓練データをランダムに並べ替える操作。これにより、ミニバッチの構成が毎エポック変化し、バイアスを低減して汎化性能を向上させる。特に確率的勾配降下法系統の手法で標準的に用いられる。
5.2 バッチ正規化との組み合わせ
バッチ正規化は、ミニバッチ内のアクティベーションを正規化する手法。ミニバッチの統計量（平均、分散）を用いるため、バッチサイズが小さいと推定が不安定になる。そのため、バッチ正規化を用いる際は十分なバッチサイズを確保するか、後続の改良手法（グループ正規化など）を検討する。
5.3 確率的勾配降下法との比較
確率的勾配降下法（SGD）は1サンプルで更新するため、ミニバッチ法よりも勾配の分散が大きく、収束までに多くのイテレーションを要する。一方、ミニバッチ法はバッチサイズを調整することで、収束速度と計算効率のトレードオフを制御できる。現代の深層学習では、ミニバッチSGDが事実上の標準となっている。