強化学習
強化学習（Reinforcement Learning）は、機械学習の一分野であり、エージェント（学習主体）が環境との相互作用を通じて、報酬（reward）を最大化する方策（policy）を自律的に獲得する枠組みである。教師あり学習とは異なり、正解ラベルの代わりに試行錯誤によるフィードバック（報酬信号）を用いて行動の良し悪しを学習する。この手法は、ゲームプレイ、ロボット制御、自動運転、金融取引など、逐次的な意思決定が求められる応用科学の幅広い分野で活用されている。
1 基礎概念と数学的枠組み
1.1 マルコフ決定過程（MDP）
強化学習問題の多くは、マルコフ決定過程（MDP）として数学的にモデル化される。MDPは、状態の集合、行動の集合、状態遷移確率、及び即時報酬関数によって定義される。エージェントはある状態を観測し、行動を選択し、環境は次の状態と報酬を返す。この過程において、未来の状態が現在の状態のみに依存するという性質をマルコフ性と呼ぶ。
1.2 方策と価値関数
方策（policy）は、エージェントが各状態でどの行動を取るべきかを決定する規則である。価値関数は、特定の方策に従った場合の状態や行動の長期的な期待報酬を評価する。
1.2.1 状態価値関数（V関数）
状態価値関数V(s)は、状態sから開始し、その後ある方策に従った場合に得られる期待累積報酬を表す。これにより、特定の方策の下での状態の「良さ」を定量的に比較できる。
1.2.2 行動価値関数（Q関数）
行動価値関数Q(s, a)は、状態sで行動aを実行し、その後ある方策に従った場合に得られる期待累積報酬を表す。エージェントが次に取るべき行動を直接評価するために用いられる。
1.2.3 ベルマン方程式
ベルマン方程式は、価値関数に関する再帰的な関係式である。現在の状態の価値は、即時報酬と次の状態の価値の割引和として表現できる。この方程式は、動的計画法や強化学習アルゴリズムの基盤となる。
1.3 探索と活用のトレードオフ
強化学習では、これまでの経験から最も報酬が期待できる行動を選ぶ「活用」と、未知の行動を試してより良い結果を探す「探索」のバランスが本質的に重要である。
1.3.1 ε-greedy方策
最も単純な探索戦略の一つであり、高い確率(1-ε)で最良の行動を選択し、低い確率(ε)でランダムな行動を選択する。この単純さから広く利用されている。
1.3.2 ソフトマックス探索
各行動の価値に基づいて選択確率を決定する方法である。価値の高い行動が選ばれやすくなるボルツマン分布が典型的であり、探索の度合いを温度パラメータで制御できる。
1.4 問題の種類
強化学習問題は、報酬の扱い方やタスクの終了条件によっていくつかの種類に分類される。
1.4.1 割引報酬と平均報酬
割引報酬は、将来の報酬に割引率を乗じて現在価値に換算し、報酬の総和を最大化する問題である。平均報酬は、単位時間あたりの平均報酬を最大化する問題であり、継続的なタスクに適する。
1.4.2 エピソード型と継続型タスク
エピソード型タスクは、開始状態と終了状態が明確に定義されており、ゲームや迷路探索がこれに該当する。継続型タスクは、明確な終了がなく、エージェントが無限に相互作用を続けることを前提とする。
2 主要なアルゴリズム
2.1 動的計画法
動的計画法（DP）は、環境の完全なモデル（状態遷移確率と報酬関数）が既知である場合に、最適方策を計算する手法である。
2.1.1 方策反復法
方策反復法は、「方策評価」と「方策改善」の二つのステップを交互に繰り返す。方策評価で現在の方策の価値関数を計算し、方策改善でその価値関数に基づいてより良い方策を生成する。このプロセスは最適方策に収束するまで続けられる。
2.1.2 価値反復法
価値反復法は、ベルマン最適方程式を用いて価値関数を直接的に更新する。各状態の価値を繰り返し更新し、価値関数が収束した後、その価値関数から最適方策を抽出する。
2.2 モデルフリー手法
モデルフリー手法は、環境モデルを必要とせず、実際の経験（状態、行動、報酬の系列）のみから学習を行う。
2.2.1 モンテカルロ法
モンテカルロ法は、エピソードの完了を待ち、実際に得られた収益（割引累積報酬）を用いて価値関数を推定する。エピソード単位の学習となるため、バイアスはないが分散が大きくなる傾向がある。
2.2.2 TD学習（時間差学習）
TD学習は、モンテカルロ法と動的計画法のアイデアを組み合わせたものである。エピソードの終了を待たずに、次の状態の推定価値（ブートストラップ）を用いて現在の価値を更新する。
###### 2.2.2.1 Sarsa（オン方策） Sarsaはオン方策のTD学習アルゴリズムであり、現在の行動方策に従って生成された状態-行動-報酬-次の状態-次の行動の系列（S, A, R, S', A'）を用いてQ値を更新する。
###### 2.2.2.2 Q学習（オフ方策） Q学習はオフ方策のTD学習アルゴリズムであり、現在の方策とは独立に、次の状態における最大のQ値を使ってQ値を更新する。これにより、行動方策とは異なる、より最適な方策を直接学習できる。
2.2.3 多段階TD法
多段階TD法は、モンテカルロ法（全段階）と単段階TD法の中間的な方法であり、nステップ分の実際の報酬を集めてからブートストラップを行う。これにより、学習のバイアスと分散のバランスを調整できる。
2.3 モデルベース手法
モデルベース手法は、環境との相互作用から明示的なモデル（遷移確率と報酬関数）を学習し、そのモデルを用いて方策を計画または学習する。
2.3.1 ダイナスタイル学習
Dynaフレームワークは、実経験からモデルを学習すると同時に、学習したモデルから生成したシミュレーション経験を用いて価値関数や方策を更新する。これにより、サンプル効率が向上する。
2.3.2 推定モデルによるプランニング
学習した環境モデルを用いて、実際の環境と相互作用することなく内部でシミュレーションを行い、行動を計画する。代表的な手法としてモンテカルロ木探索（MCTS）があり、AlphaGoなどの成功に貢献した。
2.4 関数近似と深層強化学習
状態や行動空間が非常に大きい場合、価値関数や方策をテーブルで保持することは不可能になる。そのため、関数を用いて近似する。
2.4.1 線形関数近似
状態を特徴ベクトルで表現し、その線形結合で価値関数を近似する。計算が効率的であり、収束性に関する理論的解析も進んでいる。
2.4.2 ニューラルネットワークの導入
深層ニューラルネットワークは、複雑な非線形関数を近似できる。これにより、画像や音声などの高次元な入力を直接扱うことが可能になった。
2.4.3 DQN（Deep Q-Network）
DQNは、深層ニューラルネットワークを用いてQ関数を近似する代表的なアルゴリズムである。経験再生（過去の経験をランダムにサンプリングして学習する手法）とターゲットネットワークを用いることで、学習の安定性を大幅に向上させた。
2.4.4 方策勾配法
方策勾配法は、方策をパラメータで直接表現し、期待報酬を最大化する方向にパラメータを勾配法で更新する。確率的方策を表現できるため、連続行動空間などに適している。
###### 2.4.4.1 REINFORCEアルゴリズム REINFORCEは、モンテカルロ法に基づく方策勾配法である。エピソードの完了を待ち、実際の収益を勾配の重みとして用いる。方策を直接最適化できるが、分散が大きいという欠点がある。
###### 2.4.4.2 Actor-Critic法 Actor-Critic法は、方策（Actor）と価値関数（Critic）の両方を学習するハイブリッド手法である。Criticが行動の価値を評価し、その評価に基づいてActorが方策を更新する。これにより、REINFORCEの高分散問題を軽減する。
###### 2.4.4.3 PPO（Proximal Policy Optimization） PPOは、方策の更新を制限することで、学習の安定性とサンプル効率を同時に実現した方策勾配法である。更新幅度合いをクリッピングすることで、大きな方策変化による性能劣化を防ぐ。現在最も広く使われるアルゴリズムの一つである。
3 応用分野と実践的課題
3.1 ゲームとシミュレーション
ゲームは、明確なルールと評価指標を持つため、強化学習アルゴリズムの開発と検証に理想的な環境を提供する。
3.1.1 囲碁・将棋（AlphaGo、AlphaZero）
AlphaGoは、深層学習とMCTSを組み合わせ、囲碁の世界チャンピオンを破った。その後、AlphaZeroは、人間の棋譜を一切使わず、自己対戦のみで囲碁、将棋、チェスをトップレベルでプレイすることを学習した。
3.1.2 コンピュータゲーム（Atari、StarCraft II）
DQNは、Atari2600の複数のゲームにおいて、画像入力のみから人間を超える性能を示した。さらに、StarCraft IIのような複雑な戦略ゲームにおいても、AlphaStarなどのエージェントが高いレベルを達成している。
3.2 ロボティクス
ロボットの制御は、強化学習の最も挑戦的でありながら応用価値の高い分野の一つである。
3.2.1 ロボットアーム制御
強化学習を用いて、ロボットアームが物体を掴む、部品を組み立てるなどの精密な操作を学習する。シミュレーション環境で事前学習し、実機に転用する手法が一般的である。
3.2.2 移動ロボットのナビゲーション
ロボットが未知の環境を探索し、障害物を避けながら目的地に到達するための行動を学習する。
3.3 産業と社会システム
3.3.1 自動運転
自動運転における車線変更、合流、速度制御などの複雑な判断を、強化学習で統合的に学習する試みが行われている。安全性の保証が最大の課題である。
3.3.2 レコメンデーションシステム
ユーザーのクリックや購入履歴を報酬とみなし、ユーザーの長期的な満足度を最大化するためのレコメンデーション方策を学習する。
3.3.3 エネルギー管理
データセンターの冷却システムや電力網の需給バランスなど、複雑なシステムの運用コストを最小化する制御に応用されている。Googleはデータセンターの冷却効率を大幅に改善したことで知られる。
3.4 実践上の課題
3.4.1 サンプル効率
多くの強化学習アルゴリズムは、性能を達成するために膨大な量の「試行錯誤」を必要とする。実世界での適用において、この「データ効率の悪さ」は主要な障壁となっている。
3.4.2 報酬設計（Reward Shaping）
「何を最大化すべきか」を定義する報酬関数の設計は、アルゴリズムの性能を大きく左右する。報酬がスパース（希少）すぎると学習が困難になり、不適切に設計された報酬は予期せぬ望ましくない行動（reward hacking）を誘発する可能性がある。
3.4.3 安全性と探索リスク
ロボットや自動運転において、学習過程での「失敗」が物理的な破壊や事故につながる可能性がある。安全制約を満たしながら効率的に学習する「安全な強化学習」は重要な研究分野である。
3.4.4 マルチエージェント環境
複数のエージェントが同時に学習する環境では、各エージェントの行動が互いに影響し合うため、環境が非定常となる。これにより、学習の収束が難しくなることが知られている。
4 発展的トピック
4.1 模倣学習（Imitation Learning）
専門家によるデモンストレーション（実演データ）から方策を直接学習する手法である。行動の教師あり学習（行動クローニング）や、専門家の方を目標に学習を進める手法などがある。試行錯誤のコストが高い場合に有効である。
4.2 逆強化学習（Inverse RL）
専門家の実演データから、その行動の背後にある報酬関数を推定する手法である。模倣学習とは異なり、「なぜその行動をとるのか」という根本的な目的を学習する。複雑なタスクの理解や、報酬設計の自動化に貢献する。
4.3 階層的強化学習
複雑なタスクを、より単純なサブタスクに階層的に分解して学習する枠組みである。例えば、「コーヒーをいれる」というタスクを「コップを取る」「コーヒーマシンに行く」「スイッチを押す」といった複数の抽象的な行動に分割する。これにより、探索の効率が大幅に向上する。
4.4 メタ強化学習
「学習の仕方」を学習する、いわゆる「メタ学習」を強化学習に適用したものである。多数の類似したタスクを経験することで、新しいタスクに対してごく少数の試行で素早く適応できるようになることを目指す。