1.1 強化学習の枠組み
1.1.1 状態・行動・報酬
強化学習はエージェントが環境と相互作用しながら学習する枠組みである。各時刻においてエージェントは環境から状態を受け取り、行動を選択し、その結果として報酬を得る。状態は環境の観測可能な情報を表し、行動はエージェントが取り得る選択肢、報酬は行動の即時的な評価を示すスカラー値である。エージェントの目的は累積報酬を最大化することである。
1.1.2 方策と価値関数
方策は状態から行動への確率的または決定的な写像であり、エージェントの行動選択戦略を定義する。価値関数は特定の状態または状態-行動ペアの長期的な期待収益を推定する。状態価値関数 V(s) は状態 s から始めたときの期待収益、行動価値関数 Q(s,a) は状態 s で行動 a を取った後の期待収益である。
1.1.3 マルコフ決定過程 (MDP)
マルコフ決定過程は強化学習の数学的基礎である。MDP は状態集合 S、行動集合 A、遷移確率 P、報酬関数 R、割引率 γ から構成される。マルコフ性により、将来の状態は現在の状態と行動のみに依存する。エージェントは MDP の枠組みで最適方策を求める。
1.2 深層学習の役割
1.2.1 関数近似器としてのニューラルネットワーク
深層ニューラルネットワークは高次元かつ連続的な状態空間や行動空間を扱うための関数近似器として機能する。従来のテーブル型表現では不可能だった画像や音声などの複雑な入力から直接特徴を抽出し、価値関数や方策を近似できる。
1.2.2 勾配降下法と誤差逆伝播
深層ニューラルネットワークの学習には勾配降下法と誤差逆伝播が用いられる。損失関数を最小化するようにネットワークの重みを更新する。強化学習では、TD誤差や方策勾配などの目的関数に対して勾配を計算し、ネットワークパラメータを調整する。
1.3 探索と活用のトレードオフ
エージェントは既知の良い行動を選択する活用と、未知の行動を試して新たな知識を得る探索のバランスを取る必要がある。ε-greedy 法やソフトマックス方策などの手法でこのトレードオフを制御する。適切な探索なしでは局所最適に陥るリスクがある。
2.1 価値ベース手法
2.1.1 DQN (Deep Q-Network)
DQN は深層ニューラルネットワークを用いて Q 関数を近似するアルゴリズムである。高次元の状態入力（ゲーム画面など）から直接 Q 値を推定し、最適行動を選択する。
2.1.1.1 経験再生 (Experience Replay)
エージェントの経験（状態、行動、報酬、次の状態）をバッファに保存し、ランダムサンプリングして学習に用いる。これによりデータの相関を減らし、学習の安定性を向上させる。
2.1.1.2 ターゲットネットワーク
Q 値の更新を安定させるため、固定されたターゲットネットワークを用いて目標値を計算する。定期的にターゲットネットワークを更新することで、学習の振動を抑制する。
2.1.2 Double DQN と Dueling DQN
Double DQN は行動選択と価値評価を分離することで過大評価バイアスを軽減する。Dueling DQN は状態価値関数とアドバンテージ関数を別々に推定するネットワーク構造を導入し、学習効率を向上させる。
2.2 方策ベース手法
2.2.1 REINFORCE アルゴリズム
REINFORCE は方策勾配法の基本アルゴリズムであり、エピソード全体の収益を用いて方策パラメータを更新する。モンテカルロ法に基づくため分散が大きく、効率が低いが、確率的方策の直接最適化が可能である。
2.2.2 Actor-Critic フレームワーク
Actor-Critic は方策（アクター）と価値関数（クリティック）を同時に学習する手法である。アクターは方策勾配に従って更新され、クリティックは価値関数を近似してアクターに低分散な勾配情報を提供する。
2.2.2.1 アドバンテージ関数の利用
アドバンテージ関数 A(s,a) = Q(s,a) - V(s) を用いることで、行動の相対的な良さを評価できる。これにより方策更新の分散を低減し、学習を安定化する。
2.3 モデルベース手法
2.3.1 モデル予測制御 (MPC)
モデルベース手法では環境の遷移モデルを学習し、そのモデルを用いて行動計画を立てる。MPC は現在の状態から将来の報酬を予測し、最適な行動系列を逐次的に選択する。
2.3.2 世界モデル (World Models) と Dreamer
世界モデルは環境の潜状態表現と遷移を学習し、その内部モデル内で仮想的な経験を生成する。Dreamer はこの世界モデルを用いて長期計画を行い、モデルベースの強化学習を実現する。
2.4 分散型アルゴリズム
2.4.1 A3C (Asynchronous Advantage Actor-Critic)
A3C は複数のエージェントが非同期に環境と相互作用し、集中共有パラメータに勾配を送信する。非同期更新によりデータの相関が減少し、学習が高速化される。
2.4.2 IMPALA
IMPALA は大規模分散学習向けに設計された Actor-Critic アルゴリズムである。アクターとラーナーを分離し、非同期通信と重要性サンプリングを組み合わせて高スループットを実現する。
3.1 ゲームプレイ
3.1.1 アタリゲームと DQN
DQN はアタリ2600の49種類のゲームで人間並み以上のスコアを達成し、深層強化学習の有効性を実証した。画像入力から直接行動を学習し、ブロック崩しやインベーダーゲームなどで優れた性能を示した。
3.1.2 AlphaGo / AlphaZero
AlphaGo はモンテカルロ木探索と深層ニューラルネットワークを組み合わせ、囲碁で人間のチャンピオンを破った。AlphaZero は自己対戦のみで複数のゲーム（囲碁、将棋、チェス）を学習可能な汎用アルゴリズムである。
3.1.3 Dota 2 と OpenAI Five
OpenAI Five は分散強化学習により Dota 2 の5対5のチーム対戦を学習し、プロプレイヤーに勝利した。長期計画と協調行動の学習が鍵となった。
3.2 ロボティクス
3.2.1 模倣学習との組み合わせ
深層強化学習は模倣学習と組み合わせてロボットの初期方策を獲得する。人間のデモンストレーションから事前学習した後、強化学習で方策を微調整することでサンプル効率が改善する。
3.2.2 操作技能の獲得
ロボットアームによる物体操作や把持の技能は、シミュレーション環境での深層強化学習により獲得される。現実環境への転移にはドメインランダマイゼーションなどの手法が用いられる。
3.3 自動運転とナビゲーション
3.3.1 エンド・ツー・エンド制御
カメラ画像などのセンサ入力を直接制御信号に変換するエンドツーエンド学習が行われる。深層強化学習により運転方策を学習し、車線維持や障害物回避を実現する。
3.3.2 シミュレーション環境での学習
自動運転の学習は主にシミュレータ（CARLA や AirSim など）で実施される。多様な環境条件を生成し、安全に学習を進めることができる。学習済み方策を現実世界に転移することが課題である。
3.4 自然言語処理と対話システム
3.4.1 強化学習による対話ポリシー最適化
対話システムではユーザーの応答に応じて適切な発話を選択するポリシーを強化学習で最適化する。報酬としてユーザー満足度やタスク成功率を用い、効率的な対話を学習する。
4.1 サンプル効率
4.1.1 転移学習とマルチタスク学習
深層強化学習は多くの試行を必要とし、サンプル効率が低い。転移学習やマルチタスク学習により、過去の経験を別のタスクに活用し、学習効率を向上させる研究が進められている。
4.1.2 モデルベース手法によるデータ効率改善
モデルベース手法は環境モデルを活用して仮想的な経験を生成するため、実環境でのサンプル数を減らせる。Dreamer や MuZero などが高いデータ効率を示している。
4.2 報酬設計とスパース報酬問題
4.2.1 逆強化学習と模倣学習
報酬関数が明示的に与えられない場合、専門家のデモンストレーションから報酬を推定する逆強化学習が用いられる。模倣学習はデモから直接方策を学習し、スパース報酬問題を回避する。
4.2.2 内部報酬と好奇心駆動学習
エージェントが自ら探索を促す内部報酬（好奇心報酬）を設計することで、外部報酬が希薄な環境でも効率的に学習できる。状態予測誤差や情報獲得量に基づく報酬が用いられる。
4.3 一般化とロバスト性
4.3.1 ドメインランダマイゼーション
学習環境のパラメータをランダムに変化させることで、方策の汎化性能を高める。シミュレーションから実環境への転移（Sim-to-Real）において重要な手法である。
4.4 安全性・解釈性
4.4.1 安全な探索
実環境での学習では危険な行動を避けるため、安全制約を満たしながら探索を行う手法が研究されている。制約付き強化学習や人間の監視下での学習が検討される。
4.4.2 説明可能な意思決定
深層ニューラルネットワークのブラックボックス性を克服するため、エージェントの意思決定過程を可視化・説明する技術が求められる。注意力機構やコントラスト説明などの手法が開発されている。