期待累積報酬

累積報酬の定義

累積報酬とは、強化学習エージェントが逐次的意思決定を行う過程で、ある時点以降に受け取る報酬の総和を指す。時刻t以降の報酬系列をR_{t+1}, R_{t+2}, …とすると、累積報酬G_tはG_t = R_{t+1} + γR_{t+2} + γ^2R_{t+3} + …と定義される。ここでγは割引率であり、将来の報酬の現在価値を調整する役割を持つ。

期待値の導入

強化学習における累積報酬は、環境の確率的遷移や方策の確率的選択により確定値ではなく確率変数となる。したがって、エージェントの性能を評価するためには、累積報酬の期待値を用いる必要がある。これにより、不確実性を考慮した上で行動の価値を判断できる。

確率的環境下での期待値

方策に依存する期待値

累積報酬の期待値はエージェントの方策π（各状態でどの行動を選ぶかの確率分布）に依存する。方策πに従って行動を選択した場合の期待累積報酬をE_π[G_t]と表す。異なる方策の下では異なる期待値が得られるため、方策の評価や改善にはこの期待値が基準となる。

割引因子の役割

割引因子γ（0 ≤ γ ≤ 1）は、将来の報酬を現在価値に換算するための重みである。γ < 1の場合、将来の報酬ほど現在の価値が低く見積もられる。

割引の必要性

割引には主に三つの理由がある。第一に、将来の報酬には不確実性が伴うため、遠い将来ほど割り引いて評価する。第二に、無限期間の問題では割引を行わないと累積報酬が発散する可能性がある。第三に、経済学的観点から、即時の報酬を優先する行動傾向をモデル化できる。

割引率の選定

割引率γは問題の性質に応じて設計者が決定する。γが1に近いほど長期的な報酬を重視し、0に近いほど短期的な報酬を優先する。マルコフ決定過程の収束性や学習の安定性にも影響を与えるため、適切な値の選定が重要である。典型的な値は0.9から0.99の範囲に設定されることが多い。

有限ホライズンと無限ホライズン

有限期間の累積報酬

有限ホライズン問題では、エピソードの終了時刻Tが定められている。累積報酬はG_t = R_{t+1} + R_{t+2} + … + R_Tと定義され、割引は用いないか、または割引率を適用してもよい。エピソードが必ず終了するため、報酬の総和は常に有限となる。

無限期間と割引累積報酬

無限ホライズン問題では、エージェントは無限に行動を続ける。割引なしでは累積報酬が発散するため、割引率γ < 1を導入する。G_t = R_{t+1} + γR_{t+2} + γ^2R_{t+3} + …と定義すれば、報酬が有界であれば収束する。また、割引率を1に近づけると長期報酬を重視した評価が可能となる。

部分観測環境への拡張

部分観測マルコフ決定過程（POMDP）では、エージェントは状態を直接観測できず、観測値と信念状態を用いて意思決定を行う。この場合、期待累積報酬は信念状態b_t（状態の確率分布）に基づいて定義される。信念状態はベイズ更新により逐次推定され、累積報酬の期待値は信念状態の関数として表現される。

収束条件と近似

期待累積報酬が有限値として定義可能であるためには、報酬関数が有界であり、かつ割引率γ < 1またはエピソードの終了が保証される必要がある。現実の複雑な問題では厳密な計算が困難なため、モンテカルロサンプリングや関数近似（ニューラルネットワークなど）により近似推定が行われる。近似誤差は統計的学習理論の枠組みで評価される。

状態価値関数V(s)

V(s)の定義

V(s)は、現在の状態における将来の報酬の期待値を与える。方策πが固定された場合、V_π(s)はその方策の下での状態の「良さ」を定量的に示す指標となる。最適状態価値関数V*(s)は全ての方策の中で最大の期待累積報酬を与える。

ベルマン期待方程式

行動価値関数Q(s,a)

行動価値関数Q_π(s,a)は、状態sで行動aを選択し、その後方策πに従った場合の期待累積報酬を表す。

Q(s,a)の定義

ベルマン最適方程式

方策評価と方策改善

期待累積報酬は方策評価と改善の中心的概念である。方策評価では、与えられた方策の下での価値関数を推定し、期待累積報酬の正確な見積もりを得る。方策改善では、推定された価値関数に基づいてより良い方策を導出する。

モンテカルロ法による推定

モンテカルロ法では、エージェントが実際にエピソードを実行し、得られた累積報酬の標本平均を期待値の推定値とする。多数のエピソードを収集することで、真の期待累積報酬に近づく。この方法はモデルフリーであり、環境の遷移確率を知らなくても適用できる。

TD学習による推定

TD学習（Temporal Difference Learning）は、ブートストラッピングとサンプリングを組み合わせた手法で、各時刻の報酬と次の状態の価値推定値の差分（TD誤差）を用いて価値関数を逐次更新する。モンテカルロ法よりも分散が小さく、オンライン学習に適している。期待累積報酬の効率的な推定が可能となる。

動的計画法

動的計画法は、環境のモデル（状態遷移確率と報酬関数）が既知の場合に、価値関数を反復計算して最適方策を求める手法である。期待累積報酬の再帰的性質を利用した方策反復や価値反復が代表的である。この枠組みは強化学習の理論的基盤を提供する。

ゲーム理論における期待利得

ゲーム理論では、複数のプレイヤーが戦略的に行動する状況において、各プレイヤーの期待利得が意思決定の基準となる。強化学習における期待累積報酬は、この利得概念を逐次的意思決定に拡張したものと見なせる。特に、マルコフゲームでは期待累積報酬を最大化するナッシュ均衡の導出に応用される。

最適制御とコスト関数

最適制御理論では、システムの状態を制御入力により操作し、累積コスト（報酬の負値に相当）を最小化する問題を扱う。期待累積報酬は、このコスト関数の期待値を最大化する形で対応する。LQR（線形二次レギュレータ）やモデル予測制御などの手法は、期待累積報酬の概念を連続状態・行動空間に拡張したものと解釈できる。

帯域問題と探索戦略

帯域問題（多腕バンディット問題）は、各行動の報酬分布が未知の場合に、期待累積報酬を最大化するために探索と活用のバランスをどう取るかを研究する分野である。累積報酬の後悔（リグレット）を最小化するアルゴリズム（UCB、Thompsonサンプリングなど）が開発されている。この問題設定は、完全な強化学習における状態の概念を除いた単純化モデルとして位置づけられる。