1 定義と基礎理論

行動価値関数（Action-Value Function）は、強化学習における中核的概念であり、エージェントが特定の状態においてある行動を取った場合に、将来にわたって得られる期待累積報酬を定量化する。数学的には、方策πのもとで、状態sで行動aを選択した時の行動価値はQ^π(s,a) = E[Σ_{t=0}^∞ γ^t r_ts_0=s, a_0=a, π]と定義される。ここでγ∈[0,1]は割引率であり、未来の報酬の現在価値を調整する。この関数は、状態と行動の組に対してスカラー値を与えることで、エージェントが最適な行動戦略を学習する基盤となる。

1.1 状態価値関数との関係

状態価値関数V^π(s)は、状態sにおける期待累積報酬を表すが、行動価値関数Q^π(s,a)は特定の行動を指定する点で異なる。両者の関係は、V^π(s) = Σ_a π(as) Q^π(s,a)で示される。すなわち、状態価値はその状態で取り得る全ての行動の価値を方策に従って加重平均したものである。逆に、Q^π(s,a) = r(s,a) + γ Σ_{s'} P(s's,a) V^π(s')とも書ける。この関係は、価値関数の再帰的性質を顕在化する。

1.2 ベルマン方程式による定式化

ベルマン方程式は、行動価値関数の自己無撞着な関係を表現する。方策πのもとでは、Q^π(s,a)は即時報酬と次状態の価値の割引和として以下のように書ける：

Q^π(s,a) = r(s,a) + γ Σ_{s'} P(s's,a) Σ_{a'} π(a's') Q^π(s',a')。

この式は、現在の行動価値が将来の行動価値によって決定される再帰構造を示す。

1.2.1 最適行動価値関数

最適行動価値関数Q^*(s,a)は、全ての方策の中で最大の期待累積報酬を与える関数である。任意の状態・行動について、Q^*(s,a) = max_π Q^π(s,a)が成り立つ。最適方策π^*は、各状態でQ^*(s,a)を最大化する行動を選ぶことで得られる。この関数は、エージェントが理想的な行動を取る場合の価値基準となる。

1.2.2 ベルマン最適性方程式

最適行動価値関数は、以下のベルマン最適性方程式を満たす：

Q^*(s,a) = r(s,a) + γ Σ_{s'} P(s's,a) max_{a'} Q^*(s',a')。

この方程式は、最適な行動価値が即時報酬と次状態の最適価値の最大化によって再帰的に定義されることを示す。この式はQ学習などのアルゴリズムの理論的基盤となる。

2 学習アルゴリズムとの関連

行動価値関数は、強化学習アルゴリズムにおいて中心的な役割を果たす。特に、モデルフリーな手法では、環境の遷移確率を明示せずにQ関数を推定する。

2.1 Q学習

Q学習は、オフポリシー型の強化学習アルゴリズムであり、ベルマン最適性方程式に基づいて行動価値関数を更新する。更新式は以下の通り： Q(s,a) ← Q(s,a) + α [r + γ max_{a'} Q(s',a') - Q(s,a)]。 ここでαは学習率である。このアルゴリズムは、現在の方策とは独立に最適Q関数を直接学習する。

2.1.1 オフポリシー学習の特徴

オフポリシー学習では、行動を生成する方策（行動方策）と学習対象の方策（目標方策）が異なる。Q学習では、行動方策としてε-greedyなどの探索的な方策を用いる一方、更新には目標方策（常に最適行動を選択）を使用する。これにより、データ効率が向上し、探索と活用のバランスを取ることが容易になる。ただし、更新が現実の経験とずれる可能性があるため、収束性の分析には注意を要する。

2.2 SARSA

SARSA（State-Action-Reward-State-Action）は、オンポリシー型のアルゴリズムであり、実際に取った行動に基づいてQ関数を更新する。更新式は： Q(s,a) ← Q(s,a) + α [r + γ Q(s',a') - Q(s,a)]。 ここでa'は現在の方策に従ってs'で選択された行動である。

2.2.1 オンポリシー学習の特徴

オンポリシー学習では、行動方策と目標方策が同一である。SARSAでは、エージェントが実際に取る行動系列に沿って価値関数を更新するため、学習過程でのリスクを考慮した方策を学習しやすい。特に、危険な領域を回避するような安全指向のタスクで有効である。ただし、探索的な行動が価値推定に直接影響するため、データ効率はQ学習より劣る場合がある。

2.3 方策勾配法との比較

方策勾配法は、価値関数を介さずに方策を直接パラメータ化し、勾配上昇で最適化する手法である。行動価値関数を用いる手法（Q学習等）は、価値ベース法と呼ばれる。方策勾配法は連続行動空間や確率的方策に適する一方、価値ベース法は離散行動空間で効率的である。近年では、両者を組み合わせたアクタークリティック法が広く用いられ、行動価値関数がクリティックとして方策の評価に使われる。

3 関数近似と実装

現実の問題では、状態空間や行動空間が巨大または連続であるため、表形式のQ関数はメモリ上で保持できない。このため、関数近似手法が用いられる。

3.1 線形関数近似

線形関数近似では、Q(s,a)を特徴ベクトルφ(s,a)の線形結合Q(s,a) = w^T φ(s,a)で表現する。重みwは、二乗誤差などの損失関数を勾配降下法で最小化して学習する。線形近似は計算が軽く収束性が解析しやすいが、表現力に限界がある。

3.2 非線形近似と深層Qネットワーク

非線形近似では、ニューラルネットワークを用いてQ関数を表現する。深層Qネットワーク（DQN）は、畳み込みニューラルネットワークを用いて画像入力から直接Q値を推定し、Atariゲームなどで人間超えの性能を示した。DQNの学習は、損失関数L(w) = E[(r + γ max_{a'} Q(s',a'; w^-) - Q(s,a; w))^2]を最小化することで行われる。

3.2.1 経験再生とターゲットネットワーク

DQNの安定学習を支える二つの工夫が経験再生とターゲットネットワークである。経験再生は、過去の経験をリプレイバッファに保存し、ランダムサンプリングして学習することでデータの相関を断ち切る。ターゲットネットワークは、固定されたパラメータw^-を用いて目標値を計算し、定期的に更新することで、学習の不安定性を低減する。これらの手法は、非線形関数近似での発散問題を解決する。

3.3 表形式表現の限界

表形式表現は、状態数と行動数が有限で小規模な場合にのみ有効である。状態空間が指数関数的に大きくなる問題（例えば多数のセンサー入力や連続状態）では、メモリ不足と学習効率の低下が生じる。関数近似はこの限界を克服するが、近似誤差や収束保証の欠如といった新たな課題を生む。

4 応用と関連分野

行動価値関数は、強化学習の枠組みを超えて多様な分野で応用される。

4.1 ゲーム理論とマルチエージェント系

ゲーム理論では、各エージェントの行動価値関数は利得行列の一般化と見なせる。マルチエージェント強化学習では、他エージェントの行動を考慮したQ関数（例えばナッシュQ学習）が提案されている。これにより、協調や競争環境での戦略学習が可能となる。

4.2 ロボティクスと制御工学

ロボット制御では、行動価値関数を用いて軌道計画や把持動作の最適化が行われる。実際のロボットでは、連続状態・行動空間への対応や実機での試行回数制限から、モデルベース強化学習やシミュレーションとの併用が一般的である。また、インピーダンス制御などのパラメータ調整にも応用される。

4.3 経済学と意思決定理論

経済学では、行動価値関数は動的計画法における価値関数の一種として、消費・貯蓄問題や投資戦略の分析に用いられる。また、行動経済学では、人間の意思決定を割引効用最大化の枠組みで捉え、Q学習の更新則が学習過程のモデルとして参照される。これにより、習慣形成や参照点依存性の理解が進んでいる。