1 はじめに
1.1 背景と動機
従来の強化学習（RL）は特定のタスクに対してのみ有効であり、環境や目的が変わるとゼロから学習をやり直す必要があった。この非効率性を解決するため、複数のタスクにわたって学習アルゴリズム自体を改善するメタ強化学習（Meta-RL）が登場した。Meta-RLは、過去の経験から得た汎用的な知識を活用し、新しいタスクへ迅速に適応することを目指す。ロボティクスやゲームAIなどの分野では、現実世界の多様な状況に対応できるエージェントが求められており、Meta-RLはその要件を満たす有望なアプローチとして注目されている。
1.2 定義と基本概念
メタ強化学習とは、強化学習エージェントが「学習の仕方を学ぶ」枠組みである。複数のタスクから構成されるタスク分布が与えられ、エージェントは各タスクでの経験を通じてメタ知識（初期方策や学習率、内部表現など）を獲得する。新しいタスクに直面した際、このメタ知識を利用して少数の試行で効率的に適応する。Meta-RLは、従来のRLが各タスクごとに方策や価値関数をゼロから学習するのに対し、タスク間の共通構造を抽出することでサンプル効率と汎化性能を大幅に向上させる。
2 強化学習の基礎
2.1 マルコフ決定過程
| 強化学習の標準的な定式化はマルコフ決定過程（MDP）で与えられる。MDPは状態空間S、行動空間A、遷移確率P(s' | s,a)、報酬関数R(s,a)、割引率γから構成される。エージェントは各時刻tで状態s_tを観測し、行動a_tを選択することで報酬r_tを受け取り、次の状態s_{t+1}へ遷移する。目標は累積割引報酬和を最大化する方策π(a | s)を学習することである。Meta-RLでは、複数のMDP（タスク）が存在し、それらは共通の構造を持つが異なる遷移確率や報酬関数を持つと仮定される。 |
|---|
2.2 方策勾配法と価値ベース法
RLの主要なアルゴリズムは大きく方策勾配法と価値ベース法に分類される。方策勾配法は方策をパラメータ化し、期待収益の勾配に沿って直接最適化する（例：REINFORCE、PPO）。価値ベース法は状態価値関数V(s)や行動価値関数Q(s,a)を学習し、それに基づいて行動を選択する（例：Q学習、DQN）。Actor-Critic法は両者を組み合わせ、方策（アクター）と価値関数（クリティック）を同時に学習する。Meta-RLの多くの手法は、これらの基礎的なRLアルゴリズムをメタ学習の枠組みで拡張する。
3 メタ学習の基礎
3.1 メタ学習の枠組み
メタ学習（学習 to learn）は、複数のタスクにわたって学習アルゴリズム自体を改善する機械学習パラダイムである。通常、メタ学習器（メタモデル）はタスク分布からサンプリングされた多数のタスクで訓練される。各タスクではベース学習器（例えばニューラルネットワーク）が少数のデータで更新され、その性能がメタ学習器の更新に利用される。メタ学習の目標は、新しいタスクに対して少数の例で高い性能を達成できる初期化や更新ルールを獲得することである。
3.2 数ショット学習との関係
数ショット学習（Few-shot learning）は、メタ学習の典型的な応用例であり、与えられた少数のラベル付きサンプルから新しいクラスを認識する問題を扱う。Meta-RLは強化学習版の数ショット学習と見なせる。すなわち、エージェントは新しいタスクにおいて少数の試行（ショット）で最適な方策を獲得する。両者の違いは、RLでは報酬信号を通じて逐次的に学習する点にあり、Meta-RLではエピソード全体を通じた履歴が重要な役割を果たす。
4 メタ強化学習の手法分類
4.1 勾配ベースの手法
4.1.1 MAML
モデル非依存型メタ学習（MAML）は、勾配降下によって初期化パラメータを学習する代表的な手法である。MAMLは任意の勾配ベースの学習アルゴリズム（RLを含む）と組み合わせ可能である。Meta-RLに適用する場合、MAMLは複数のタスクで収益の勾配を計算し、その勾配の勾配（二次勾配）を用いて初期方策パラメータを更新する。新しいタスクでは、この初期パラメータから数ステップの勾配更新で高速に適応できる。
4.1.1.1 モデル非依存型メタ学習の原理
MAMLの核心は「良い初期化」を学習することにある。タスク分布上で、各タスクに対して数回の勾配更新を行った後の損失（負の期待収益）を最小化するように初期パラメータθを最適化する。具体的には、各タスクτについて、θをτのデータで数ステップ更新したθ'を求め、そのθ'に対するタスクτの損失の勾配を計算してθを更新する。これにより、θはタスク固有の調整が少ないステップで効くような位置に収束する。
4.1.2 Reptile
ReptileはMAMLの簡略化された変種であり、二次勾配を計算せずに初期化を学習する。Reptileでは、各タスクで標準的な勾配降下を多数ステップ実行し、得られたパラメータと初期パラメータの差を初期パラメータに足し込む。この単純な更新がMAMLと同様の効果をもたらすことが示されている。Reptileは計算コストが低く、大規模なネットワークにも適用しやすい利点がある。
4.2 リカレントネットワークを用いた手法
4.2.1 RL²
RL²はリカレントニューラルネットワーク（RNN）を用いてメタ強化学習を実現する手法である。エージェントのポリシーをRNNでモデル化し、RNNの隠れ状態が過去の経験を保持することで、暗黙的にメタ学習を行う。エピソード全体を通じて、RNNは現在のタスクに適応するために隠れ状態を更新し続ける。RL²はタスク分布からランダムにサンプリングされたエピソードで訓練され、新しいタスクでは隠れ状態の初期化のみで適応が開始される。
4.2.2 暗黙的なメタ学習
リカレントネットワークを用いた手法では、明示的なメタ学習用の損失関数を設計せずとも、RNNのリカレント結合が過去の試行からの情報を内部状態に保存することでメタ学習が実現される。この「暗黙的なメタ学習」は、エピソードの文脈（過去の状態、行動、報酬）を処理するRNNの能力に依存する。訓練時に多様なタスクを経験することで、RNNはタスク間の共通パターンを抽出し、新しいタスクに対して適切な適応戦略を内部で学習する。
4.3 文脈ベースの手法
4.3.1 PEARL
PEARL（Probabilistic Embeddings for Actor-Critic RL）は、オフラインデータからタスクの文脈表現を学習する手法である。エージェントは過去の遷移（状態、行動、報酬）をエンコードして潜在変数zを生成し、このzを方策と価値関数の入力として利用する。潜在変数zはベイズ的な推論によって更新され、タスクの特性を確率的に表現する。PEARLはオフライン学習とオンライン適応を分離し、サンプル効率の高いメタ学習を実現する。
4.3.2 確率的潜在変数モデル
確率的潜在変数モデルは、タスクの不確実性を明示的にモデル化する文脈ベース手法の一群である。エージェントはタスクごとに異なる潜在変数を持つと仮定し、この潜在変数を変分推論やその他の確率的手法で推定する。これにより、タスク識別が曖昧な状況でもロバストな行動選択が可能となる。また、潜在変数の事後分布を利用して探索と活用のバランスを動的に調整することもできる。
5 主要な応用分野
5.1 ロボティクス
5.1.1 適応型把持制御
ロボット把持は物体の形状、材質、摩擦係数などに依存する多様なタスクである。Meta-RLを適用することで、ロボットは少数の試行で新しい物体に対する最適な把持戦略を学習できる。例えば、事前に様々な物体での把持経験をメタ学習しておき、未知の物体に対して数回の試行錯誤で把持姿勢と力加減を調整する。これにより、プログラムの手動調整なしに適応的な把持制御が実現する。
5.1.2 歩行パターンの即時適応
四足歩行ロボットや二足歩行ロボットは、路面状態（平坦、砂利、傾斜）の変化に即座に適応する必要がある。Meta-RLは歩行方策の初期パラメータを学習し、新しい環境に遭遇した際に数歩の試行で歩容を切り替えることを可能にする。例えば、スムーズな路面から滑りやすい路面への遷移において、エージェントは過去の類似環境での知識を活用して即座に適切な歩行パターンを生成する。
5.2 ゲームAI
5.2.1 マルチタスクゲーム学習
複数の異なるゲーム（例えばアタリゲームの各種タイトル）を単一のエージェントで学習する場合、Meta-RLはゲーム間の共通する制御構造を抽出する。エージェントは各ゲームで数回の試行でルールを理解し、高得点を得る方策に迅速に適応する。これにより、ゲームごとに別個のモデルを学習するよりもはるかに効率的なAIが構築される。
5.2.2 対戦ゲームにおける戦略適応
対戦ゲームでは相手の戦略に応じて自身の戦術を変更する必要がある。Meta-RLは過去の対戦経験から「相手の戦略を推測し、それに対抗する適応方策」を学習する。新しい対戦相手に対して、エージェントは少数のラウンドで相手の癖や戦略パターンを把握し、最適なカウンター戦略を素早く見つけ出す。
5.3 自動運転とナビゲーション
自動運転車は天候、交通状況、道路形状などが常に変化する環境で動作する。Meta-RLは様々な運転シナリオをシミュレータでメタ学習し、実際の道路で未知の状況（例えば工事現場や事故回避）に遭遇した際に、数秒間の試行で適切な運転行動を学習する。ナビゲーションタスクでは、地図が与えられない環境でも、過去の探索経験から迅速に目的地への経路を見つける能力が向上する。
6 課題と今後の方向性
6.1 スケーラビリティと計算負荷
Meta-RLの多くは、内部ループ（各タスクでの適応）と外部ループ（メタ更新）の二重ループを必要とし、計算コストが高い。特にMAMLのような勾配ベース手法では高次勾配の計算がボトルネックとなる。ReptileやRL²は計算負荷を軽減するが、大規模なタスク分布や深いネットワークへの適用には依然として課題が残る。今後の方向性として、勾配近似や分散並列計算の効率化が求められる。
6.2 タスク分布の設計と一般化
Meta-RLの性能はタスク分布の質に大きく依存する。タスク分布が偏っていると、偏ったメタ知識しか獲得できず、新しいタスクへの一般化が損なわれる。また、分布外のタスクへの適応は困難である。タスク分布を自動的に生成する手法や、ドメインランダマイゼーションとの組み合わせ、あるいはメタ学習器自身がタスク分布を適応的に拡張する試みが研究されている。
6.3 サンプル効率と実環境への適用
Meta-RLは従来のRLよりサンプル効率が高いとはいえ、実世界でのロボット学習には依然として多くの試行が必要である。シミュレーションと実環境の差異（シミュレーションから現実へのギャップ）が適応を阻害する。現実のロボットで少数回の試行で適応できるようにするには、より効率的なメタ知識の表現や、モデルベースの手法との統合が有効と考えられる。
6.4 継続学習との融合
実世界ではタスクが次々と追加され、以前学習したタスクを忘れてしまう破滅的忘却が問題となる。Meta-RLはタスク間の知識転移を目的とするが、継続的に新しいタスクが到来する設定には対応していない。継続学習（生涯学習）の手法、例えば弾性重み保持やプログレッシブニューラルネットワークとMeta-RLを組み合わせることで、長期にわたって知識を蓄積しつつ新しいタスクに適応するエージェントの実現が期待される。