1.1 サンプル効率の定義
サンプル効率とは、機械学習アルゴリズムが目標とする性能（例えば、分類精度、回帰誤差、報酬総和）に到達するために必要な訓練サンプル数の少なさを表す指標である。具体的には、同じ性能を達成するのに必要なデータ量が少ないほど、サンプル効率が高いと評価される。この概念は、データ収集に大きなコストや時間がかかるタスクにおいて特に重要であり、アルゴリズム設計の際の主要な最適化目標の一つとなっている。
1.2 学習曲線とサンプル効率の関係
学習曲線は、訓練データ量を横軸、モデルの性能（検証精度や損失）を縦軸にとったグラフである。サンプル効率の高いモデルは、データ量が少ない領域で急激に性能が向上し、少ないデータで高い性能に収束する。逆にサンプル効率が低いモデルは、同じ性能を得るにより多くのデータを必要とし、学習曲線の立ち上がりが緩やかである。学習曲線の形状を比較することで、異なる手法やモデル間のサンプル効率を定性的に評価できる。
1.3 バイアスと分散のトレードオフ
サンプル効率は、モデルのバイアスと分散のトレードオフと密接に関連する。バイアスの高いモデル（例：線形モデル）は少ないデータでも安定した性能を示しやすいが、真の関数を表現できずに過小適合するリスクがある。分散の高いモデル（例：深層ニューラルネットワーク）は表現力が高い一方、少ないデータでは過学習しやすくサンプル効率が低い。適切な正則化やモデル選択により、バイアスと分散のバランスを調整することでサンプル効率を改善できる。
2.1 データ必要量による評価
最も直接的な評価方法は、所定の性能閾値（例えば、精度90%）に達するのに必要なサンプル数を比較することである。異なるアルゴリズムに対して同じデータセットと評価プロトコルを用い、学習曲線から必要サンプル数を推定する。この指標は直感的だが、性能閾値の設定に依存するため、複数の閾値での評価が推奨される。
2.2 性能-データ曲線の面積（AUC-LC）
学習曲線の下の面積（Area Under the Learning Curve, AUC-LC）は、データ量の全範囲にわたる積算性能を表す。AUC-LCが大きいほど、少ないデータから高い性能を維持していることを意味し、サンプル効率の総合的な指標となる。計算には、離散的なデータ点を補間して台形近似を用いる。
2.3 強化学習におけるサンプル複雑度
強化学習では、サンプル効率は「環境とのインタラクション回数」で定義されることが多い。サンプル複雑度（sample complexity）は、最適な方策や価値関数を学習するために必要な経験（状態-行動-報酬の遷移）の理論的な下限を指す。PAC（Probably Approximately Correct）学習の枠組みでは、ε-最適方策を得るために必要なサンプル数の上界が導出される。
3.1 データ拡張
データ拡張は、既存の訓練データに変換（回転、反転、スケーリング、ノイズ付加など）を施して擬似的にデータ量を増やす手法である。画像認識では一般的であり、不変性・等変性をモデルに暗黙的に教え込むことで、少ない実データでも汎化性能を高める。ただし、タスクに適した変換を選ばないと性能が低下する可能性がある。
3.2 事前学習と転移学習
大規模データセットで事前学習したモデル（例：ImageNetで訓練したCNN、大規模テキストで訓練したTransformer）を、対象タスクの少量データで微調整する手法。事前学習により汎用的な特徴表現が獲得されているため、転移先での必要データ量が大幅に削減される。このアプローチは、特に画像や自然言語処理で強いサンプル効率向上効果を示す。
3.3 メタ学習
メタ学習（学習の学習）は、複数のタスクにわたる経験から「新しいタスクを効率的に学習する方法」を獲得する枠組みである。モデルは少数のサンプルから迅速に適応できるように訓練され、Few-shot学習タスクで高いサンプル効率を発揮する。
3.3.1 メタ学習の主要アプローチ
3.3.1.1 MAML（Model-Agnostic Meta-Learning）
MAMLは、モデルパラメータの初期値を、わずかな勾配更新（通常は数ステップ）で新しいタスクに適応できるように最適化する手法である。メタ訓練では、複数のタスクに対して内側ループ（タスク固有の更新）と外側ループ（初期値の更新）を繰り返す。結果として、わずか1～5サンプルでも新しいタスクに高速適応可能となり、サンプル効率が劇的に向上する。
3.3.1.2 Reptile
ReptileはMAMLの簡略版であり、複数タスクでモデルを数ステップ更新した後のパラメータと初期パラメータの差を、初期値に近づけるように更新する。MAMLのように二階微分を計算する必要がないため計算コストが低く、同様のサンプル効率向上が得られる。
3.4 能動学習
能動学習は、モデルが未ラベルデータの中から「最も情報価値の高いサンプル」を選択してラベルを要求する枠組みである。不確実性が高いサンプルや多様性を考慮したサンプルを優先的にラベル付けすることで、少ないラベルで効率的にモデルを改善できる。特にラベルコストが高い医療診断や文書分類で有効である。
3.5 マルチタスク学習と自己教師あり学習
マルチタスク学習は、関連する複数のタスクを同時に学習することで、各タスクのデータが少なくても共有表現を獲得しサンプル効率を高める。自己教師あり学習は、ラベルなしデータから事前テキスト（例：画像の回転予測、マスク埋め）を解かせることで汎用的な表現を学習し、その後の下流タスクで少量のラベルデータで高い性能を達成する。
4.1 ロボティクス
ロボットが実環境で物理的なインタラクションを通じて学習する場合、試行錯誤には時間とコストがかかる。サンプル効率の高い強化学習アルゴリズムや模倣学習は、ロボットが少ない実機実験で把持・移動・操作などを習得するのに不可欠である。シミュレーションから実機への転移（Sim-to-Real）も広く利用される。
4.2 医療画像診断
医療画像は専門家によるアノテーションが高コストであり、疾患ごとに十分なデータを集めるのが困難である。サンプル効率の高い手法（転移学習、Few-shot学習）により、限られた症例から病変検出や分類モデルを構築できる。また、能動学習は効率的なアノテーション戦略として注目される。
4.3 自然言語処理
大規模言語モデルの事前学習とFew-shotプロンプト学習により、数十～数百の例で新しいタスクに適応できるようになった。GPT-3やBERTなどのモデルは、サンプル効率の面で従来のタスク特化モデルを大きく凌駕する。また、アクティブラーニングはテキスト分類や固有表現抽出でのラベルコスト削減に貢献する。
4.4 創薬と材料科学
新薬候補や新材料の特性予測では、実験によるデータ取得に膨大な時間と費用がかかる。分子構造から性質を予測するモデルにサンプル効率の高い手法（グラフニューラルネットワーク＋転移学習、能動学習）を適用することで、少ない実験データから有望な候補を絞り込むことが可能になる。
5.1 過学習リスク
少ないデータで学習する場合、モデルが訓練データに過度に適合し、未知のデータに対する汎化性能が低下するリスクが高まる。データ拡張や正則化、ドロップアウトなどの対策が必須だが、サンプル効率を追求するほど過学習とのバランスが難しくなる。
5.2 計算コストとのトレードオフ
メタ学習や能動学習はサンプル効率を向上させるが、その学習プロセス自体に追加の計算資源（反復的な更新、選択アルゴリズムなど）を要する。特にMAMLの二階微分計算や大規模事前学習は、GPUやTPUなどのハードウェア負荷が高い。実用的なトレードオフを考慮する必要がある。
5.3 理論的保証の難しさ
多くの現実的な手法（特に深層学習）では、サンプル効率に関する厳密な理論的保証を与えることが困難である。経験的成功は多いが、なぜ少数サンプルで汎化できるのかの理論的理解は限定的であり、特に分布シフトが生じる場合の性能保証は今後の課題である。
6.1 データ効率
データ効率はサンプル効率とほぼ同義に使われることが多いが、より広く「データ全体の情報量を効率的に活用する能力」を指す場合もある。サンプル効率が「サンプル数」に焦点を当てるのに対し、データ効率はサンプルの品質や情報密度も考慮する概念である。
6.2 サンプル複雑度
サンプル複雑度は、学習理論において「ある性能を達成するために理論的に必要（十分）なサンプル数」を数式で表したものである。PAC学習やVC次元、Rademacher複雑度などにより特徴づけられる。サンプル効率の実用的指標と理論的下限をつなぐ概念。
6.3 Few-shot学習
Few-shot学習は、新しいクラスやタスクを極少数（例えば1～5個）のサンプルのみで学習できる能力を指す。サンプル効率の極端なケースであり、メタ学習や事前学習によって実現される。Few-shot学習の性能向上は、直接的にサンプル効率の向上を意味する。
6.4 Zero-shot学習
Zero-shot学習は、学習時に一度も見たことのないクラスやタスクを、補助情報（属性、説明文など）を使って識別・生成する能力である。サンプルを全く必要としないため、サンプル効率の究極形とみなされる。しかし、補助情報の質やドメインの類似性に強く依存する。