1 基本概念
1.1 定義と目的
自己教師あり学習（Self-Supervised Learning）とは、ラベル付きデータを必要とせず、データそのものが持つ内部構造や関係性から教師信号を自動生成し、学習を行う機械学習のパラダイムである。目的は、大量の未ラベルデータから汎用的で転移可能な特徴表現を獲得することにある。従来の教師あり学習が人手によるアノテーションに依存するのに対し、自己教師あり学習はデータ自体に埋め込まれた「疑似ラベル」を利用することで、学習の自律性とスケーラビリティを実現する。
1.2 教師あり学習・教師なし学習との比較
教師あり学習は、入力と正解ラベルの組（教師信号）を用いてモデルを訓練する。ラベルの品質と量が性能を大きく左右するが、獲得コストが高い。教師なし学習はラベルを一切用いず、データの分布やクラスタリングなどから構造を抽出するが、目的が曖昧になりやすい。自己教師あり学習は、この中間に位置し、ラベルを外生的に与える代わりに、データの一部を隠したり変換したりして、その関係性を復元するタスクを自動生成する。これにより、教師あり学習に近い精度を達成しながら、教師なし学習と同等のデータ効率を得られる可能性がある。
1.3 事前タスクとダウンストリームタスク
自己教師あり学習は通常、二段階の過程を取る。まず「事前タスク（pretext task）」と呼ばれる、ラベル不要の人工的な課題を解くことで汎用表現を学習する。その後、学習した表現を「ダウンストリームタスク（downstream task）」に転用し、少量のラベルデータでファインチューニングしたり、線形評価を行ったりする。事前タスクの設計が表現の質を決めるため、タスクの妥当性と多様性が重要である。
2 主要な手法とモデル
2.1 自然言語処理
2.1.1 マスク言語モデル（BERT）
BERT（Bidirectional Encoder Representations from Transformers）は、マスク言語モデル（Masked Language Model）を事前タスクとする代表的手法である。入力テキスト中の一部のトークンをランダムにマスクし、その周辺の文脈からマスクされた単語を予測させる。これにより、双方向の文脈を考慮した深い言語表現が獲得される。BERTはニュース、Q&A、感情分析など多くのダウンストリームタスクで当時の最高性能を達成した。
2.1.2 因果言語モデル（GPT系列）
GPT（Generative Pre-trained Transformer）系列は、因果言語モデル（Causal Language Model）を用いる。つまり、テキストを左から右へ逐次的に生成するタスクを通じて学習する。未来のトークンを参照できない単方向の制約があるが、自己回帰的な生成に優れ、GPT-3以降の大規模モデルでは、文脈内学習（in-context learning）により、追加のファインチューニングなしで多くのタスクに対応できる能力を示した。
2.2 コンピュータビジョン
2.2.1 コントラスト学習（SimCLR、MoCo）
コントラスト学習では、同じ画像に異なるデータ拡張（クロップ、色変換など）を施したものを「ポジティブペア」、異なる画像を「ネガティブペア」とし、表現空間でポジティブペアを近づけ、ネガティブペアを遠ざけるように学習する。SimCLRは大規模バッチ内でのコントラスト損失を、MoCoはキューを用いた動的な辞書を導入することで、計算効率と表現品質を両立した。
2.2.2 画像修復と回転予測
画像の一部領域をマスクして修復させるタスク（画像修復）や、画像にランダムな回転を施してその角度を予測させるタスク（回転予測）は、自己教師あり学習の初期的手法である。これらは画素レベルや幾何学的な理解を強制し、セマンティックな特徴を獲得する補助となる。
2.3 マルチモーダル学習
2.3.1 画像-テキスト対照学習（CLIP）
CLIP（Contrastive Language-Image Pre-training）は、大量の画像とテキストのペアから、画像とテキストの埋め込みを一致させるようにコントラスト学習を行う。画像エンコーダとテキストエンコーダを同時に訓練し、各画像に最も適切なキャプションを選択する能力を獲得する。その後、画像分類や画像検索などにラベルなしで利用できる。
2.3.2 ビデオ-音声同期学習
ビデオとその音声トラックの間で、時間的な同期関係を手掛かりに学習する。例えば、ビデオフレームと対応する音声区間をポジティブペアとし、ずれた区間をネガティブペアとする。これにより、視覚と聴覚の相互理解を促進し、動作認識や音源分離などのタスクに有用な表現が得られる。
3 学習メカニズムの詳細
3.1 ポジティブペアとネガティブペアの設計
コントラスト学習の成否は、ポジティブペアとネガティブペアの定義に依存する。ポジティブペアは通常、同一サンプルに異なるデータ拡張を適用したもの、または同一カテゴリ（既知の場合）から抽出する。ネガティブペアは異なるサンプルや異なるカテゴリから構成する。ネガティブペアの数や品質（ハードネガティブの利用）は表現の識別性に大きく影響する。
3.2 データ拡張と正則化
自己教師あり学習では、データ拡張が疑似ラベル生成の要となる。画像ではランダムクロップ、色変動、ガウスノイズ、回転などが用いられ、テキストでは単語の削除・置換・マスキングなどが行われる。適切な拡張は、モデルが不変性を学習し、過学習を防ぐ正則化効果も持つ。拡張の強度や種類の選択は経験的に調整される。
3.3 損失関数（InfoNCE、NT-Xentなど）
代表的な損失関数にInfoNCE（Noise Contrastive Estimation）がある。これは、ポジティブペアの類似度を正例、ネガティブペアの類似度を負例とする対数損失を計算する。NT-Xent（Normalized Temperature-Scaled Cross-Entropy）はSimCLRで用いられ、温度パラメータで類似度分布の集中度を調整する。いずれも、正例と負例を区別する能力を最大化する。
3.4 回避すべき問題（モード崩壊、自明解）
自己教師あり学習では、モデルがすべての入力を同じ表現に写像する「モード崩壊」や、損失関数を最小化するだけの自明な解（例えば、常に定数を出力する）に陥るリスクがある。これを防ぐため、正則化（例えば、バッチ内での表現の分散を最大化する）、非対称なネットワーク設計（BYOL、SimSiam）、またはネガティブペアの適切な導入が必要である。
4 応用分野
4.1 画像認識と物体検出
自己教師あり学習による事前学習済みモデル（例：SimCLR、MoCo）は、ImageNetなどの大規模データでラベルなしで訓練された後、物体検出（Faster R-CNN、YOLO）やセマンティックセグメンテーションのバックボーンとして使用され、教師あり事前学習と同等以上の性能を発揮する。
4.2 自然言語理解と翻訳
BERTやGPT系列の自己教師ありモデルは、テキスト分類、固有表現認識、質問応答、機械翻訳などの自然言語タスクで広く使われる。少量のラベルデータでファインチューニングするだけで高い精度が得られる。
4.3 音声認識と音響分析
音声領域では、マスク音響モデル（例：wav2vec 2.0）が音声波形をマスクし、文脈から復元する事前タスクで学習する。これにより、ラベルなし音声データから汎用的な音声表現を獲得し、音声認識や話者識別に応用される。
4.4 ロボティクスと強化学習
ロボティクスでは、自己教師あり学習がセンサデータ（カメラ、触覚）の表現学習に使われる。強化学習においては、状態表現を自己教師ありで学習することで、サンプル効率を向上させる。例えば、ビデオ予測や行動クローニングの事前タスクが用いられる。
5 利点と限界
5.1 利点
5.1.1 ラベル依存からの解放
自己教師あり学習は、人手によるアノテーションを不要にする。これにより、ラベル付きデータが乏しいドメイン（医療画像、専門文書など）でも大規模な未ラベルデータを活用して学習を進められる。
5.1.2 大規模データの活用可能性
インターネット上のテキスト、画像、動画などの膨大な未ラベルデータを直接利用できる。モデルサイズやデータ量が増えるほど表現の質が向上するスケーリング則が確認されており、基礎モデルの構築に不可欠な技術である。
5.2 限界
5.2.1 計算コストの増大
大規模な自己教師あり学習は、膨大な計算資源（GPU/TPU時間）を必要とする。事前タスクの設計や大量のデータ拡張、巨大なバッチサイズの維持は、電力消費と費用の面で課題がある。
5.2.2 ドメイン適応の課題
未ラベルデータの分布とダウンストリームタスクの分布が乖離している場合、学習した表現がうまく転移しないことがある。ドメイン適応の手法（ドメイン対抗学習など）との組み合わせが必要になる場合もある。
6 歴史と発展の流れ
6.1 初期の試み（ワード2vec、自己符号化器）
2010年代初頭、Word2Vecは単語の文脈関係から単語埋め込みを学習する自己教師あり手法として登場した。同時期の自己符号化器（Autoencoder）は、入力の再構成を通じて特徴を抽出した。これらは表現学習の基礎を築いたが、複雑なタスクには不十分だった。
6.2 深層学習時代の進化（2010年代後半）
2018年のBERTとGPTの登場により、言語モデルの事前学習が飛躍的に進んだ。画像領域では、2019～2020年にSimCLR、MoCo、BYOLなどが発表され、教師あり学習を凌駕する性能を示した。これらの手法は、指数関数的な規模のデータと計算資源を活用した。
6.3 現在のトレンドと将来展望
2020年代に入り、CLIPやDALL-Eなどのマルチモーダルモデル、GPT-3やLLaMAなどの大規模言語モデルが、自己教師あり学習の枠組みを拡張している。今後は、より少ない計算資源で効果的な表現を獲得できる手法（効率的なデータ拡張、軽量モデル設計）や、人間の認知に近い形での学習メカニズムの研究が進むと予想される。
7 関連トピック
7.1 転移学習とファインチューニング
自己教師あり学習で獲得した表現は、転移学習のための強力な初期重みとして機能する。ダウンストリームタスクでファインチューニング（全パラメータの微調整）または線形評価（特徴抽出器として固定）を行う。転移学習の効果は、事前タスクとダウンストリームタスクの類似性に依存する。
7.2 半教師あり学習との関係
自己教師あり学習は、少量のラベルデータと大量の未ラベルデータを同時に利用する半教師あり学習とも密接に関連する。自己教師ありの事前学習をラベル付きデータのファインチューニングと組み合わせることで、性能を向上させることができる。両者は目的が重なるが、自己教師あり学習はラベルを一切使わない事前タスクに特化する点が異なる。
7.3 基礎モデルと自己教師あり学習
大規模な自己教師あり学習によって訓練されたモデルは、「基礎モデル（foundation model）」と呼ばれ、様々なタスクに共通して利用できる基盤となる。GPT-4、Gemini、CLIPなどはその代表例であり、自己教師あり学習は基礎モデル実現の核心的な技術である。これらのモデルは、推論時に追加のラベルやファインチューニングなしで、幅広いタスクに対応できる可能性を秘めている。