1 定義と基本概念
事前学習モデル（Pre-trained Model）とは、大規模なデータセットを用いてあらかじめ学習された機械学習モデルのことを指す。このモデルは、特定のタスク向けにファインチューニングすることで、学習時間やデータ量の削減、性能向上を実現する。近年では、Transformerアーキテクチャを基盤とするBERTやGPTシリーズの登場により、自然言語処理分野で特に重要な概念となっている。
1.1 機械学習における学習の種類
機械学習の学習方法は主に、教師あり学習、教師なし学習、強化学習に分類される。教師あり学習はラベル付きデータを用いて入出力の関係を学習する。教師なし学習はラベル無しデータからパターンや構造を発見する。強化学習は環境との相互作用を通じて報酬を最大化する行動方針を獲得する。これらの手法は、後述する事前学習モデルの学習フェーズで組み合わせて利用される。
1.2 事前学習モデルの位置づけ
事前学習モデルは、機械学習の中でも転移学習の一分野として位置づけられる。汎用的な知識を大規模データから獲得し、特定の下流タスクに適応させることで、学習効率を大幅に向上させる。
1.2.1 スクラッチ学習との比較
スクラッチ学習は、タスクごとにゼロからモデルを学習する手法である。十分なデータと計算資源があれば高い性能が得られるが、データ量が少ない場合や学習コストが高い場合に不利となる。一方、事前学習モデルを利用すれば、既に獲得された汎用的な特徴表現を活用できるため、少ないデータと短時間で良好な結果が得られる。
1.2.2 転移学習との関係
転移学習は、あるタスクで学習した知識を別の関連タスクに適用する学習パラダイムである。事前学習モデルは転移学習の代表的な実装形態であり、大規模な汎用データで事前学習したモデルを、特定の下流タスクにファインチューニングすることで転移を実現する。転移学習一般と比較して、事前学習モデルは特に大規模データと自己教師あり学習を前提とする点が特徴的である。
2 事前学習モデルの仕組み
事前学習モデルは、大きく「学習フェーズ」と「ファインチューニング」の二段階で構成される。学習フェーズでは大規模データを用いて汎用的な表現を獲得し、ファインチューニングではそれを特定タスクに適応させる。
2.1 学習フェーズ
学習フェーズでは、主に自己教師あり学習の手法を用いて、ラベル無しデータから豊かな特徴表現を学習する。この段階で得られたモデルは、様々な下流タスクに共通して有用な知識を内包する。
2.1.1 大規模データセットの収集
事前学習には、インターネット上のテキストコーパス、画像データベース、音声データなど、膨大かつ多様なデータが用いられる。例えば、自然言語処理ではWikipediaや書籍コーパス、画像処理ではImageNetのような数百万枚規模のデータセットが典型的である。
2.1.2 自己教師あり学習
自己教師あり学習は、入力データ自体から教師信号を自動的に生成し、タスクを解かせる学習方法である。これにより、ラベル無しデータでも有効な学習が可能となり、大規模事前学習の基盤となっている。
2.1.2.1 マスク言語モデル
マスク言語モデル（Masked Language Model, MLM）は、入力テキスト中の一部のトークンをマスク（隠蔽）し、その周辺文脈から元のトークンを予測するタスクである。BERTが代表的な手法で、双方向の文脈情報を活用して単語の意味を学習する。
2.1.2.2 次文予測
次文予測（Next Sentence Prediction, NSP）は、二つの文章が連続した文であるかどうかを判定するタスクである。BERTで導入され、文書レベルの文脈理解やQAタスクに有効な表現学習を促進する。ただし、後の研究ではNSPの効果は限定的であることも指摘されている。
2.2 ファインチューニング
ファインチューニングは、事前学習モデルのパラメータを、特定の下流タスクのデータを用いてさらに学習するプロセスである。多くの場合、タスク固有の出力層を追加し、モデル全体または一部を微調整する。
2.2.1 ダウンストリームタスクへの適応
ダウンストリームタスクとは、分類、抽出、生成など、実際に解決したい具体的な問題を指す。ファインチューニングでは、事前学習モデルのエンコーダ部分をそのまま利用し、タスクに応じた小規模なニューラルネットワーク層（分類ヘッドなど）を接続して学習を行う。
2.2.2 モデルパラメータの微調整
ファインチューニングでは、事前学習で得られたパラメータを初期値として、下流タスクの学習率を低く設定して更新する。これにより、汎用的な特徴表現を壊さずにタスク特化の調整が可能となる。フルファインチューニング（全パラメータ更新）のほか、一部のみ更新する手法（例えばアダプタやプロンプトチューニング）も用いられる。
3 代表的なモデルとアーキテクチャ
事前学習モデルは、タスクやモダリティによって多様なアーキテクチャが存在する。以下に主要なものを概説する。
3.1 Transformerアーキテクチャの基本
Transformerは、自己注意機構（Self-Attention）を中心としたニューラルネットワークアーキテクチャであり、2017年の論文「Attention Is All You Need」で提案された。エンコーダ・デコーダ構造を持ち、並列計算が可能で長距離依存関係を捉えやすい。多くの事前学習モデルがこのアーキテクチャをベースとしている。
3.2 自然言語処理モデル
3.2.1 BERT
BERT（Bidirectional Encoder Representations from Transformers）は、Googleが2018年に発表したエンコーダ型の事前学習モデルである。マスク言語モデルと次文予測を学習タスクとし、双方向の文脈理解に優れる。テキスト分類、質問応答、固有表現抽出など多様なタスクで高い性能を示した。
3.2.2 GPTシリーズ
GPT（Generative Pre-trained Transformer）シリーズは、OpenAIが開発したデコーダ型の事前学習モデルである。自己回帰的な言語生成に特化し、GPT-3以降は大規模パラメータ（1750億）とIn-Context Learningにより、ファインチューニング無しでも多くのタスクに対応可能である。GPT-4ではマルチモーダル対応も進んでいる。
3.2.3 T5
T5（Text-to-Text Transfer Transformer）は、Googleが2020年に発表したエンコーダ・デコーダ型モデルである。すべてのNLPタスクを「テキストを入力、テキストを出力」という統一形式で扱う。翻訳、要約、QAなど幅広いタスクで事前学習とファインチューニングの効果を検証した。
3.3 画像処理モデル
3.3.1 Vision Transformer
Vision Transformer（ViT）は、Transformerを画像認識に応用したモデルである。画像をパッチに分割し、各パッチをトークンとして扱う。畳み込みニューラルネットワーク（CNN）に代わる手法として注目され、大規模データセットでの事前学習により高い分類精度を達成する。
3.3.2 ResNet
ResNet（Residual Network）は、2015年に提案されたCNNベースの事前学習モデルである。残差接続（スキップ接続）により深いネットワークの学習を安定化し、ImageNetでの大量事前学習が標準的に用いられる。画像分類、物体検出など多くのビジョンタスクのバックボーンとして利用される。
3.4 マルチモーダルモデル
3.4.1 CLIP
CLIP（Contrastive Language-Image Pre-training）は、OpenAIが開発した画像とテキストの対照学習モデルである。大量の画像・テキストペアを用いて、画像とその説明文の埋め込みを近づけるよう学習する。ゼロショット画像分類や画像検索などに応用される。
3.4.2 DALL-E
DALL-Eは、OpenAIが開発したテキストから画像を生成するマルチモーダルモデルである。Transformerベースのアーキテクチャを用い、テキスト記述に応じて多様で創造的な画像を生成する。DALL-E 2、DALL-E 3と発展し、高品質な画像生成が可能となっている。
4 応用分野
事前学習モデルは、画像、言語、音声など多様な分野で応用されている。以下に主要な応用例を示す。
4.1 自然言語処理
4.1.1 テキスト分類
感情分析、トピック分類、スパム検出など、テキストをカテゴリに分類するタスク。BERTなどの事前学習モデルをファインチューニングすることで高精度な分類器が構築できる。
4.1.2 質問応答
与えられた文脈（パッセージ）に対する質問に答えるタスク。SQuADデータセットなどで評価され、BERTやT5が高い性能を示す。回答は文中のスパン抽出や自由生成で行われる。
4.1.3 機械翻訳
ある言語から別の言語への翻訳タスク。T5やmT5などの多言語事前学習モデルを用いることで、少数の言語ペアでも良好な翻訳品質が得られる。近年ではGPTシリーズによる大規模生成翻訳も普及している。
4.2 コンピュータビジョン
4.2.1 画像分類
画像をオブジェクトのカテゴリに分類するタスク。ResNetやViTの事前学習モデルをファインチューニングすることで、医療画像診断や製品分類などの実務に応用される。
4.2.2 物体検出
画像内の物体の位置と種類を特定するタスク。Faster R-CNN、YOLOなどの検出器のバックボーンとしてResNetやViTが事前学習モデルとして使用される。少ないラベルデータでも高い検出性能を実現する。
4.3 音声処理
4.3.1 音声認識
音声信号をテキストに変換するタスク。Wav2Vec 2.0やHuBERTなどの自己教師あり事前学習モデルが登場し、ラベル無し音声データからリッチな表現を学習する。ファインチューニングにより、多言語や雑音環境での認識精度が向上した。
4.3.2 音声合成
テキストから自然な音声を生成するタスク。TacotronやFastSpeechシリーズに加え、VALL-Eなどの大規模事前学習モデルが開発されている。話者適応や感情表現の制御が可能となり、高品質な音声合成を実現する。
5 利点と課題
5.1 利点
5.1.1 学習効率の向上
事前学習モデルを利用することで、下流タスクの学習に必要な時間と計算資源が大幅に削減される。スクラッチ学習では数週間かかる大規模モデルの訓練が、ファインチューニングでは数時間から数日で完了する。
5.1.2 少データでの高精度
少量のラベル付きデータでも、事前学習で獲得された汎用的な特徴表現により高い性能が発揮される。特に医療、法律など専門分野でラベルデータが乏しい場合に有用である。
5.2 課題
5.2.1 計算コスト
事前学習そのものには、巨大な計算資源と電力が必要である。GPT-3のような大規模モデルでは数百万ドル規模の訓練費用がかかり、環境負荷も無視できない。また、ファインチューニングや推論にも高性能なハードウェアを要する。
5.2.2 データバイアス
事前学習に使用する大規模データは、インターネット上の偏った情報を含みやすい。その結果、モデルが差別的な表現やステレオタイプを学習・増幅する危険性がある。バイアスの検出と緩和手法が研究課題となっている。
5.2.3 プライバシー問題
事前学習データに個人情報や機密情報が含まれている可能性がある。モデルが訓練データを記憶し、推論時にその情報を漏洩するリスクが指摘されている（メンバーシップ推論攻撃など）。データの匿名化や差分プライバシー技術の導入が求められる。