1 転移学習の基本概念
1.1 定義と目的
転移学習とは、ある機械学習タスク（ソースタスク）で獲得した知識を、別の関連タスク（ターゲットタスク）に適用する手法である。目的は、ターゲットタスクの学習効率を高め、少量のデータでも高い性能を達成することにある。人間が既存の経験を新たな状況に応用する能力を模倣したアプローチであり、特にデータが不足している領域での有効性が注目されている。
1.2 従来の機械学習との違い
従来の機械学習では、各タスクは独立して学習され、過去のタスクで得た知識は破棄される。一方、転移学習はソースタスクのモデルや特徴表現を再利用するため、学習の初期段階から高い性能を発揮できる。また、従来手法ではタスク間のデータ分布が異なる場合に性能が低下するが、転移学習はドメイン間の共通性を活用して汎化性能を向上させる。
1.3 転移学習の利点と限界
利点として、学習時間の短縮、ラベル付きデータの必要性低減、モデルの汎化性能向上が挙げられる。限界としては、ソースタスクとターゲットタスクの関連性が低い場合に逆効果となる負の転移や、過剰適合のリスクが存在する。また、大規模な事前学習モデルを転用する際には計算リソースやストレージコストが増大する。
2 転移学習の分類
2.1 帰納的転移学習
ソースタスクとターゲットタスクが異なるが、両者の学習目標が類似している場合に適用される。ソースタスクで学習したモデルのパラメータや特徴をそのまま転用し、ターゲットタスクで微調整する。画像認識や自然言語処理で広く用いられるファインチューニングがこの典型的な例である。
2.2 トランスダクティブ転移学習
ソースタスクとターゲットタスクは同じであるが、データ分布が異なる場合に用いられる。ラベル付きのソースデータから学習した知識を、ラベルなしのターゲットデータに適応させる。ドメイン適応の一種であり、特にテストデータの分布が訓練データと異なる実環境で有効である。
2.3 教師なし転移学習
ラベルが存在しない状況で、ソースタスクとターゲットタスクの両方に共通する特徴表現を学習する手法である。クラスタリングや次元削減の枠組みで活用され、テキストデータの埋め込み学習（Word2Vecなど）が代表例である。ターゲットタスクでのラベルなしデータのみから知識を抽出する点が特徴である。
2.4 ドメイン適応
ソースドメインとターゲットドメインのデータ分布の違い（ドメインシフト）を克服するための転移学習の一分野である。敵対的学習や統計的距離の最小化などを用いて、両ドメインに共通の特徴空間を構築する。自動運転におけるシミュレーションから実環境への適応などが典型的な応用例である。
3 主要な手法
3.1 ファインチューニング
3.1.1 事前学習済みモデルの選択
ファインチューニングでは、まず大規模データで訓練された事前学習済みモデル（ImageNetで訓練されたResNetや、大規模テキストで訓練されたBERTなど）を選択する。選択基準は、ソースタスクのデータ特性とターゲットタスクの類似性、モデルの規模、計算リソースの制約などである。一般に、ソースタスクがターゲットタスクと類似しているほど転移性能が高い。
3.1.2 層の凍結と再学習
事前学習済みモデルの全層または一部の層を固定（凍結）し、残りの層のみをターゲットタスクのデータで再学習する。初期層ほど汎用的な特徴（エッジやテクスチャなど）を学習しているため、凍結されることが多い。最終層に近い層はタスク固有の特徴を学習するため、再学習の対象とする。過学習を防ぐため、学習率は通常小さく設定される。
3.2 特徴抽出
事前学習済みモデルを特徴抽出器として利用し、入力データを高次元の特徴ベクトルに変換した後、新しい分類器（SVMやロジスティック回帰など）を学習する。モデルの重みは更新せず、抽出された特徴を用いるため計算コストが低い。特にターゲットデータが極めて少ない場合に有効で、ファインチューニングよりも過学習リスクが小さい。
3.3 マルチタスク学習
複数の関連タスクを同時に学習し、共通の表現やパラメータを共有する手法である。各タスクの損失関数を結合し、モデルがタスク間で知識を相互に転移できるようにする。例えば、物体検出とセマンティックセグメンテーションを同時に学習するモデルなどが該当する。データ量が少ないタスクでも、他のタスクからの情報を利用して性能を向上させられる。
3.4 プログレッシブニューラルネットワーク
新しいタスクを学習するたびに、既存のネットワークに新たな列（カラム）を追加する手法である。既存の列の重みは固定され、新列は既存列からの特徴を入力として受け取る。タスク間の干渉を防ぎながら知識を蓄積できるため、逐次的に多数のタスクを学習する際に有効である。破滅的忘却を回避できる点が大きな利点である。
4 応用分野
4.1 画像認識
4.1.1 物体検出
転移学習は物体検出タスクで標準的に用いられる。ImageNetで事前学習された畳み込みニューラルネットワーク（Faster R-CNNやYOLOなど）をベースに、特定の物体カテゴリ（医用画像中の病変や自動運転の歩行者など）を検出するようにファインチューニングする。少量のアノテーションデータでも高精度な検出が可能となる。
4.1.2 画像分類
一般的な画像分類タスクでは、大規模データセットで訓練されたモデル（ResNet、EfficientNetなど）を転用し、新たな分類カテゴリに対応させる。例えば、動物種の識別や製品の品質検査などで利用される。事前学習済みモデルの汎用的な特徴抽出能力により、数百枚程度の少数サンプルでも実用的な分類器を構築できる。
4.2 自然言語処理
4.2.1 BERTやGPTの活用
大規模テキストコーパスで事前学習されたトランスフォーマーモデル（BERT、GPT-4など）を、特定のNLPタスクに転移学習する手法が主流である。マスク言語モデルや次文予測などで獲得した言語理解を基に、質問応答、テキスト分類、要約などのタスクを高精度に実行する。Few-shot学習やZero-shot学習も可能にしている。
4.2.2 感情分析
映画レビューやSNS投稿から感情を分類するタスクでは、転移学習によりドメイン適応が効果を発揮する。例えば、一般的なテキストで学習した感情分析モデルを、特定の製品レビューや医療テキストに適応させることで、専門用語や文体の違いを克服する。BERTベースのモデルをファインチューニングする手法が一般的である。
4.3 医療診断
医療画像（X線、CT、MRI）の解析において、転移学習はラベル付きデータが不足しがちな疾患の診断支援に貢献する。自然画像で事前学習されたモデルを医用画像に転用し、腫瘍検出や病変分類を行う。さらに、複数の医療施設間でのデータ分布の違い（撮影装置やプロトコルの差異）をドメイン適応で補正する研究も進んでいる。
4.4 ロボット制御
ロボットの行動学習では、シミュレーション環境で学習したポリシーを実機に転移させる（Sim-to-Real転移）手法が重要である。プログレッシブニューラルネットワークやドメインランダマイゼーションを併用し、実環境での微調整を最小限に抑える。物体把持や経路計画などのタスクで実用化が進んでいる。
5 課題と将来展望
5.1 負の転移
ソースタスクとターゲットタスクの関連性が低い場合、転移学習がかえって性能を低下させる現象である。原因として、ソースタスクで学習された特徴がターゲットタスクでは無関係または有害であることが挙げられる。対策として、タスク間の類似度を事前に評価する手法や、転移する知識の選択的抽出が研究されている。
5.2 ドメインシフトへの対応
ソースドメインとターゲットドメインのデータ分布の違い（ドメインシフト）は、転移学習の性能を大きく低下させる。現在の解決策として、敵対的学習によるドメイン不変表現の獲得や、自己教師あり学習を利用した適応手法が提案されている。しかし、複雑なドメインシフト（スタイルや照明の変化など）への完全な対応は依然として課題である。
5.3 効率的な転移学習の研究動向
近年は、大規模モデルを効率的に転移するための手法が注目されている。LoRA（Low-Rank Adaptation）やAdapter層のように、追加パラメータを最小限に抑えつつ転移性能を維持する軽量ファインチューニング技術が発展している。また、モデルが転移すべき知識を自動的に判断するメタ学習や、一度学習した知識を複数タスクで共有できる生涯学習への応用も研究が進んでいる。