1 基本原理

識別器は、機械学習において入力データの真偽を判別する二値分類モデルである。主に敵対的生成ネットワーク(GAN)の枠組みで用いられ、生成器と対抗的に学習することで、データ分布の近似を促進する。

1.1 二値分類の仕組み

識別器は入力データを受け取り、それが実データ分布からサンプリングされた「本物」である確率を出力する。通常、出力は0から1の間のスカラー値であり、1に近いほど本物と判断する。ネットワーク構造としては、畳み込み層や全結合層を用いて特徴を抽出し、最終層にシグモイド活性化関数を適用する。

1.2 損失関数と最適化

標準的なGANでは、識別器の損失関数は交差エントロピーに基づく。実データに対する出力を1に近づけ、生成データに対する出力を0に近づけるよう学習する。式で表すと、識別器の損失は \( L_D = -\mathbb{E}_{x \sim p_{\text{data}}}[\log D(x)] - \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))] \) となる。最適化には確率的勾配降下法が用いられる。

1.3 敵対的学習の枠組み

識別器と生成器はゼロサムゲームの関係にある。生成器は識別器を欺くように偽物を生成し、識別器はそれを見破るように学習する。この競合により、両者の性能が徐々に向上し、生成器は実データ分布に近いサンプルを生成できるようになる。学習は交互に更新することで進行する。

2 種類と応用

識別器はGANのバリエーションに応じて異なる構造や機能を持つ。以下に代表的な種類を示す。

2.1 標準GANにおける識別器

標準GAN(Goodfellowら, 2014)の識別器は多層パーセプトロン(MLP)で構成される。入力はフラットなベクトルであり、全結合層と活性化関数(Leaky ReLUなど)を経て、単一のシグモイド出力に至る。シンプルながら、低解像度の画像生成などで有効である。

2.2 DCGANの識別器構造

DCGAN(Deep Convolutional GAN)では、識別器に畳み込み層を採用する。バッチ正規化、Leaky ReLU活性化、ストライド畳み込みによるダウンサンプリングを特徴とし、全結合層を避けることでパラメータ数を削減しつつ、画像の空間構造を捉える。この構造は安定した学習を実現する。

2.3 条件付き識別器

条件付き識別器は、追加情報(ラベルなど)を入力として受け取り、その条件の下で真偽を判別する。これにより、生成器が特定のクラスや属性に沿ったデータを生成するよう誘導できる。

2.3.1 クラス条件付き識別器

クラス条件付き識別器は、クラスラベルを埋め込みベクトルとして結合し、識別器に入力する。例えば、画像と対応するラベルを連結することで、特定のクラスのデータかどうかを評価する。CGAN(Conditional GAN)で用いられる。

2.3.2 モーダル条件付き識別器

モーダル条件付き識別器は、データのモダリティ(例:テキスト、音声)を条件として扱う。テキストから画像を生成するタスクなどで、テキスト埋め込みを識別器に注入し、生成画像が条件に適合しているかを判定する。

2.4 進化型識別器

従来の識別器の課題を解決するために、損失関数や正則化手法を改良した進化型が提案されている。

2.4.1 Wasserstein GANの識別器

Wasserstein GAN(WGAN)では、識別器を「クリティック(Critic)」と呼び、出力にシグモイドを使わず、実数値をそのまま出力する。損失関数はWasserstein距離に基づき、勾配のクリッピングまたは勾配ペナルティを用いてリプシッツ連続性を保証する。これにより、モード崩壊や勾配消失が緩和される。

2.4.2 スペクトル正則化識別器

スペクトル正則化は、識別器の各層の重み行列のスペクトルノルムを制約することで、リプシッツ連続性を強制する手法である。Spectral Normalization GAN(SNGAN)で導入され、安定な学習と高品質な生成を実現する。計算コストが低く、実装が容易である。

3 性能評価と課題

識別器の性能は生成品質や学習安定性に直結する。以下に主要な評価指標と課題を示す。

3.1 識別精度の指標

識別器の性能は、実データと生成データを正しく分類できる精度で評価される。ただし、両者の分布が完全に一致すると識別精度は理論的に50%に収束するため、学習初期の精度推移が重要となる。一般的に、学習が進行するにつれて識別精度は低下し、生成器の性能向上を示す。

3.2 モード崩壊との関連

モード崩壊は、生成器が多様なデータ分布を学習できず、限られたパターンのサンプルしか生成しない現象である。識別器が特定のモードに対して過適合すると、生成器はそのモードのみを模倣する傾向が強まる。識別器の汎化能力や正則化が不十分な場合に発生しやすい。

3.3 勾配消失問題と対策

識別器が生成データを容易に判別できてしまうと、生成器に伝わる勾配が小さくなり、学習が停滞する。これが勾配消失問題である。以下の対策が知られる。

3.3.1 ラベルスムージング

ラベルスムージングは、本来1(本物)であるべき実データのラベルを、例えば0.9に緩和して学習する手法である。これにより識別器の過信を防ぎ、生成器に安定した勾配を供給する。

3.3.2 勾配ペナルティ

勾配ペナルティは、識別器の入力に対する勾配のノルムを正則化する手法である。WGAN-GPで導入され、リプシッツ連続性を維持しつつ勾配消失を緩和する。実データと生成データの中間点における勾配ノルムを1に近づけるようペナルティ項を損失に加える。

4 関連概念

識別器は他の機械学習パラダイムと密接に関連する。

4.1 生成器との比較

識別器と生成器はGANにおいて対となるモデルである。生成器はノイズからデータを生成するのに対し、識別器は真偽を判別する。生成器は識別器を欺く方向に、識別器は見破る方向に学習する点が対照的である。両者のバランスが学習の成否を決める。

4.2 自己教師あり学習との関係

自己教師あり学習では、事前に設計した補助タスク(回転予測、コントラスト学習など)を通じて表現学習を行う。識別器は補助タスクの判別器として利用されることがあり、例えばSimCLRでは正負ペアの識別に類似した構造が用いられる。GANの識別器も特徴抽出器として転用可能である。

4.3 転移学習における識別器の利用

事前学習済みの識別器は、画像分類などのタスクに転移学習で活用できる。GANで学習した識別器は、実データと生成データの識別に特化しているが、下流タスクの特徴抽出器としてファインチューニングすることで、少ないデータで高い性能を達成することがある。特にDCGANやSNGANの識別器は、畳み込み層が汎用的な画像特徴を獲得しやすい。