1 概要と背景
1.1 開発の動機
従来の画像認識モデルは、固定のラベルセットに対する教師あり学習に依存しており、新たなカテゴリへの適応には追加のデータと再学習が必要だった。OpenAIは、人間が言語と視覚を結びつけて学習する仕組みに着想を得て、テキストと画像の対から直接的な意味対応を学習できるモデルの開発に着手した。CLIPは、インターネット上の膨大な画像-テキストペアを利用し、タスク固有のラベルなしで汎用的な視覚理解を実現することを目的としている。
1.2 従来の手法との比較
従来の画像分類モデル（例：ImageNetで学習したResNet）は、ラベル付きデータを使用して特定のクラス集合を識別する。これに対しCLIPは、テキストの埋め込み空間を活用することで、ゼロショットで任意のクラス（例えば「猫の写真」や「屋外の風景」）を認識できる。また、キャプション生成タスクでは、言語モデルと連携することで従来のパイプライン型システムを統合的に代替する可能性を示した。教師あり学習で必要な大規模なアノテーションコストを大幅に削減した点も、画期的な進歩である。
2 技術的詳細
2.1 アーキテクチャ
CLIPは二つの独立したエンコーダ（画像用とテキスト用）を持ち、それぞれが抽出した特徴ベクトルを共通の埋め込み空間に射影する。学習後は、画像とテキストの類似度をコサイン類似度で計算できる。
2.1.1 画像エンコーダー（Vision Transformer/ResNet）
画像エンコーダーには、Vision Transformer（ViT）またはResNetの二種類のバックボーンが使用可能である。ViTは画像をパッチに分割し、Transformerエンコーダで処理する。ResNetは標準的な畳み込みニューラルネットワークであり、バッチ正規化と残差接続を特徴とする。どちらの場合も、グローバル平均プーリング後の特徴ベクトル（例：2048次元）を出力する。実装時には、最終層の前に非線形射影層（線形+レイヤー正規化）を追加することで、対照学習の性能が向上する。
2.1.2 テキストエンコーダー（Transformer）
テキストエンコーダーは、Transformer（GPT-2ベースのアーキテクチャ）を用いる。入力テキストは最大77トークンのシーケンスにトークン化され、[SOS]トークンと[EOS]トークンで挟まれる。エンコーダの出力は、[EOS]トークンに対応する隠れ状態を特徴ベクトル（例：512次元）として使用する。テキストの長さや語順の情報を保持したまま、意味的な埋め込みを生成する。
2.2 学習プロセス
2.2.1 対照学習の原理
CLIPは対照学習（Contrastive Learning）を採用する。バッチ内にN個の画像-テキストペアがあるとき、正しいペア（画像iとテキストi）の類似度を最大化し、誤ったペア（画像iとテキストj, i≠j）の類似度を最小化する目的関数を用いる。具体的には、画像とテキストの埋め込みベクトルをそれぞれI_i, T_iとし、あるバッチ内での類似度行列S_{ij} = I_i・T_j（正規化後）を計算し、クロスエントロピー損失を適用する。この対称的な損失により、画像からテキスト、テキストから画像の両方向で一致率を高める。
2.2.2 データセット（WIT: WebImageText）
学習データセットはWIT（WebImageText）と呼ばれ、インターネットから収集された約4億個の画像-テキストペアで構成される。各ペアは、画像とそれに付随するaltテキストやキャプションなどの自然言語テキストである。テキストは多様な言語（主に英語）とスタイルを含み、ノイズも多いが、大規模なデータ量によりモデルが広範な概念を学習できる。OpenAIはこのデータセットを公開していないが、後続の研究では類似のパイプラインで構築されたデータセットが使用されている。
2.3 ゼロショット転移能力
CLIPは学習後、分類タスクでラベルを自然言語の候補（例：「飛行機」「自動車」「鳥」）として提示するだけで、画像と各候補テキストの類似度を比較し、最も高いスコアのラベルを予測する。この手法をゼロショット転移と呼び、ImageNetなどの標準ベンチマークで教師ありResNet50に匹敵する精度を達成した。さらに、テキストプロンプトの工夫（例：「a photo of a {}」）により、分布外のタスクや細かい分類でも良好な汎化を示す。
3 応用と影響
3.1 画像分類
3.1.1 自然画像からの分類
CLIPは一般的な物体認識（CIFAR-10/100、ImageNet、Oxford Petsなど）で高い精度を示す。ImageNetのゼロショット精度は約76%と、当時の教師あり最先端には劣るものの、ラベルなしで学習したモデルとしては驚異的である。また、プロンプトエンジニアリング（例：複数のテンプレートを平均）により性能が向上することが報告されている。
3.1.2 特殊領域への適応（医療・衛星画像）
医療画像（胸部X線写真、病理スライド）や衛星画像（土地利用分類）など、自然画像と分布が異なる領域では、ゼロショット性能が低下する傾向がある。しかし、少量のドメイン特化データでファインチューニングすることで、限られたアノテーションでも高い精度を達成可能である。例えば、RetinaNetのバックボーンとしてCLIPを用いる研究が存在する。
3.2 画像とテキストの検索
CLIPは画像-テキスト間の相互検索タスクに直接利用できる。画像をクエリとしてテキストを検索する、またはテキストをクエリとして画像を検索する際に、埋め込み空間での近傍探索を行う。MS-COCOやFlickr30kなどのベンチマークで高いRecall@Kを達成し、従来の教師ありマルチモーダル検索モデルに匹敵する。また、CLIPによる特徴は画像キャプション生成やビジュアル質問応答の特徴抽出器としても広く使われている。
3.3 生成モデルとの連携
3.3.1 DALL·Eとの統合
OpenAIが開発した画像生成モデルDALL·Eは、テキストから画像を生成する際にCLIPのテキストエンコーダを利用して条件付けを行う。具体的には、テキストの埋め込みをVQ-VAEの潜在空間に射影するガイダンスとして使用する。これにより、高品質でテキストに忠実な画像生成が実現した。
3.3.2 Stable Diffusionへの応用
Stable Diffusionのような拡散モデルでは、CLIPのテキストエンコーダが標準的なテキスト条件付けモジュールとして組み込まれている。ユーザーが入力したプロンプト（例：「夕焼けの中の猫」）をCLIPで埋め込み、U-Netのクロスアテンション層に供給することで、画像生成の方向を制御する。CLIPの登場により、テキスト-to-画像生成の品質と柔軟性が飛躍的に向上した。
3.4 倫理的考察とバイアス問題
CLIPは訓練データにインターネットから収集したテキストを用いているため、性別、人種、年齢、職業などに関する社会的バイアスを内包する可能性が指摘されている。例えば、「看護師」というプロンプトに対して特定の性別の画像を多く生成する傾向が報告されている。また、有害なステレオタイプや不快な内容を含む画像-テキストペアが学習データに含まれていた場合、モデルがそれらを強化するリスクがある。OpenAIはモデルのバイアス分析と緩和手法の研究を進めており、利用時には出力の倫理的審査が推奨される。
4 制約と今後の展望
4.1 計算コストとスケーラビリティ
CLIPの学習には約4000万個の画像-テキストペアと256個のGPU（V100）で約2週間を要し、計算資源の消費が大きい。また、推論時も二つのエンコーダを実行するため、単一の画像分類器よりコストが高い。エッジデバイスへの展開にはモデル蒸留や量子化が研究されている。さらに、データ収集のスケーラビリティ（特に多言語・低リソース言語への拡張）も課題である。
4.2 ドメイン特化タスクへの限界
CLIPは自然画像の分布に強く依存しており、医療画像、衛星画像、顕微鏡画像などの専門領域では性能が大幅に低下する。これは、WITデータセットにそれらのドメインの画像がほとんど含まれていないためである。また、CLIPはテキストのプロンプト表現に敏感であり、微妙な言い換えで結果が変わる脆弱性がある。ファインチューニングなしでは、細粒度分類（例：犬種の識別）や物体の位置特定など、より詳細な視覚タスクには不向きである。
4.3 将来の研究方向
4.3.1 マルチモーダル基盤モデルの発展
CLIPの成功は、画像とテキストを統合するマルチモーダル基盤モデルの設計思想を確立した。その後、VideoCLIP（動画理解）、Florence（マルチタスク統合）、BLIP（マルチモーダル推論の強化）など、より大規模で多機能なモデルが登場している。また、オーディオや3Dデータなど、さらに多くのモダリティを統合する研究が進められている。
4.3.2 プライバシーとフェアネスの改善
CLIPにおけるバイアス問題を解決するため、訓練データのフィルタリング、デバイアス手法（例：対照学習における重み調整）、公平性指標の導入などが研究されている。加えて、個別の領域に適応するための効率的なファインチューニング手法（例：LoRA）や、プライバシー保護のための連合学習との組み合わせも今後の方向性である。モデルの透明性を高め、悪用を防ぐガイドラインの整備が求められている。