画像キャプショニング（Image Captioning）は、コンピュータビジョンと自然言語処理を組み合わせた人工知能技術であり、入力された画像の内容を自動的に分析し、人間が理解可能な自然言語による説明文（キャプション）を生成するタスクです。この技術は、視覚障害者向けの支援、ソーシャルメディアの自動タグ付け、検索エンジンの画像理解、ロボットの環境認識など、多岐にわたる応用分野で活用されています。深層学習の発展に伴い、特に畳み込みニューラルネットワーク（CNN）とリカレントニューラルネットワーク（RNN）の組み合わせ、あるいはTransformerアーキテクチャを用いた手法が主流となっています。
1 技術的基盤
1.1 エンコーダ・デコーダフレームワーク
画像キャプショニングの基本的な枠組みとして、エンコーダ・デコーダアーキテクチャが広く採用されている。エンコーダは画像を特徴ベクトルに変換し、デコーダはその特徴から言語系列を逐次的に生成する。初期の研究では、エンコーダにCNN、デコーダにRNN（特にLSTM）が用いられ、画像全体の大域的な特徴を1つのベクトルに圧縮してデコーダに渡す方式が一般的であった。
1.2 アテンションメカニズム
アテンションメカニズムは、デコーダが各出力ステップにおいて画像のどの領域に注目すべきかを動的に学習する仕組みである。これにより、固定長ベクトルに依存せず、画像内の局所的な情報を適切に参照できるようになり、キャプションの精度と記述の細かさが向上した。特に、ソフトアテンションとハードアテンションの区別が研究され、前者は確率的な重み付け、後者は特定領域の選択を行う。
1.3 Transformerアーキテクチャ
Transformerは、自己アテンション機構に基づく系列変換モデルであり、画像キャプショニングにおいてもエンコーダ・デコーダ構造の核として利用される。画像特徴を一連のパッチまたは領域特徴として入力し、位置エンコーディングを付与してTransformerエンコーダで処理する。デコーダ側では、マスクされた自己アテンションとクロスアテンションを組み合わせ、画像とテキストの相互作用をモデル化する。これにより、並列計算が可能となり長距離依存関係の学習が改善された。
2 主要なモデルと手法
2.1 畳み込みニューラルネットワークベース
畳み込みニューラルネットワークは画像特徴抽出の中心的な役割を担う。事前学習されたCNN（例：VGGNet、ResNet、Inception）をエンコーダとして使用し、最終の畳み込み層の出力を画像表現とする。単純なベクトル化だけでなく、空間的なグリッド特徴を保持し、後のアテンション機構で活用する方式も多い。
2.2 リカレントニューラルネットワークベース
RNN、特にLSTMやGRUは、デコーダとして言語生成を担当する。各タイムステップで、前回生成された単語と現在の画像特徴を入力とし、次に生成する単語の確率分布を出力する。ビームサーチなどの復号アルゴリズムを用いて、最も妥当な文を選択する。CNN+RNNの組み合わせは、初期の標準的な手法として多くのベースラインを提供した。
2.3 Transformerベース
2.3.1 Vision Transformer
Vision Transformer（ViT）は、画像を固定サイズのパッチに分割し、各パッチを線形埋め込みしてTransformerエンコーダに入力する。従来のCNNに依存せず、画像全体のグローバルな関係を直接学習する。画像キャプショニングでは、ViTをエンコーダとして用いることで、CNNよりも細かい局所特徴と大局的な構造を同時に捉えることが可能となった。
2.3.2 CLIPを用いた手法
CLIP（Contrastive Language–Image Pre-training）は、大量の画像とテキストペアから対照学習により視覚と言語の共通埋め込み空間を学習するモデルである。画像キャプショニングでは、CLIPの視覚エンコーダを事前特徴抽出器として使用し、得られた埋め込みをデコーダの初期状態や条件付けに利用する手法が開発されている。また、CLIPの特徴をTransformerベースのデコーダと組み合わせることで、ゼロショットや少数ショットのキャプション生成も試みられている。
3 データセットと評価指標
3.1 代表的なデータセット
3.1.1 MS COCO
MS COCO（Microsoft Common Objects in Context）は、画像キャプショニングで最も広く利用されるデータセットである。約33万枚の画像に対し、各画像に5つの人手によるキャプションが付与されている。多様な物体やシーン、複雑な文脈を含み、ベンチマーク評価の標準として用いられる。トレーニング、検証、テストの分割が公式に定義され、オンライン評価サーバも提供されている。
3.1.2 Flickr30k
Flickr30kは、約3万1千枚のFlickr画像から構成され、各画像に5つのキャプションが付与されたデータセットである。MS COCOに比べて規模は小さいが、多様な日常シーンを含み、初期の研究や迅速な実験に適している。また、細かなアノテーション（領域レベルの参照表現）が追加された拡張版も存在する。
3.2 自動評価指標
3.2.1 BLEU
BLEU（Bilingual Evaluation Understudy）は、機械翻訳の評価指標として開発されたが、画像キャプショニングでも広く用いられる。生成キャプションと参照キャプションの間のn-gram一致率を計測し、適合率に基づいてスコア化する。短い文へのバイアスを補正するためのブレベティペナルティが適用される。通常、BLEU-1からBLEU-4までが報告される。
3.2.2 METEOR
METEORは、単語の完全一致に加えて、語幹や同義語、パラフレーズも考慮する指標である。適合率と再現率の調和平均に基づき、単語の並び替えに対するペナルティを導入することで、より人間の評価と相関の高いスコアを提供する。
3.2.3 CIDEr
CIDEr（Consensus-based Image Description Evaluation）は、画像キャプショニング専用に設計された指標である。各n-gramに対して、参照キャプション群における出現頻度に基づくTF-IDF重み付けを行い、生成キャプションとの一致度を算出する。人間の評価との相関が高く、標準的な指標の一つとされる。
3.2.4 SPICE
SPICE（Semantic Propositional Image Caption Evaluation）は、意味的な命題（オブジェクト、属性、関係）に基づく評価指標である。生成キャプションと参照キャプションから意味グラフを抽出し、グラフの一致度をFスコアで計測する。表層的なn-gram一致では捉えにくい意味的正確性を評価できる。
4 応用分野
4.1 視覚障害者支援
画像キャプショニングは、視覚に障害のあるユーザに対して、周囲の風景、物体、人物の動作などを音声で説明するシステムに応用される。スマートフォンアプリやウェアラブルデバイスに組み込まれ、実時間でのシーン理解と音声合成を通じて、ユーザの生活の質を向上させる。
4.2 ソーシャルメディアとコンテンツ管理
ソーシャルメディアプラットフォームでは、投稿された画像に自動的に説明的な代替テキスト（altテキスト）を生成し、アクセシビリティを高める。また、画像検索エンジンやコンテンツモデレーションにおいて、画像内容の自動タグ付けや不適切コンテンツの検出にも利用される。大規模な画像データベースの管理や自動カタログ化にも貢献している。
4.3 ロボティクスと自動運転
ロボットや自動運転車において、カメラ映像から周囲の状況を自然言語で記述することは、人間とのインタラクションや意思決定支援に有用である。例えば、ロボットが「テーブルの上に赤いカップがある」と報告したり、自動運転システムが「前方に横断歩道と歩行者がいる」と運転者に伝えることが可能となる。
4.4 医療画像分析
医療分野では、X線画像、CTスキャン、内視鏡画像などの診断支援として画像キャプショニングが応用される。病変部位や解剖学的構造を自然言語で説明することで、医師の読影負担を軽減し、診断の迅速化や教育資料の自動生成に寄与する。ただし、高い精度と信頼性が要求されるため、専門家による検証と組み合わせた利用が一般的である。
5 課題と将来展望
5.1 データバイアスと公平性
学習データに含まれる社会的・文化的バイアスが、生成されるキャプションに反映される問題がある。例えば、特定の性別や人種に関するステレオタイプが強化される可能性がある。バイアスの検出と軽減手法の開発、多様な背景をカバーするデータセットの構築が求められる。
5.2 文脈理解の限界
現在のモデルは、単一画像内の顕著な物体や動作を記述することは得意だが、画像間の因果関係、時間的変化、暗黙的な文脈（例えば、写真が撮影されたイベントの意図や感情）を理解することは難しい。より深い意味理解と推論能力を持つモデルへの発展が期待される。
5.3 マルチモーダルアラインメント
画像とテキストの間の細かな対応関係（例えば、特定の物体とその属性や位置関係）を正確に捉えることは依然として困難である。特に、複雑なシーンや抽象的な概念を含む場合、アラインメントの精度が低下する。マルチモーダル表現学習のさらなる進展が必要である。
5.4 リアルタイム性と軽量化
実応用では、モバイルデバイスや組み込みシステム上で高速にキャプションを生成することが求められる。大規模なTransformerモデルは高い精度を示すが、計算コストとメモリ消費が大きい。知識蒸留、量子化、プルーニングなどの軽量化技術の導入、あるいは専用の軽量アーキテクチャの設計が重要な研究課題である。