1.1 マルチモーダルAIとは何か
マルチモーダルAIは、テキスト、画像、音声、動画など複数の異なるデータ形式（モダリティ）を同時に処理・理解し、それらを統合して推論や生成を行う人工知能技術の一分野である。従来の単一モダリティ（例：テキストのみ）のAIと異なり、人間のように複数の感覚情報を組み合わせて高度な認識や対話を実現する点が特徴。例えば、画像に写った猫の表情と「嬉しい」というテキストから感情を推定するなど、クロスモーダルな理解が可能。
1.2 モダリティの種類と組み合わせ
主なモダリティにはテキスト（文字情報）、画像（静止画）、音声（発話や環境音）、動画（映像と音声の時系列データ）、さらには触覚や嗅覚などのセンサデータも含まれる。実際の応用では、テキスト＋画像（画像キャプショニング）、画像＋音声（動画の音声認識）、テキスト＋音声（音声対話システム）など、二つ以上の組み合わせが用いられる。各モダリティは異なる統計的性質を持つため、統合処理には特殊な技術が必要となる。
2.1 特徴抽出とエンコーディング
マルチモーダルAIの根幹は、各モダリティから意味的な特徴を抽出することにある。テキストはTransformerやBERTなどの言語モデルで、画像はCNNやVision Transformer（ViT）で、音声はスペクトログラムに変換後CNNやTransformerで、それぞれベクトル表現（エンべディング）に変換される。これらのエンべディングは高次元空間上で比較可能な形に整えられ、後続の統合処理に供される。
2.2 クロスモーダル注意機構
クロスモーダル注意機構（Cross-Modal Attention）は、異なるモダリティ間の相互関係を学習する中心的な要素である。例えば、画像の各領域とテキストの各単語との間の関連度を計算し、注意重みを用いて特徴を融合する。Transformerアーキテクチャの自己注意機構を拡張し、クエリ、キー、バリューの計算を複数モダリティにまたがって行うことで、画像中の物体とそれに対応するテキスト表現が強く結びつく。
2.3 融合戦略（初期融合・後期融合・ハイブリッド）
マルチモーダル融合には主に三つの戦略がある。初期融合は、各モダリティの特徴をモデルの入力段階で結合し、一つのエンコーダで処理する。後期融合は、各モダリティを別々のエンコーダで処理した後、最終的な予測段階で結合する。ハイブリッド融合は、中間層で部分的に情報を交換しながら、最終段階で統合する手法で、現在の大規模モデルで主流である。FlamingoやGPT-4Vはハイブリッド融合を採用している。
3.1 初期の試み（1990年代～2010年代）
1990年代には音声と画像の統合認識が研究され始め、2000年代には「画像に写った物体に音声で質問する」といったマルチモーダル対話システムのプロトタイプが登場。しかし、当時の計算資源とデータ不足により、実用的な性能には達しなかった。2010年代に深層学習が普及すると、画像認識（CNN）と自然言語処理（RNN/LSTM）を組み合わせた画像キャプショニングモデル（2014年ごろ）が実用的な成果を上げ始めた。
3.2 大規模モデルの台頭（2020年以降）
Transformerアーキテクチャの登場により、異なるモダリティを同一の枠組みで扱うことが可能になった。2021年にOpenAIが公開したCLIP（Contrastive Language-Image Pre-training）は、テキストと画像を対比学習で大規模に訓練し、ゼロショット画像分類を実現した。その後、Flamingo（DeepMind, 2022）やGPT-4V（OpenAI, 2023）などのモデルが、テキスト生成機能と画像理解機能を統合し、実用的なマルチモーダル対話を可能にした。
3.3 代表的なモデル（CLIP、Flamingo、GPT-4V）
- CLIP：4億組の画像-テキストペアで学習。画像とテキストのエンべディングを共通空間に写像し、類似度計算で画像分類などを行う。
- Flamingo：大規模言語モデル（Chinchilla）に画像エンコーダを接続し、固定数の画像トークンを挿入することで、テキストと画像の対話を実現。
- GPT-4V：GPT-4にマルチモーダル入力を追加したモデル。画像、図表、スクリーンショットなどを理解し、テキストで応答する。
4.1 画像キャプショニングと視覚質問応答
画像キャプショニングは、画像の内容を自然文で説明する技術。視覚質問応答（VQA）は、画像に関する質問にテキストで答える。両者とも画像理解と言語生成の融合であり、自動運転の状況説明や障害者支援に応用されている。
4.2 音声認識とテキスト生成の統合
音声入力からテキストを生成する音声認識（ASR）と、テキストから音声を合成する音声合成（TTS）に加え、マルチモーダルAIでは音声のトーンや感情も統合的に処理する。例えば、怒っている声ならテキストに「（怒）補足説明」のように感情ラベルを付与するシステムがある。
4.3 動画理解とイベント検出
動画は画像と音声の時系列データであるため、マルチモーダルAIの格好の対象。サッカーの試合映像から得点シーンを自動検出したり、監視映像から異常行動を検知するといった用途がある。また、字幕と映像を統合することで、より高精度なシーン理解が可能となる。
4.4 創造的コンテンツ生成（画像生成・音楽生成）
DALL·E、Stable Diffusion、Midjourneyなどの画像生成モデルは、テキストプロンプトから画像を生成するマルチモーダルAIの代表例。また、音楽生成では、「悲しいピアノ曲」というテキストから音声波形を生成するモデル（例：MusicLM）も登場している。
4.5 ちょっとしたユーモア：猫の気持ちを読み取るAI？
「猫が機嫌のいいときは尻尾がピンと立つ」「耳を後ろに倒すと怒っている」といった動物の感情表現を、画像とテキストの組み合わせで推定する試みがある。もちろん、猫の感情はまだ科学的に完全には解明されておらず、あくまで「人間がそう見える」という範囲だが、SNS上の「#猫の気持ち」タグに投稿された画像とコメントを学習することで、猫の表情から「ご飯がほしい」「撫でてほしい」を推定するジョークアプリも存在する。
5.1 データのアラインメントと品質
異なるモダリティ間で正確な対応関係（アラインメント）を取ることが難しい。例えば、画像中の「赤い靴」という記述と、実際の画像中の赤い靴領域が正確に対応していないデータが大量にあると、学習が不安定になる。また、低品質なデータ（ノイズ、ぼやけ、誤ったラベル）が含まれると、出力の信頼性が低下する。
5.2 計算コストとリソース
マルチモーダルモデルは通常、単一モダリティモデルよりパラメータ数が多く、訓練には大規模なGPUクラスタが必要。GPT-4Vの訓練には数千万ドルのコストがかかったとされる。また、推論時も複数のモダリティを同時処理するため、応答時間が長くなる傾向がある。
5.3 バイアスと公平性
訓練データに含まれる社会的バイアス（性別、人種、地域など）がマルチモーダルモデルにも反映される。例えば、「料理をする女性」の画像と「CEOの男性」の画像が多く含まれるデータで学習すると、モデルがステレオタイプを強化する可能性がある。クロスモーダルなバイアス検出技術が研究されている。
5.4 「ごちゃまぜ」による誤認識事例
異なるモダリティの情報が矛盾している場合、モデルが混乱することがある。例えば、「青い空」というテキストと「曇りの画像」を同時に入力すると、モデルがどちらを優先すべきか判断できず、誤った説明を出力する。また、手書きの図と数字を混同するなど、人間には簡単でもAIには難しい「ごちゃまぜ」のケースが多数報告されている。
6.1 汎用マルチモーダルAIへの道
現在のモデルは特定の入力モダリティに特化しているが、将来的には「テキスト、画像、音声、動画、触覚、温度」など、任意のモダリティを自由に組み合わせて推論できる汎用マルチモーダルAIが目標とされている。人間のように五感すべてを統合する「感覚基盤モデル」の開発が進められている。
6.2 具現化エージェントとの融合
ロボットや自動運転車などの具現化エージェントは、視覚（カメラ）、聴覚（マイク）、触覚（センサ）など複数のモダリティをリアルタイムで処理する必要がある。マルチモーダルAIは、これらのセンサ情報を統合して行動決定を行う脳として機能し、家庭用ロボットや介護ロボットへの応用が期待される。
6.3 ソーシャルメディアのミーム解析への応用
ネットミームは画像とテキストの組み合わせ（画像マクロ）が主流である。マルチモーダルAIは、画像の内容と添えられたキャプションの関連性を理解し、ミームの意味や文脈を解析できる。これにより、トレンド予測や嫌がらせ検出、さらには「このミームが面白いかどうか」を判定するエンターテインメントアプリの開発も可能になる。ただし、「ミームの面白さ」は主観的で文化的な要素も強く、完全な自動評価はまだ困難である。
6.4 恋愛相談AIが写真と声で性格診断？
「プロフィール写真と声のトーンから相手の性格を診断する」というアイデアは、マルチモーダルAIの遊び心ある応用例として研究されている。画像から表情や服装、音声から話し方のキーや抑揚を抽出し、テキストでの自己紹介文と統合することで、統計的に「外向的」「誠実さが高い」といった性格特性を推定する。もっとも、あくまで娯楽的な利用が想定されており、実際の人間関係に用いるには精度・倫理面で課題が多い。将来、友達作りのきっかけとして「AIが相性診断をしてくれる」サービスが登場するかもしれない。