拡散モデルの原理
拡散モデルは、データに段階的にノイズを加える順方向プロセスと、ノイズから元のデータを復元する逆方向プロセスを学習する生成モデルである。画像生成では、ランダムノイズから徐々に画像構造を再構築することで、高品質な出力を得る。
順方向拡散プロセス
順方向拡散では、元の画像にガウシアンノイズを徐々に付加し、最終的に完全なノイズ分布に変換する。各ステップでノイズ量が増加し、マルコフ連鎖によって定義される。このプロセスは固定されたスケジュールに従い、学習は行われない。
逆方向拡散プロセス
逆方向拡散では、ニューラルネットワークがノイズを除去する方向を学習する。完全なノイズから開始し、各ステップでノイズ予測モデル（通常はU-Net）を用いて画像の構造を徐々に復元する。学習は、ノイズが付加された画像から元のノイズ量を推定するように行われる。
潜在拡散モデル（LDM）
Stable Diffusionは、ピクセル空間ではなく潜在空間で拡散プロセスを実行する潜在拡散モデル（LDM）を採用する。これにより、計算コストを大幅に削減しつつ、高解像度の画像生成を可能にしている。
オートエンコーダによる圧縮
LDMは、まずオートエンコーダ（VAE）を用いて画像を低次元の潜在表現に圧縮する。エンコーダは画像を潜在ベクトルに変換し、デコーダはそれを復元する。拡散プロセスはこの潜在空間内で行われ、メモリ使用量と計算時間を削減する。
U-Netアーキテクチャ
拡散プロセスの中核には、U-Net構造の畳み込みニューラルネットワークが用いられる。U-Netはエンコーダ・デコーダ対称構造を持ち、スキップ接続により詳細な特徴を保持する。ノイズ予測の精度を高めるため、時間埋め込みや条件情報が各層に注入される。
条件付けメカニズム
Stable Diffusionは、テキストなどの条件情報に基づいて画像を生成する。条件付けは主にテキストエンコーディングとクロスアテンション機構によって実現される。
テキストエンコーディング（CLIP）
テキストプロンプトは、OpenAIのCLIPモデルを用いて固定長の埋め込みベクトルに変換される。CLIPはテキストと画像の対照学習により、両者の意味的な整合性を学習しており、これによりプロンプトの意味を正確に潜在空間に投影できる。
クロスアテンション機構
U-Net内の各ブロックにはクロスアテンション層が組み込まれ、テキスト埋め込みと画像特徴マップの間のアテンションを計算する。この機構により、プロンプト内の各単語が画像のどの領域に影響を与えるかを動的に調整でき、テキスト指示に忠実な画像を生成する。
初期バージョン（v1.0〜v1.5）
Stable Diffusionは2022年8月にv1.0が公開され、その後v1.4、v1.5と改良が重ねられた。オープンソースとして公開されたことで、コミュニティが自由にモデルをダウンロードし、実行できる環境が整った。
学習データセット（LAION-5B）
学習には大規模な画像・テキストペアデータセット「LAION-5B」が使用された。このデータセットはインターネットから収集された約58億組のペアからなり、多様なスタイルと内容をカバーする。ただし、データ内に著作権で保護された画像や不適切なコンテンツが含まれる問題も指摘された。
ライセンスと公開論争
Stable Diffusionはクリエイティブ・コモンズ・ライセンス（CC BY-SA 4.0）で公開され、商用利用を含む幅広い利用が許可された。しかし、学習データに著作権侵害の可能性があるとして、多数のアーティストや団体が訴訟を提起するなど、公開の是非をめぐる議論が起きた。
v2.0以降の改良
2022年11月にリリースされたv2.0では、モデルアーキテクチャの改善と品質向上が図られた。学習データのフィルタリングが強化され、より高品質な画像生成が可能になった。
解像度と品質の向上
v2.0ではデフォルト生成解像度が512×512から768×768に向上し、v2.1では画像の詳細度とプロンプト追随性が改善された。また、新たに「depth-to-image」や「inpainting」専用モデルが追加された。
倫理フィルターの導入
悪用防止のため、v2.0では学習データから暴力的・性的コンテンツを除去するフィルタリングが実施された。さらに、生成時に特定の不適切なプロンプトをブロックする安全チェッカー（safety checker）が標準搭載された。ただし、これにより生成可能な表現範囲が制限されるとしてコミュニティから批判もあった。
コミュニティ派生モデル
Stable Diffusionのオープンソース性を活かし、コミュニティによる多数の微調整モデルや拡張手法が開発された。
DreamBooth
DreamBoothは、数枚の画像から特定の被写体（人物、物体、スタイル）を学習し、その被写体を多様なコンテキストで生成可能にする手法である。モデル全体を微調整するため、高品質な個人化が可能だが、学習コストが比較的高い。
LoRA（Low-Rank Adaptation）
LoRAは、モデルの重みを直接変更せず、低ランクの行列を追加して特定のスタイルや概念を学習する軽量な微調整手法である。数MB程度の小さなファイルで表現を追加でき、複数のLoRAを同時に適用できるため、コミュニティで広く利用されている。
基本的な画像生成
Stable Diffusionを使った画像生成は、プロンプトと各種パラメータを指定して実行する。多くのインターフェースでは、シード値、サンプリングステップ数、CFGスケールなどを調整できる。
プロンプト設計
プロンプトは生成内容を記述するテキストで、通常は英語で記述される。良い結果を得るには、主題、スタイル、構図、照明、質感などを具体的に記述し、不要な要素を否定プロンプト（negative prompt）で指定することが有効である。
サンプリングステップとCFGスケール
サンプリングステップ数（通常20〜50）が多いほどノイズ除去が精緻になり、詳細な画像が得られるが、生成時間は増加する。CFGスケール（Classifier-Free Guidance）はプロンプトへの忠実度を制御する値で、大きいほどプロンプトに従うが、過剰になると画質が劣化する。適切なバランスが重要である。
高度な操作
基本的なテキストから画像の生成に加え、既存画像を加工する機能が提供されている。
img2img変換
既存の画像を入力として、その構造や色味を保持しつつ、プロンプトに従ってスタイルや内容を変更する。ノイズ強度（denoising strength）を調整することで、元画像からの変化の度合いを制御できる。
インペインティング
画像の特定領域をマスクで指定し、その部分だけを再生成する機能。不要なオブジェクトの除去や背景の変更、欠損部分の補完に利用される。専用モデルによりマスク領域の周辺との調和が考慮される。
拡張機能（ControlNet、T2I-Adapter）
ControlNetやT2I-Adapterは、生成プロセスに追加の条件（スケッチ、深度マップ、ポーズ、セグメンテーションマップなど）を入力できるようにする拡張機能である。これにより、構図や姿勢を細かく制御しながら高品質な画像を生成できる。
実行環境
Stable Diffusionはローカル環境でもクラウドサービスでも実行可能であり、用途に応じた選択ができる。
ローカル実行（WebUI、ComfyUI）
ローカル実行には、主にWebUI（AUTOMATIC1111版）とComfyUIという二つのグラフィカルインターフェースが広く使われる。WebUIは機能が豊富で初心者にも扱いやすい。ComfyUIはノードベースのワークフローで高度な制御が可能であり、パイプラインのカスタマイズに優れる。いずれもNVIDIA GPU（VRAM 4GB以上）を推奨し、メモリが少ない場合は低VRAMモードも利用できる。
クラウドサービス
GPUリソースが限られるユーザー向けに、複数のクラウドサービスがStable Diffusionを提供している。Hugging Face Spaces、Replicate、DreamStudio（Stability AI公式）などがあり、ブラウザから手軽に生成できる。従量課金または無料枠で利用可能で、モデルの選択肢も豊富である。
著作権とフェアユース
Stable Diffusionの学習データと生成物に関して、著作権法上の課題が多方面で議論されている。
学習データの著作権問題
モデルはLAION-5Bというインターネット上の画像を収集したデータセットで学習されており、その中には著作権で保護された画像が大量に含まれる。アーティストらは、許可なく作品を学習に使用することは著作権侵害にあたると主張し、集団訴訟が提起された。一方で、学習プロセスは「フェアユース」ないし「トランスフォーマティブな利用」に該当するという見解も存在する。
生成物の法的帰属
AIが生成した画像の著作権は誰に帰属するかという問題がある。多くの国の現行法では、人間の創造的関与がない生成物は著作権の対象とならないとされる。ただし、プロンプトの選定やパラメータ調整に創作性が認められる場合は、ユーザーに権利が発生する可能性がある。現状では各国で法整備が追いついておらず、個別の判断に委ねられている。
悪用リスクと防止策
画像生成AIの普及に伴い、悪用のリスクが顕在化している。
ディープフェイクと偽情報
Stable Diffusionは実在する人物の顔を高精度で生成できるため、本人の同意なしに偽の画像や動画を作成するディープフェイクに利用される危険性がある。特に、名誉毀損や詐欺、政治的な偽情報拡散への悪用が懸念される。
コンテンツフィルタリング技術
これに対し、開発元やコミュニティはフィルタリング技術を導入している。オープンソース版ではNSFWフィルターや安全チェッカーが標準実装され、一部のクラウドサービスでは不適切なプロンプトを拒否する仕組みを持つ。さらに、電子透かし（ウォーターマーク）を生成画像に埋め込んで追跡可能にする研究も進められている。
創造性への影響
Stable Diffusionはクリエイティブ産業に大きな変革をもたらしている。
アーティストとAIの協業
多くのアーティストはAIをツールとして積極的に活用し、アイデアのスケッチ、構図の試行錯誤、テクスチャ作成などに利用している。AIが生成した下地を元に仕上げを手作業で行うなど、人間とAIの協業による新しい創作スタイルが生まれている。
産業構造の変化
一方で、イラストレーターやフォトグラファー、グラフィックデザイナーなどの職業に雇用代替の懸念がある。特に低価格の依頼やストックイメージ市場では、AI生成画像が人間の作品を圧迫する事例が報告されている。しかし、新しい職種（プロンプトエンジニア、AIアートディレクターなど）も登場しており、産業構造の再編が進んでいる。
アートとデザイン
アーティストはStable Diffusionを用いて独自のスタイルを探求し、ポスター、書籍の挿絵、ファッションデザイン、コンセプトアートなど幅広い分野で活用している。また、NFTアートの制作にも利用され、コミュニティ主導の作品発表が盛んである。
ゲーム開発と3Dモデリング
ゲーム開発では、コンセプトアートの迅速な生成、テクスチャマップや背景画像の作成、キャラクターデザインのバリエーション展開などに用いられる。さらに、生成画像から3Dモデルを推定する技術（例えば、NeRFやマルチビュージェネレーションとの組み合わせ）も研究されており、アセット制作の効率化が進んでいる。
広告とマーケティング
広告業界では、商品画像の背景生成、キャッチコピーに合わせたビジュアルの自動生成、A/Bテスト用の多様なバリエーション作成などに利用される。特に、特定のターゲット層向けにスタイルを調整するパーソナライズ広告への応用が注目されている。
科学研究（医用画像、材料設計）
医療分野では、限られたデータセットから医用画像（CT、MRI、病理画像）を生成してデータ拡張に利用したり、診断用の合成画像を作成してトレーニングデータを充実させる研究が行われている。材料科学では、化合物の構造画像を生成し、新しい材料の特性予測や分子設計に応用する試みがある。
DALL-Eシリーズ（OpenAI）
OpenAIが開発したDALL-E 2およびDALL-E 3は、テキストから画像を生成するクローズドソースモデルである。API経由でのみ利用可能で、Andromedaなどの商用サービスに組み込まれている。DALL-E 3はプロンプト理解力に優れ、複雑な指示にも正確に応答できるが、ユーザーがモデルを自由に改変できない点がStable Diffusionとの大きな違いである。
Midjourney
Midjourneyは、主にDiscord上で動作するサブスクリプション型の画像生成サービスである。独自の美学を持ち、アーティスティックでスタイライズされた画像を得意とする。プロンプトの記述が比較的短くても質の高い結果が得られる一方、細かい制御（特定の構図やポーズの指定）はStable Diffusionほど柔軟ではない。
Imagen（Google）
Googleが発表したImagenは、超解像技術と大規模言語モデル（T5）を組み合わせた高品質な画像生成モデルである。公開は限定的で、一般利用は難しい。テキストと画像の整合性が非常に高いが、計算リソースが大きいため、ローカルでの実行は事実上不可能である。
動画生成への拡張
Stable Diffusionの技術を応用した動画生成モデル（例：Stable Video Diffusion、SVD）が2023年末に公開された。フレーム間の一貫性を保ちながら、テキストや静止画像から短い動画を生成できる。今後はより長尺で高解像度な動画生成や、リアルタイムインタラクションへの発展が期待される。
マルチモーダル統合
テキストと画像に加え、音声、3Dデータ、触覚情報などを同時に扱うマルチモーダルモデルへの統合が進んでいる。例えば、テキストで3Dモデルを生成したり、音声から画像を連想するシステムが研究されている。Stable Diffusionを基盤としたマルチモーダルアーキテクチャが、汎用AIの一部として機能する可能性がある。
リアルタイム生成の実現
現在のStable Diffusionは数秒から十数秒の生成時間を要するが、モデル軽量化（蒸留、量子化）や専用ハードウェアの開発により、リアルタイム生成が目指されている。特に、ゲームやライブパフォーマンス、インタラクティブアートにおいて、ユーザーの操作に即座に反応する画像生成が実現すれば、応用範囲が大きく広がる。