1 图像生成的基本概念
1.1 定义与范畴
图像生成是指利用计算机算法、数学模型或深度学习技术，从无到有地创建或合成视觉图像的过程。其核心在于通过编程或学习方式定义像素的排列规律，而非简单复制或修改已有图像。范畴涵盖从传统计算机图形学中的几何渲染（如光线追踪）到近年兴起的基于神经网络的生成模型，输出结果可以是抽象图案、卡通插画乃至以假乱真的照片级图像。
1.2 图像生成的分类
1.2.1 基于规则和几何的生成
此类方法依赖明确的数学公式、几何规则或物理模拟来构建图像。例如，使用分形算法生成自相似图案，通过粒子系统模拟火焰或烟雾，或者利用三维建模软件渲染多边形网格物体。其特点为可控性强、过程可解释，但难以生成高度复杂的自然场景或细节丰富的纹理。
1.2.2 基于数据驱动的生成
数据驱动方法从大量图像样本中学习潜在分布，再根据随机噪声或条件输入（如文本、标签）生成新图像。代表性技术包括生成对抗网络、扩散模型和自回归模型。这类方法擅长捕捉真实世界的复杂统计规律，能够创造训练集中不存在但风格逼真的图像，但训练成本高、黑箱性较强。
1.3 图像生成 vs. 图像编辑 vs. 图像增强
- 图像生成：从零开始创建图像，输入通常为噪声、文本或参数，输出为全新像素矩阵。
- 图像编辑：对已有图像进行局部或全局修改，如替换物体、调整颜色、添加滤镜，保留原图基本结构。
- 图像增强：改善现有图像的视觉质量，如去噪、超分辨率、对比度拉伸，不改变图像内容语义。
三者常组合使用，例如先由生成模型创建基础草稿，再通过编辑和增强工具完善细节。
2 图像生成的核心技术
2.1 生成对抗网络（GAN）
2.1.1 基本架构：生成器与判别器
GAN由两个神经网络——生成器（Generator）和判别器（Discriminator）——通过对抗训练组成。生成器尝试将随机噪声转化为逼真图像，判别器则区分真实图像与生成图像。二者相互博弈：生成器力求“骗过”判别器，判别器力求“识破”伪造。最终生成器能够输出接近真实分布的图像。该过程可类比为“伪造者”与“鉴定家”的竞争。
2.1.2 常见变体（如DCGAN、StyleGAN）
- DCGAN：引入卷积层替代全连接层，通过批量归一化和特定激活函数（如ReLU、Leaky ReLU）稳定训练，成为图像生成的基础架构。
- StyleGAN：通过中间潜在空间和自适应实例归一化（AdaIN）实现更精细的风格控制，支持调节照片的纹理、面部特征等风格属性，广泛应用于人脸生成。
- CycleGAN：无需成对训练数据即可实现图像域转换，如将普通照片转换为梵高风格画作。
2.1.3 训练挑战：模式崩溃与收敛问题
- 模式崩溃：生成器只会输出少数几种相似图像（如仅生成特定角度的人脸），无法覆盖真实数据分布的多样性。原因包括判别器过早过强或生成器陷入局部最优。
- 收敛问题：对抗训练本身不稳定，损失函数震荡，难以找到纳什均衡。解决方案包括使用Wasserstein损失（WGAN）梯度惩罚、谱归一化等技术。
2.2 扩散模型（Diffusion Models）
2.2.1 前向扩散过程与反向去噪
扩散模型通过两个阶段工作：
- 前向扩散：逐步向原始图像添加高斯噪声，经过若干步后图像完全变成随机噪声。该过程通常由一系列马尔可夫链定义。
- 反向去噪：训练一个神经网络预测每一步添加的噪声，然后从纯噪声开始，逐步去除噪声，最终还原为一张清晰图像。可视为“学会如何倒放破坏过程”。
2.2.2 代表性模型（如DDPM、Stable Diffusion）
- DDPM：去噪扩散概率模型，奠定了通过逐步去噪生成高质量图像的方法基础，但采样速度较慢（需数千步）。
- Stable Diffusion：将扩散过程压缩到潜在空间而非像素空间进行，大幅降低计算量，并支持文本条件控制，成为当前最广泛使用的开源图像生成模型之一。
2.2.3 潜在空间扩散与采样加速
潜在空间扩散将图像编码为低维潜在特征（如使用VAE压缩），在隐空间中执行扩散和去噪，再解码为像素图。此举显著降低内存和计算需求。采样加速技术包括DDIM（去噪扩散隐式模型）和LCM（潜在一致性模型），可将采样步数从1000步压缩至4-8步，实现接近实时的生成。
2.3 自回归模型与变换器
2.3.1 基于像素序列的生成
自回归模型将图像视为一个像素序列（通常按光栅扫描顺序排列），逐个预测每个像素的取值。训练时，模型根据已生成的所有先前像素来估计当前像素的概率分布。该方法虽然原理简单，但序列长度巨大（如256×256图像有65536个像素），计算成本极高。
2.3.2 DALL-E、ImageGPT等模型原理
- DALL-E：对图像进行离散化编码（如VQ-VAE将图像压缩为离散token序列），然后使用变换器（Transformer）架构基于文本token预测图像token，实现文本到图像的跨模态生成。
- ImageGPT：仅使用变换器在大量无标注图像上进行自回归预训练，学习图像的全局与局部模式，随后可用于生成或下游任务。
2.4 神经风格迁移与纹理合成
神经风格迁移利用预训练的卷积神经网络（如VGG）分离图像的内容与风格特征。风格通常通过Gram矩阵表示纹理和颜色分布，内容通过高层语义特征表示。优化过程使生成图像在内容上接近目标，在风格上匹配参考图像。纹理合成则专注于生成无限延伸且视觉一致的随机纹理，常用于游戏和影视中的地面、墙面材质。
2.5 变分自编码器（VAE）与条件生成
VAE通过编码器将图像映射到潜在空间的正态分布，再通过解码器从采样点重建图像。由于潜在空间具有连续性，可通过对潜在向量插值生成平滑过渡的图像。条件生成在训练或推理时引入额外信息（如类别标签、文本描述、草图），使生成结果满足特定约束，例如“生成一只带有红色围巾的猫”。条件GAN和条件扩散模型均属于此范畴。
3 图像生成的应用领域
3.1 数字媒体与艺术创作
3.1.1 AI绘画与设计辅助
艺术家和设计师利用AI工具（如Midjourney、DALL-E 3、Stable Diffusion）快速生成灵感草图、配色方案或海报初稿。用户仅需输入文本描述或涂抹简单色块，即可获得多个选项，极大缩短创作前期调研时间。部分平台还支持在生成图基础上进行局部重绘、扩图等编辑操作。
3.1.2 数字角色与场景概念图
游戏和影视项目中，概念设计师常用图像生成工具快速探索角色造型、服饰细节或环境氛围。例如，指定“赛博朋克风格的女战士”可生成数十个候选方案，设计师再选取或融合细化。该方法已在《赛博朋克2077》等作品的早期设计阶段被采用。
3.2 游戏与影视制作
3.2.1 纹理与资产自动生成
游戏开发中，大量重复纹理（石头、墙壁、草地）通过生成模型（如GAN或扩散模型）批量创建，减轻美术人员的重复劳动。程序化生成结合AI可产出无限多样的地形、植被和建筑外观。一些工具现已集成至Unity、Unreal Engine等主流引擎。
3.2.2 特效与虚拟环境构建
影视特效团队使用生成模型填补缺失帧、创建虚拟背景或模拟天气现象（如雨、雪、云层）。虚拟制片中，AI可实时生成LED墙上的动态环境，配合摄影机运动实现沉浸式拍摄。例如，Disney的《曼达洛人》曾使用实时生成背景技术。
3.3 医疗与科学可视化
3.3.1 医学影像增强与修复
扩散模型和GAN被用于去除MRI或CT图像中的噪声、提高分辨率或从欠采样数据中重建完整图像，帮助医生更清晰地观察病灶。此外，生成模型可根据现有病历数据创建模拟病灶图像，用于训练诊断模型，解决稀有病例数据不足的问题。
3.3.2 微观结构模拟
在材料科学和生物学中，生成模型能够基于真实微观图像（如细胞切片、纳米材料电镜图）学习其形态分布，然后合成任意数量的虚拟样本。这些仿真数据可用于训练分析算法或验证新理论假设，避免重复昂贵实验。
3.4 工业与商业设计
3.4.1 产品外观生成
设计师输入产品基础形态（如鞋子轮廓），生成模型可输出多种配色、材质和纹理组合，辅助决策。汽车行业已尝试使用生成对抗网络探索新型车灯造型或内饰面板图案。某些平台允许用户自然语言描述“未来主义办公椅”，即可获得候选3D渲染图。
3.4.2 广告素材与包装设计
品牌方使用AI生成多种风格的广告海报、社交媒体配图或产品包装方案，进行A/B测试以选择最优版本。例如，在电商平台上，为同一件商品生成不同背景和光影效果的营销图，可显著提升点击率。这降低了外包设计和摄影师的时间成本。
4 图像生成的评价与伦理
4.1 生成质量评估指标
4.1.1 感知质量（FID、IS）
- FID：弗雷歇初始距离，计算真实图像与生成图像在预训练网络（如Inception v3）特征空间中的分布距离，值越小表示图片越逼真且风格接近真实。FID对局部细节和全局结构均敏感。
- IS：初始分数，衡量生成图像的清晰度（单一类别概率高）和多样性（类别分布均衡）。IS高说明图像内容可识别且种类丰富，但无法反映与真实数据的语义差距。
4.1.2 多样性（LPIPS、多样性分数）
- LPIPS：学习感知图像块相似度，通过深度网络比较两幅图像块的局部结构差异。在评估多样性时，生成大量样本两两计算LPIPS，平均距离越大表示样本间差异越明显。
- 多样性分数：通过统计生成图像中重复或近似的模式比例来衡量。例如，对同一文本条件生成100张图，若60张面部朝向相同，则认为多样性不足。
4.2 版权与原创性争议
训练数据常包含受版权保护的艺术作品或摄影作品，模型生成的图像可能复现原作的风格甚至局部图案。当前法律体系对AI生成内容的版权归属尚无定论：部分司法管辖区域认为AI作品不可版权，另一些则确认“人类创造性参与”是关键。此外，使用他人风格生成商业用途图像可能涉及侵权，需依靠合法的训练数据授权或风格转移技术的“实质性改造”声辩。
4.3 深度伪造（Deepfake）风险与检测
高保真生成模型可制造极为逼真的人脸替换视频或虚假新闻图片，用于诈骗、诽谤或政治操纵。检测技术包括分析面部微表情不一致、眨眼频率异常、光影方向矛盾等特征，并开发基于深度学习的数据指纹（如嵌入不易察觉的检测水印）。监管层面，多国已立法要求AI生成内容标注来源。
4.4 可解释性与公平性
- 可解释性：多数生成模型（尤其是深度神经网络）是“黑箱”，难以解释为何生成特定图像。研究尝试可视化模型内部注意力权重或噪声梯度，以揭示其决策依据。
- 公平性：训练数据集若存在种族、性别、地域偏差，生成模型会固化或放大这些偏见。例如，提示“医生”可能输出白人男性形象，暗示“上班族”多为西装革履者。缓解方法包括平衡数据集、引入去偏正则化和采用公平性评估基准。
5 未来趋势与挑战
5.1 多模态融合生成
未来模型将同时处理文本、图像、音频、3D几何甚至触觉信号，实现跨模态创作。例如，输入一段文字描述即可生成匹配的3D物体、叙事视频或多语言配音。目前Google的VideoPoet和OpenAI的Sora已初步探索文字到视频生成，但精细控制与长时一致性仍是瓶颈。
5.2 实时与交互式生成
随着扩散模型采样加速和边缘计算发展，用户将能在浏览器或移动设备上实时调整生成效果，如拖拽单反相机视角、临场修改场景光照。游戏和VR领域尤其渴望这种“即想即现”的能力，以减少预渲染开销并增强沉浸感。
5.3 模型压缩与边缘部署
当前大型生成模型参数达数十亿，适配手机或物联网芯片需进行知识蒸馏、量化、剪枝等压缩操作。同时，分布式推理和端上缓存技术可降低云服务延迟，使更多用户在离线环境中使用生成功能。这也对隐私保护有利——敏感输入无需上传云端。
5.4 可控性与精细调控
用户往往需要微调生成图像的局部细节（如“改变人物手势而不动背景”），或指定高度精确的几何形状与材质属性。当前模型（尤其是扩散模型）在此类细粒度控制上仍显笨拙，常出现过拟合或伪影。未来模型需发展更强的空间感知能力和结构引导机制，例如结合手绘稿、分割图或物理约束进行条件生成。