1 概念与定义
1.1 基本定义
生成模型是机器学习与统计建模中的一类模型，其核心目标是学习数据背后的概率分布，并据此生成新的样本。与仅用于分类或回归的模型相比，它不仅关心“输入对应什么输出”，还试图描述“数据是如何出现的”。
在实际应用中，生成模型可以从已有样本中抽取规律，进而合成新的文本、图像、音频或结构化数据。它既可用于模拟真实数据分布，也可用于创造具有一定合理性的全新内容。
1.2 与判别模型的区别
判别模型主要学习条件关系，即在给定输入时预测输出类别或数值。例如，识别一张图片属于哪一类，或判断一段文本的情感倾向。生成模型则更关注联合分布或数据分布本身，强调对样本来源的建模。
两者并非完全对立。很多系统会将判别与生成能力结合使用：前者负责识别和判断，后者负责合成和补全。这种组合在复杂任务中往往更具灵活性。
1.3 概率分布与样本生成
生成模型的基础是概率分布。模型在训练后，会形成对训练数据空间的近似描述，从而可以按照这一分布“采样”出新样本。换言之，生成过程本质上是从已学得的统计规律中抽取实例。
当模型对分布拟合得较好时，生成结果通常更接近真实数据的结构特征；若拟合不足，则可能出现失真、重复或不合理的输出。因此，分布学习的质量直接影响样本生成的效果。
1.4 历史背景
生成模型的思想可以追溯到早期统计学和概率论研究。随着机器学习的发展，相关方法逐渐从手工建模走向数据驱动建模，并在隐变量模型、贝叶斯方法与神经网络的推动下不断演进。
进入深度学习时代后，生成模型的能力显著增强。随着对抗生成网络、变分自编码器与扩散模型等方法相继出现，生成任务从简单的概率拟合扩展到高质量内容创造，应用范围也随之扩大。
2 理论基础
2.1 概率论基础
生成模型建立在概率论之上，尤其依赖随机变量、概率分布、条件概率与联合概率等概念。模型通过这些工具描述数据的可能性结构，并用概率解释观测结果的来源。
在这种框架下，样本不再只是孤立的数据点，而是某个分布的具体体现。模型学习的过程，就是逐步逼近真实分布的过程。
2.2 统计建模基础
统计建模强调利用有限样本推断总体规律。生成模型通常先假设某种数据生成机制，再通过观测数据估计其中的参数或结构。这一思路使模型能够从样本中概括出更一般的规律。
由于现实数据常常噪声较多、维度较高，统计建模在生成任务中往往需要兼顾表达能力与稳定性。模型既要足够灵活，也要避免过度拟合。
2.3 最大似然估计
最大似然估计是一种常见的参数学习方法，其目标是寻找使观测数据出现概率最大的模型参数。对生成模型而言，这意味着尽量让模型所描述的分布接近真实数据分布。
这种方法直观且适用面广，许多生成模型都以似然为优化目标。不过，在高维复杂场景中，直接计算似然有时并不容易，因此常需引入近似策略或变体方法。
2.4 贝叶斯推断
贝叶斯推断将参数视为具有不确定性的随机变量，通过先验分布与观测数据结合，得到后验分布。生成模型中，这一思想有助于表达参数的不确定性，并提升对复杂结构的建模能力。
相比单点估计，贝叶斯方法更强调不确定性刻画。它在样本较少、噪声较大或结构较复杂的场景下具有一定优势。
2.5 潜变量建模
潜变量建模假设数据的生成过程受到若干不可直接观测因素的影响。这些隐含因素被称为潜变量，模型通过它们解释表面上复杂多变的数据现象。
这种方法常用于图像、语音和序列数据建模，因为这些数据往往具有较强的内部结构。引入潜变量后，模型能够以更紧凑的方式表示数据生成机制。
2.5.1 潜在空间的含义
潜在空间是潜变量所构成的抽象表示区域。它通常反映了样本在语义、风格或结构上的相近关系。相近的潜变量点往往对应相似的生成结果。
在生成任务中，潜在空间常被视为“控制面板”。通过在其中移动或插值，可以观察生成样本如何随隐含因素变化。
2.5.2 可观测变量与隐变量
可观测变量是可以直接从数据中读取的部分，如图像像素、文本词序列或语音波形。隐变量则不能直接观测，但被假设为影响数据形成的重要因素。
两者的关系通常通过概率图结构或神经网络参数化表达。模型正是借助隐变量，将复杂数据分解为更容易处理的组成部分。
3 主要类型
3.1 显式生成模型
显式生成模型直接对数据分布或其近似形式进行建模，通常可以写出明确的概率表达。它们的训练目标往往与似然估计密切相关，因此具有较强的理论可解释性。
3.1.1 自回归模型
自回归模型将一个复杂对象分解为按顺序生成的多个步骤，每一步都依赖前面的已生成部分。文本生成中常见的语言模型便属于这一类。
这类模型结构清晰，适合处理序列数据，但生成过程通常是逐步展开的，因此在长序列或高分辨率场景下，速度可能受到限制。
3.1.2 变分自编码器
变分自编码器通过编码器与解码器结构，将输入映射到潜在变量空间，再由潜在表示重建或生成样本。它兼具表示学习与生成能力。
该方法通常使用变分推断近似后验分布，从而在保持可训练性的同时实现概率建模。其生成结果往往较平滑，适合学习数据的整体结构。
3.2 隐式生成模型
隐式生成模型不一定显式给出可计算的概率密度，而是通过采样过程直接产生数据。它们更强调生成效果与样本分布的逼近，而非显式公式本身。
3.2.1 生成对抗网络
生成对抗网络由生成器和判别器组成，两者在训练中相互竞争。生成器努力制造更逼真的样本，判别器则尝试区分真假数据。
这种对抗机制使模型在图像生成等任务中表现突出，能够产出细节丰富的结果。但训练过程可能较为敏感，对参数设置和优化稳定性要求较高。
3.2.2 基于采样的方法
基于采样的方法通过随机扰动、迭代更新或随机游走等策略，从隐式分布中逐步获得样本。它们常见于需要通过过程近似复杂分布的场景。
这类方法往往具有较好的表达灵活性，但计算代价可能较高，且对采样策略较为依赖。
3.3 能量 आधारित模型
能量模型通过定义一个能量函数来描述样本的“合理程度”。能量越低，样本越可能符合模型所学习的结构。
3.3.1 玻尔兹曼机
玻尔兹曼机是一类基于随机神经网络的能量模型，通过可见层与隐藏层之间的相互作用建模数据分布。它为深度生成建模提供了重要思路。
由于训练较为复杂，这类模型在早期主要用于探索性研究，但其思想对后续生成模型的发展影响明显。
3.3.2 受限玻尔兹曼机
受限玻尔兹曼机对网络结构作出限制，使可见层与隐藏层之间形成较简单的连接关系，从而便于训练与近似推断。它曾在表示学习与协同过滤等方向得到应用。
与更一般的能量模型相比，受限玻尔兹曼机更容易实现，但表达能力也会受到结构约束。
3.4 扩散模型
扩散模型通过逐步加噪和逐步去噪来学习数据分布，是近年来非常重要的一类生成方法。它通常将复杂生成过程拆解为多个连续的小步骤。
3.4.1 前向扩散过程
前向扩散过程会对原始数据逐步加入噪声，直到数据近似转化为简单的随机噪声。这个过程通常是固定的，不需要学习。
其作用在于构造一个容易处理的退化路径，使模型能够学习从噪声状态回到数据状态的映射。
3.4.2 反向去噪过程
反向去噪过程是模型真正学习的部分，即从噪声中逐步恢复出清晰样本。模型需要掌握每一步应该去除多少噪声、恢复哪些结构。
这一机制使扩散模型在高质量图像生成中表现突出，尤其适合细节丰富、纹理复杂的场景。
4 训练方法
4.1 似然优化
似然优化通过最大化训练样本在模型下出现的概率来调整参数，是许多生成模型的基本训练思路。它要求模型不断提升对观测数据的拟合程度。
在可计算似然的场景中，这一方法较为直接；若似然难以精确求得，则常需采用近似计算或替代目标。
4.2 变分推断
变分推断用于近似难以直接计算的后验分布。它通过构造一个易处理的分布族，并让其逼近真实后验，从而降低训练难度。
这一方法在潜变量模型中尤其重要，因为隐变量的后验通常难以解析表示。变分推断提供了可操作的优化路径。
4.3 对抗训练
对抗训练通过两个模型之间的博弈优化生成结果。生成器与判别器在竞争中共同提升，使生成样本逐渐逼真。
这种训练方式可以避免某些显式建模中的限制，但也更容易出现训练不平衡的问题，需要仔细调参。
4.4 采样与蒙特卡洛方法
当目标分布难以直接计算时，采样与蒙特卡洛方法可通过随机抽样近似期望或积分。它们在生成模型中常用于推断、估计和训练辅助。
这些方法具有较强的通用性，但往往需要较多样本才能得到稳定结果，因此计算成本可能较高。
4.5 去噪学习
去噪学习通过让模型恢复被扰乱的数据来学习数据结构。模型在处理噪声输入时，逐渐学会保留重要信息、去除随机扰动。
这一策略不仅在扩散模型中十分核心，也广泛出现在表示学习与鲁棒训练中。
5 生成机制
5.1 条件生成
条件生成是指在给定额外信息的情况下生成样本，例如类别标签、文本提示或其他结构化条件。它能显著提高生成的可控性。
5.1.1 类别条件生成
类别条件生成在指定类别约束下输出样本，如生成某种风格的图像或某一主题的文本。类别信息相当于一个生成方向的指引。
这种方式常用于需要明确控制输出类型的场景，便于用户根据需求获取目标结果。
5.1.2 文本条件生成
文本条件生成以文字描述作为输入，引导模型生成图像、视频、音频或其他内容。它是多模态生成中的重要形式。
由于文本天然具有语义概括能力，这种方法可以较灵活地表达复杂要求，因此应用范围较广。
5.2 无条件生成
无条件生成不依赖外部提示，而是直接从模型学得的分布中采样。这种方式更强调模型对整体数据规律的掌握。
其优点是流程简洁，但缺点是可控性较弱，输出结果更多依赖随机性与模型本身的分布质量。
5.3 序列生成
序列生成面向具有先后顺序的数据，如句子、音乐片段或动作轨迹。模型需要处理上下文依赖，并在每一步选择合适的后续元素。
这类任务要求模型对时间结构或语义连贯性有较强把握，因此常与自回归机制结合。
5.4 图像生成
图像生成是生成模型最具代表性的应用之一。模型可以根据噪声、条件信息或潜在表示合成全新图像，也可以完成补全、修复与风格迁移等任务。
图像任务通常对局部细节与整体结构都有较高要求，因此也是检验生成模型能力的重要领域。
5.5 多模态生成
多模态生成涉及两种或多种数据模态之间的联合创造，例如从文本生成图像、从图像生成描述，或同时生成语音与动作信息。
这类方法需要模型理解不同模态之间的对应关系，因此往往依赖更丰富的表征学习与对齐机制。
6 评估方法
6.1 似然指标
似然指标用于衡量模型对测试数据的拟合程度。若样本在模型下的概率较高，通常说明模型对数据分布的刻画更充分。
不过，似然高并不必然意味着生成内容在视觉或语义上更好，因此还需结合其他指标综合判断。
6.2 生成质量评估
生成质量评估关注输出是否真实、清晰、连贯且符合任务要求。对于图像而言，可能重视细节与结构；对于文本，则常看语法、语义和连贯性。
这类评估往往带有一定主观性，因此常配合自动指标与人工判断共同使用。
6.3 多样性评估
多样性评估用于检查模型是否能够产生不同而非重复的样本。高多样性通常意味着模型没有过度收缩到少数模板。
如果多样性不足，生成结果容易单调、相似，甚至出现模式坍缩现象。
6.4 人工评测
人工评测依赖观察者对生成结果进行主观打分或比较。它在语义合理性、审美效果和整体体验方面具有较强参考价值。
尽管成本较高，但在很多开放式生成任务中，人工评测仍是不可替代的补充手段。
6.5 常用评价指标
自动评价指标可以为模型比较提供统一尺度，但不同指标侧重点并不相同，因此通常需要结合具体任务理解其含义。
6.5.1 FID
FID用于衡量生成样本与真实样本在特征空间中的距离。数值越低，通常表示生成结果在分布上越接近真实数据。
它在图像生成领域应用广泛，能够较好反映整体质量与统计一致性。
6.5.2 IS
IS主要用于反映生成样本的可识别性与类别多样性。较高的分数通常意味着样本既清晰又具有一定变化。
不过，该指标并不适用于所有任务，且对某些细节并不敏感。
6.5.3 BLEU
BLEU常用于文本生成评估，主要衡量生成文本与参考文本之间的词级重合程度。它在机器翻译和摘要生成中较为常见。
由于其更偏重表层匹配，因此在开放式生成任务中，往往需要与其他指标联合使用。
7 应用领域
7.1 自然语言处理
在自然语言处理中，生成模型可用于对话、写作辅助、摘要生成、翻译和文本补全等任务。它们帮助系统生成更自然、更连贯的语言输出。
随着模型规模和训练数据的扩大，文本生成能力显著增强，也推动了智能助手与内容创作工具的发展。
7.2 计算机视觉
计算机视觉中的生成模型可用于图像合成、修复、超分辨率、风格转换和场景重建等。它们既可创造视觉内容，也可辅助理解图像结构。
在一些任务中，生成模型还能提供缺失信息的补全能力，提高视觉系统的鲁棒性。
7.3 音频与语音合成
生成模型在语音合成、声音转换和音乐生成中有广泛应用。它们可以学习声音的时间结构、频谱特征以及发音规律，从而输出自然流畅的音频。
与文本相比，音频生成更关注连续波形与节奏变化，因此对模型的时序建模能力要求较高。
7.4 科学计算
在科学计算中，生成模型可用于模拟复杂系统、近似未知分布或辅助数值分析。其用途包括分子结构生成、材料设计和物理过程建模等。
这类应用通常强调结果的物理合理性与约束一致性，因此模型设计往往更严谨。
7.5 数据增强
生成模型能够合成额外样本，用于扩充训练集，缓解数据不足问题。对于类别不平衡或稀有样本较少的任务，这种方式尤其有价值。
不过，增强数据的质量必须可靠，否则可能将噪声或偏差带入后续训练过程。
7.6 创意内容生成
在创意领域，生成模型可协助生成插画、文案、音乐片段、角色设定和剧情草案等。它们常被视为辅助创作工具，而非完全替代人工创作。
这类应用的特点是开放性强、风格变化多，适合展示模型的想象能力与组合能力。
8 代表性模型与方法
8.1 早期概率生成模型
早期生成方法主要基于概率统计与图模型，例如隐马尔可夫模型、朴素贝叶斯模型和主题模型等。它们为后来的深度生成研究奠定了理论基础。
这些方法结构清晰、可解释性强，但在高维复杂数据上的表达能力相对有限。
8.2 现代深度生成模型
现代深度生成模型将神经网络引入生成任务，大幅提升了表示能力与输出质量。对抗网络、变分自编码器和扩散模型都是其中的代表。
它们不仅能处理复杂视觉和文本数据，还能够学习更抽象的语义结构。
8.3 大规模预训练生成模型
大规模预训练生成模型通常先在海量语料或多模态数据上学习通用表示，再针对具体任务进行适配。它们在语言理解与内容生成方面表现突出。
这类模型往往具备较强的迁移能力和通用性，能够覆盖多种下游场景。
8.4 混合生成架构
混合生成架构结合了多种技术路线，例如把自回归、扩散、对抗或检索机制组合在一起，以兼顾效率、质量与可控性。
这种架构通常面向复杂任务设计，体现出工程实现与理论方法的交叉融合。
9 优势与局限
9.1 优势
生成模型能够学习复杂数据分布，并基于分布创造新样本，因此在内容生成、补全和模拟方面具有明显优势。它们还可与表示学习结合，提取更深层的结构信息。
此外，生成模型在数据稀缺、任务开放或目标多样的场景中尤其有用，具有较强的适应性。
9.2 局限性
生成模型的局限主要体现在训练成本高、结果不稳定以及评价困难等方面。对于高维数据，模型可能需要大量算力和数据支持。
同时，生成结果有时会出现偏差、重复或不符合预期的情况，说明模型并未完全学到真实分布的全部细节。
9.3 常见训练问题
生成模型在训练中常会遇到特定困难，这些问题可能影响收敛速度和最终效果。不同技术路线对应的典型难题也有所差异。
9.3.1 模式崩溃
模式崩溃是指模型只生成少数几种样本模式，缺乏多样性。这种现象在对抗训练中较常见，尤其当生成器过度迎合判别器时更容易出现。
9.3.2 训练不稳定
训练不稳定表现为损失震荡、收敛困难或性能忽高忽低。它通常与目标函数复杂、优化对抗或超参数敏感有关。
9.3.3 采样效率低
采样效率低意味着生成一个样本需要较多步骤或较长时间。这在自回归和部分扩散方法中尤为明显，可能限制其实时应用能力。
10 发展趋势
10.1 更高质量的生成
未来生成模型的重要方向之一，是进一步提升输出的真实感、细节丰富度与一致性。研究者通常希望模型在复杂场景中保持更稳定的视觉和语义表现。
10.2 更强的可控性
可控性意味着用户能够更准确地调节风格、内容、结构和约束条件。随着条件生成和提示交互的发展，模型将更容易按需生成。
10.3 更好的可解释性
可解释性是生成模型从“能用”走向“可理解”的关键一步。通过分析潜在空间、生成路径和内部表示，人们希望更清楚地知道模型为何生成某种结果。
10.4 与科学发现结合
生成模型正在逐步融入科学研究流程，用于提出候选结构、模拟复杂过程和辅助假设探索。这使其不再只是内容工具，也成为科学计算的辅助引擎。
10.5 未来研究方向
未来研究可能集中在高效采样、跨模态统一建模、低资源学习、稳健性提升和人机协同生成等方向。随着方法不断融合，生成模型有望在通用智能系统中承担更重要的角色。