1 基本概念
去噪得分匹配是一种通过人为加入噪声来学习数据分布梯度信息的方法。它不直接要求模型拟合原始数据的显式概率密度，而是让模型在带噪样本上预测“朝向更高概率区域”的方向，从而间接恢复分布结构。由于这种思路兼具可训练性与理论可分析性，DSM在概率建模与生成任务中被广泛采用。
1.1 定义
去噪得分匹配通常将原始数据与噪声混合，构造一个更平滑的扰动分布，再训练模型估计其得分函数。这里的“去噪”并不一定意味着完全复原样本本身，更常指恢复样本在概率空间中的局部上升方向。
1.1.1 得分函数的含义
得分函数一般指概率密度对数的梯度，即分布在某一点处变化最快的方向。它反映了样本在当前空间位置上更可能向哪里移动。对于数据建模而言，得分函数提供了比密度值更直接的局部几何信息，因此适合用作学习目标。
1.1.2 去噪思想的来源
去噪思想源于统计学习中的恢复问题：当观测值被随机扰动后，若能从噪声样本中推断原始结构，就能够学到数据的内在规律。DSM将这一思想转化为概率建模任务，使模型不必逐点记忆原始数据，而是在扰动后学习其稳定特征。
1.2 方法目标
DSM的目标是从噪声样本中恢复出数据分布的梯度信息，并使模型在未知样本上也能提供合理的得分估计。它将“估计密度”这一较难问题转化为“预测方向”这一更易优化的问题。
1.2.1 逼近数据分布梯度
方法的核心任务是学习真实数据分布在各位置的变化趋势。若模型能够准确给出这些方向，就能在生成、采样或异常识别等任务中利用该信息进行进一步处理。
1.2.2 降低显式密度估计难度
许多高维分布难以直接写出或计算归一化常数。DSM通过回避对完整密度的显式建模，减少了训练中的计算障碍，使复杂分布的学习更具可操作性。
1.3 与传统得分匹配的关系
DSM可视为传统得分匹配的一种改写或增强形式。两者都以得分函数为学习对象，但DSM借助噪声构造更易处理的目标函数，从而在数值稳定性和实践效果上通常更具优势。
1.3.1 原始得分匹配
原始得分匹配直接基于数据分布的得分函数构造优化目标，常用于无显式密度模型的训练。其理论形式较为简洁，但在高维场景下容易遇到计算复杂、梯度不稳定等问题。
1.3.2 去噪得分匹配的改进点
DSM通过加入噪声生成条件化训练样本，使目标函数能够转化为与重建相关的回归形式。这样做不仅便于实现，也常使训练过程对数据稀疏性和局部极值更不敏感。
2 理论基础
DSM建立在概率论、梯度分析与噪声建模等基础之上。其理论关键在于：噪声扰动后的分布具有更平滑的结构，而平滑分布的得分函数更易估计。
2.1 概率论基础
DSM默认数据来自某个未知分布，并通过扰动后的样本来近似研究该分布的局部性质。
2.1.1 概率密度与对数密度
若一个随机变量具有概率密度，那么其对数密度常比密度本身更便于分析。因为对数变换可以把乘法关系转化为加法关系，也能将某些归一化常数从梯度中消去。
2.1.2 梯度与得分函数
对数密度的梯度刻画了分布在空间中的上升方向。若某点的得分向量较大，通常表示该位置附近存在更高的概率集中趋势。DSM就是围绕这一量进行学习的。
2.2 噪声建模
噪声是DSM中的核心工具。通过对样本施加随机扰动，原本复杂甚至尖锐的分布会变得更平滑，便于模型学习。
2.2.1 高斯噪声扰动
最常见的做法是向数据加入高斯噪声。由于高斯分布具有良好的数学性质，加入后得到的条件分布通常容易推导，训练目标也能写成相对简单的形式。
2.2.2 噪声强度与分布平滑
噪声越强，分布通常越平滑，但原始细节也越容易被抹去；噪声越弱，则更接近真实数据，却可能使训练更难。因而噪声强度在实践中常需要折中选择。
2.3 目标函数推导
DSM的训练目标一般可从最小化预测误差的角度推出，并与条件期望关系紧密。
2.3.1 最小化重建误差的形式
训练时常让模型预测噪声方向、残差，或与之等价的得分量，再通过平方误差等形式进行优化。这类目标本质上是一个监督回归问题，只是监督信号来自人为构造的扰动过程。
2.3.2 与条件期望的联系
在给定带噪输入时，最优预测往往对应某种条件期望。也就是说，模型并不是直接记忆每个样本的原值，而是在统计意义上逼近噪声条件下的平均恢复方向。
2.3.3 变分视角
从变分角度看，DSM可以解释为在某个函数空间中寻找最优近似，使模型分布与真实扰动分布之间的差异尽可能缩小。这一视角有助于理解其与能量建模、散度最小化之间的联系。
3 算法与实现
DSM的实现通常遵循“采样、加噪、预测、优化”的循环。虽然整体流程并不复杂，但在噪声设计、网络结构与训练稳定性上存在不少细节。
3.1 训练流程
训练过程本质上是让模型适应不同噪声水平下的恢复任务。
3.1.1 数据采样
首先从训练集抽取原始样本，作为噪声注入的基础。采样方式通常与普通深度学习任务类似，可采用随机小批量读取。
3.1.2 噪声注入
随后根据预设噪声分布对样本进行扰动，形成带噪输入。不同噪声等级往往对应不同训练难度，模型需要在多个扰动尺度上保持一致的预测能力。
3.1.3 网络预测与损失计算
模型接收带噪样本及相关噪声条件后，输出得分估计或重建量，并与目标值计算损失。优化器据此更新参数，使预测逐步贴近真实恢复方向。
3.2 模型结构
DSM通常依赖神经网络参数化得分函数，尤其适合处理图像、音频等高维数据。
3.2.1 神经网络参数化
网络的任务是近似一个复杂的函数映射，将带噪输入转换为得分估计。常见结构包括多层感知机、卷积网络及其改进版本，具体选择取决于数据类型。
3.2.2 多尺度噪声条件输入
为了适应不同强度的扰动，模型往往将噪声水平作为条件输入。这样一来，同一网络便可覆盖多个尺度的恢复任务，而不必为每个噪声等级分别训练独立模型。
3.3 训练技巧
DSM在实践中常需要若干技巧来增强收敛性和泛化表现。
3.3.1 噪声调度策略
噪声可以按固定区间采样，也可以采用逐步变化的调度方案。合理的调度有助于兼顾粗粒度结构学习与细节恢复，避免模型只适应单一尺度。
3.3.2 损失加权方法
不同噪声层级对学习的贡献并不相同，因此常对损失项进行加权。加权机制能够避免高噪声样本或低噪声样本在训练中占据过大比重。
3.3.3 稳定性与收敛性处理
为了提升稳定性，训练中常配合梯度裁剪、归一化、学习率调整等方法。对于高维任务，这些手段有助于减少震荡并改善最终拟合效果。
4 数学性质
DSM具有若干重要数学特征，其中包括得分估计的可识别性、噪声带来的平滑作用，以及在极限情况下的行为变化。
4.1 可识别性
在合适条件下，DSM所学习的目标函数与真实得分之间存在明确对应关系。
4.1.1 得分函数近似的唯一性
若模型容量足够且优化充分，最优解通常对应唯一的统计意义上的近似结果。也就是说，在相同扰动机制下，理想模型应收敛到相同的得分估计方向。
4.1.2 误差来源分析
实际误差可能来自有限样本、模型表达能力不足、噪声设定偏差以及优化未充分收敛等因素。它们会共同影响得分估计的精度。
4.2 平滑与正则化效果
加入噪声不仅改变训练任务，也会改变目标分布的性质。
4.2.1 噪声带来的分布平滑
扰动会抹平局部尖峰，使原本复杂的分布变得更连续、更规整。这样一来，模型学习到的得分往往更稳定，也更不容易陷入对个别样本的过拟合。
4.2.2 对泛化性能的影响
平滑后的学习目标通常比直接拟合原始数据更具泛化性。原因在于模型学习的是局部统计结构，而非单点记忆，因此在未见样本上往往表现更稳健。
4.3 极限情形
当噪声强度极端变化时，DSM的行为也会出现明显差异。
4.3.1 噪声趋近于零
在噪声很小的情况下，DSM会逐渐接近直接学习原始数据分布的局部梯度。但此时训练也可能更敏感，数值稳定性往往下降。
4.3.2 大噪声下的行为
当噪声过大时，样本与原始数据的对应关系变弱，模型更容易学习到过于粗糙的统计趋势。虽然这样有助于形成全局结构，但细节信息会明显减少。
5 相关方法
DSM与多种统计学习和生成建模方法存在密切联系，其中最重要的是传统得分匹配、扩散模型和去噪自编码器。
5.1 一般得分匹配
DSM可以看作得分匹配家族中的一个分支。
5.1.1 Hyvärinen得分匹配
Hyvärinen得分匹配是一类经典方法，其思想是不依赖归一化常数来学习得分函数。DSM在工程上更易实现，也常被视为其噪声化版本。
5.1.2 Fisher散度视角
从Fisher散度角度看，得分匹配是在最小化模型与真实分布在梯度层面的差异。DSM保持了这一核心目标，只是通过噪声引入使计算过程更平滑。
5.2 扩散模型
DSM与扩散模型关系尤为紧密，许多现代生成方法都建立在类似的去噪目标上。
5.2.1 前向扩散过程
前向扩散通常指逐步向数据添加噪声，使样本从清晰结构过渡到近似随机状态。DSM中的单步或多步噪声训练，与这一过程在思想上非常接近。
5.2.2 反向生成过程
反向过程则从噪声中逐步恢复样本。得分网络在其中提供方向指引，帮助采样朝更高概率区域移动，因此DSM可视为反向生成建模的重要基础。
5.3 去噪自编码器
去噪自编码器与DSM在形式上存在相似性，二者都利用受损输入重建原始结构。
5.3.1 表示学习联系
去噪自编码器侧重学习有用表示，而DSM侧重学习概率梯度。尽管目标不同，但两者都强调从噪声中抽取稳定特征，因此在表征层面有一定共通性。
5.3.2 重建任务类比
如果把DSM看作一种特殊的重建任务，那么模型输出并非像素或特征本身，而是恢复方向或得分。这个类比有助于理解其训练直觉。
6 应用领域
DSM主要用于生成建模、密度估计和异常检测等场景，尤其适合高维、复杂且难以直接参数化的数据。
6.1 生成建模
DSM在生成任务中常作为学习样本分布结构的基础模块。
6.1.1 图像生成
在图像场景中，DSM能够学习像素空间中的概率结构，为后续采样提供方向信息。它特别适合细节丰富、分布复杂的视觉数据。
6.1.2 语音与音频生成
对于语音和音频，DSM可用于建模时序信号的局部统计规律。噪声恢复式训练有助于提升生成样本的连续性与自然度。
6.2 概率密度估计
DSM常被用于对隐式分布进行间接建模。
6.2.1 隐式分布建模
当分布无法显式写出时，得分函数常比密度值更易近似。DSM正是通过学习这一隐式信息来实现概率建模。
6.2.2 低归一化代价模型
某些模型不方便计算归一化常数，而DSM可以绕开这一难点。因此它经常出现在能量模型与无归一化概率模型的训练框架中。
6.3 异常检测
DSM学习到的局部概率结构也可用于识别偏离正常模式的样本。
6.3.1 得分异常分数
若某个样本落在低概率区域，其得分特征往往与常规数据不同。基于这种差异，可以构造异常分数进行筛查。
6.3.2 噪声鲁棒性应用
由于DSM本身就基于噪声扰动，相关方法在处理轻度污染数据时往往较稳健。这使其在存在测量误差或信号波动的场景中具有一定实用性。
7 优缺点
DSM兼具理论简洁和工程可行性，但也存在计算负担和超参数敏感等问题。
7.1 优点
DSM最突出的优点在于可训练性强，并且适合处理复杂高维分布。
7.1.1 训练目标可优化
相比直接估计完整密度，DSM的回归式目标更容易用标准优化方法处理。其损失函数通常清晰、稳定，便于与深度学习框架结合。
7.1.2 适合高维复杂数据
在图像、音频、序列等高维数据上，DSM往往比显式密度模型更具适应性。它不要求分布形式过于规则，因此能够覆盖更丰富的数据形态。
7.2 局限性
尽管DSM很有用，但实际应用中仍存在若干限制。
7.2.1 噪声超参数敏感
噪声大小、噪声分布和调度策略都会显著影响结果。若设置不当，模型可能学到过粗或过细的结构，进而影响生成与估计质量。
7.2.2 计算成本较高
在多噪声层级训练或大规模生成采样时，DSM往往需要较多算力。特别是在高分辨率数据上，训练和推断都可能较耗时。
7.2.3 结果解释性有限
虽然DSM能给出得分方向，但这些向量并不总能直接转化为直观解释。对于复杂数据，模型内部学到的结构仍较难完全可视化。
8 历史与发展
DSM的发展与统计物理、信息论以及现代深度生成模型的演进密切相关。
8.1 早期研究背景
得分匹配思想并非凭空出现，而是建立在对分布局部结构研究的长期积累上。
8.1.1 统计物理与信息论影响
在统计物理和信息论中，分布梯度、能量函数和熵的概念长期被用于刻画系统状态。DSM吸收了这些思想，将其转化为可训练的机器学习框架。
8.1.2 得分匹配方法的提出
传统得分匹配为DSM提供了直接理论基础。随后研究者发现，通过噪声化处理可以大幅改善训练形式，于是去噪版本逐渐成为主流。
8.2 现代发展
随着深度学习兴起，DSM被进一步扩展到更复杂的数据和更大规模的模型中。
8.2.1 与深度学习结合
神经网络使得得分函数的高维近似成为可能，也让DSM从理论方法转变为可用于大规模任务的实践工具。卷积结构、残差结构和条件输入机制都促进了这一过程。
8.2.2 在扩散生成中的推广
DSM思想后来被广泛纳入扩散生成框架，成为现代生成模型的重要组成部分。通过多步去噪学习，模型可逐渐从随机噪声中构造出高质量样本。
8.3 代表性研究方向
当前围绕DSM的研究主要集中在训练效率、采样速度和多尺度表示上。
8.3.1 多噪声级训练
多噪声级训练通过在不同扰动强度下联合学习，提高模型对各层级结构的适应性。这类方法已成为许多生成模型的标准配置。
8.3.2 采样效率改进
由于得分模型常需多次迭代才能生成样本，因此如何减少采样步数一直是重要方向。相关研究包括更高效的数值求解、蒸馏策略以及改进的反向过程设计。