1 基本概念
1.1 定义与核心思想
稀疏表示是指用尽可能少的非零系数来表达一个信号、样本或对象。其基本出发点是：在合适的表示空间中，原本看似复杂的数据往往只需要少量“原子”即可近似重构。由此，稀疏表示不仅能压缩信息，还能突出数据中最有代表性的结构。
在实际应用中，这种表示方法常常写成一个线性组合问题，即用少数几个基向量加权叠加来逼近目标。由于参与组合的系数很少，模型通常更容易计算，也更利于提取特征、抑制噪声和发现隐藏规律。
1.2 稀疏性与稠密性
稀疏性强调“少而有效”，即大部分系数为零或接近零；稠密性则表示多数系数都具有显著数值。二者并非绝对对立，而是描述表示方式在信息分布上的不同状态。
在很多真实数据中，原始观测可能是稠密的，但换到合适的字典后却呈现稀疏结构。例如，自然图像在小波域中常能用少量系数表示，而语音信号在时频域里也常具有局部稀疏性。这种性质是稀疏表示得以广泛使用的基础。
1.3 表示基与字典
表示基或字典决定了数据如何被分解与重构。基通常是固定的标准集，而字典则更强调用于表示的原子集合，可以由人工设计，也可以通过数据学习得到。字典的选择直接影响稀疏程度和重建质量。
1.3.1 正交基
正交基中的各个基向量彼此正交，具有良好的数学性质，便于分解和恢复。常见例子包括傅里叶基、余弦基和某些小波基。由于基向量之间相互独立，表示过程通常较为稳定，计算也相对简洁。
不过，正交基的表达能力有时有限，面对边缘、纹理或局部突变等复杂结构时，可能无法达到足够高的稀疏性。这也是后来过完备字典受到重视的重要原因。
1.3.2 过完备字典
过完备字典指字典原子数量多于信号维度的字典。它允许同一个数据对象有多种稀疏表示方式，因此在建模上更灵活，也更适合刻画复杂模式。通过增加候选原子，系统往往能找到更贴近数据结构的表示。
与此同时，过完备性也会带来求解上的不唯一性和计算上的复杂性，因此通常需要额外的稀疏约束来筛选最合适的组合。字典学习就是在这一背景下发展起来的重要方法。
1.4 稀疏度度量
稀疏度度量用于衡量一个表示到底“有多稀疏”。不同度量方式对应不同的理论分析和计算策略，也影响模型的可解性与稳定性。
1.4.1 L0范数
L0范数通常用于表示向量中非零元素的个数。它直接对应稀疏性的直观定义，因此最能反映“用了多少个原子”。
但L0范数优化往往是组合型问题，计算代价高，通常难以在大规模场景中直接求解。因此，实际应用中常会采用其可计算的近似替代。
1.4.2 L1范数
L1范数是稀疏表示中最常见的替代指标之一，它等于各分量绝对值之和。与L0相比，L1更容易进行优化，且在很多条件下能够产生稀疏解。
由于L1范数具有凸性，它在理论分析和算法设计上都较为成熟。许多经典恢复模型、压缩感知方法和正则化方案都建立在L1惩罚之上。
1.4.3 近似稀疏
近似稀疏是指数据并非严格只有少数非零项，而是大多数系数很小，只有少数较大。这种情形在真实信号中十分常见，因此比理想化的严格稀疏更具普遍性。
近似稀疏模型通常认为，小系数可以视作噪声或弱信息，而主要结构由少量主导项决定。它在重建误差分析和实际工程处理中都具有重要意义。
2 数学基础
2.1 线性代数基础
稀疏表示的核心建立在线性代数之上，尤其涉及向量、矩阵、线性组合与分解等内容。理解这些基础概念，有助于把“少量原子重构数据”的思想具体化。
2.1.1 向量空间
向量空间提供了稀疏表示的基本载体。一个信号可被看作高维空间中的向量，而字典原子则是空间中的参考方向。通过线性组合，可以在该空间中近似定位目标向量。
在这一框架下，表示问题本质上是在寻找一组合适系数，使目标向量与字典生成的子空间尽可能接近。空间结构越合适，稀疏性通常越容易显现。
2.1.2 矩阵分解
矩阵分解常用于将复杂数据拆解为若干简单成分。稀疏表示中的字典学习、低秩分解和成分分析等方法，都与矩阵分解思想密切相关。
通过分解，数据矩阵可以被表示为若干基矩阵与系数矩阵的乘积。若其中一个系数矩阵具有稀疏结构，则可使模型更具解释性，也更利于计算和压缩。
2.2 优化理论基础
稀疏表示通常被转化为一个优化问题：在满足重建误差要求的前提下，让表示尽可能稀疏。为此，需要借助约束优化、正则化等工具。
2.2.1 约束优化
约束优化是在一定条件限制下寻找最优解的方法。稀疏表示中常见的做法是，将重建误差控制在阈值内，同时最小化稀疏代价。
这类问题既可能有等式约束，也可能有不等式约束。不同约束形式会影响求解难度和结果形态，因此在建模时需要结合数据特点进行权衡。
2.2.2 正则化方法
正则化通过在目标函数中加入惩罚项，抑制过拟合并引导解的结构。对于稀疏表示而言，L1惩罚是最典型的正则化形式之一。
正则项不仅能控制模型复杂度，还能在噪声存在时提升稳定性。许多实际算法都将重建误差与稀疏惩罚组合起来，形成统一的优化框架。
2.3 凸优化与非凸优化
稀疏表示问题既有凸优化形式，也有非凸优化形式。凸问题更易分析和求解，而非凸问题通常更贴近原始稀疏目标，但计算上更复杂。
2.3.1 L1最小化
L1最小化是稀疏表示中最重要的凸优化形式之一。它通过最小化系数绝对值之和来鼓励稀疏解，同时保持问题的良好可解性。
由于凸性，L1最小化通常能得到全局最优解，并且在一定条件下与L0稀疏解具有一致性。这使其成为理论研究和工程实现中的主流工具。
2.3.2 稀疏约束问题
稀疏约束问题直接要求解中非零项数量不超过某个阈值。这类问题更贴近稀疏性的原始定义，但一般属于非凸优化，求解难度较高。
在实践中，常通过贪婪搜索、松弛技巧或迭代近似方法来处理。不同策略在速度、精度和稳定性之间各有侧重。
3 稀疏表示模型
3.1 线性稀疏表示
线性稀疏表示是最基本的模型形式，即假设数据可以由字典原子的线性组合构成。若系数足够稀疏，就可以用少量原子重建原始对象。
该模型结构清晰，便于分析，因此被广泛用于图像、语音和通用特征建模。很多后续方法都以它为基础进行扩展。
3.2 非线性稀疏表示
非线性稀疏表示放宽了纯线性组合的限制，引入核方法、流形结构或更复杂的映射关系，以适应数据中更强的非线性特征。它适合处理传统线性模型难以刻画的模式。
这类方法通常更灵活，但模型训练和解释往往也更复杂。实际使用时，需要在表达能力与可计算性之间进行平衡。
3.3 低秩与稀疏联合模型
低秩与稀疏联合模型把全局结构与局部异常区分开来：低秩部分描述主要背景或整体趋势，稀疏部分则表示异常、遮挡或离群成分。该思路在图像和数据分解中很常见。
3.3.1 低秩分解
低秩分解利用矩阵秩较低这一性质，把数据拆成少数几个主导成分。它适合表征具有强相关性和重复结构的数据，如背景相似的图像序列。
与稀疏表示结合后，低秩分解可帮助识别主结构，而稀疏部分则用于捕捉局部变化，从而提高分解效果。
3.3.2 鲁棒表示模型
鲁棒表示模型强调对噪声、遮挡和异常值的抵抗能力。它通常将稀疏项纳入建模，用以吸收不规则扰动，避免主要结构被干扰。
这种模型特别适用于数据质量不稳定或存在明显异常的场景。其目标不是完全消除误差，而是将误差限制在可解释范围内。
3.4 概率稀疏模型
概率稀疏模型从统计角度描述稀疏性，将系数视作随机变量，并通过概率分布或先验知识进行推断。它使稀疏表示与统计学习自然衔接起来。
3.4.1 贝叶斯稀疏学习
贝叶斯稀疏学习利用先验分布和后验推断来估计稀疏系数。通过设置合适的稀疏先验，可以在数据驱动的同时保留概率解释。
该方法的优势在于能够刻画不确定性，并对噪声水平作出更系统的处理。对于小样本或噪声较强的数据，它往往表现出较好的稳健性。
3.4.2 稀疏先验
稀疏先验是鼓励模型参数取零或接近零的概率假设。常见做法包括尖峰-厚尾分布、拉普拉斯先验等，这些形式都能在统计上推动解变稀疏。
先验设计会直接影响推断结果，因此通常需要结合具体任务选择。合理的稀疏先验既能增强解释性，也能改善泛化表现。
4 求解方法
4.1 贪婪算法
贪婪算法通过逐步选择当前最优的原子来构造稀疏表示，思路直观且实现简单。它适合对速度要求较高、问题规模较大的场景。
4.1.1 匹配追踪
匹配追踪在每一步中寻找与当前残差最匹配的字典原子，并不断更新残差。该方法按照局部最优策略逐次逼近目标表示。
其优点是计算简洁，适合快速构造近似解；不足在于早期选择若不理想，后续纠正能力有限。
4.1.2 正交匹配追踪
正交匹配追踪在逐步选择原子的同时，会对已选原子进行整体正交投影和重新估计，从而减小累积误差。相较于基本匹配追踪，它通常具有更好的重建精度。
该方法在稀疏恢复和信号重建中应用广泛，尤其适用于需要兼顾精度与效率的任务。
4.2 凸优化算法
凸优化算法利用问题的凸结构求解稀疏表示，通常具有较好的理论保证和全局最优性质。它们是稀疏建模中的主流方法之一。
4.2.1 基追踪
基追踪通过在满足观测约束的前提下最小化L1范数，寻找最稀疏的解。由于目标函数和约束条件都较规整，它具有较强的理论可分析性。
在很多理想条件下，基追踪能够准确恢复原始稀疏信号，因此常被视为经典恢复框架。
4.2.2 LASSO
LASSO将数据拟合误差与L1惩罚结合起来，是回归与稀疏选择的常用工具。它既能进行变量筛选，也能控制模型复杂度。
由于形式简洁、适用面广，LASSO在统计学习、特征选择和高维数据分析中都占有重要位置。
4.3 迭代阈值算法
迭代阈值算法通过反复执行梯度更新与阈值收缩来逼近稀疏解。它通常实现方便，适合大规模问题。
4.3.1 硬阈值
硬阈值会将绝对值小于阈值的系数直接置零，而保留较大的系数不变。这种方式能快速强化稀疏性。
其计算简单，但由于截断较为生硬，可能带来不连续性和优化振荡，因此常与迭代框架配合使用。
4.3.2 软阈值
软阈值不仅会删除小系数，还会对保留项进行幅度收缩，因此更符合L1正则化的求解特征。它是许多稀疏优化算法中的核心操作。
软阈值法在数值上通常较稳定，且容易推广到更复杂的迭代方案中。
4.4 字典学习算法
字典学习算法通过从数据中自动学习更适合的原子集合，以提升稀疏表示的表达效率。与固定字典相比，它更具自适应性。
4.4.1 K-SVD
K-SVD是一种经典字典学习方法，通过交替更新稀疏系数和字典原子来优化重建效果。它常以奇异值分解为局部更新工具，因此名称中带有SVD。
该方法在图像去噪和补全中表现突出，尤其适合具有重复局部结构的数据。
4.4.2 在线字典学习
在线字典学习面向大规模数据，采用分批或逐样本更新方式，降低了整体计算成本。它更适合持续到达的数据流环境。
与批量学习相比，在线方法通常更节省内存，也更容易扩展到实际工程系统中。
5 关键理论性质
5.1 唯一性与可辨识性
稀疏表示中的一个关键问题是：给定数据后，稀疏解是否唯一，以及能否从观测中正确识别出来。该问题直接关系到模型是否可靠。
5.1.1 支撑集
支撑集是指稀疏向量中非零元素所在的位置集合。它不仅描述了稀疏结构，也常用于分析恢复是否正确。
在恢复任务中，若支撑集能够被准确识别，通常意味着模型已经抓住了信号的主要成分。
5.1.2 稀疏解唯一条件
稀疏解唯一条件研究在什么情况下同一观测只能对应一个稀疏表示。该问题通常与字典性质、稀疏度上界和观测矩阵结构有关。
若满足适当条件，则稀疏解不仅存在，而且可被稳定恢复。这也是理论保证的重要来源。
5.2 稳定性与鲁棒性
稳定性和鲁棒性描述的是：在数据受扰动时，稀疏表示是否仍能保持合理结果。这对实际应用尤为重要，因为真实数据很少完全无噪声。
5.2.1 噪声影响
噪声会干扰系数估计，使重建结果偏离理想状态。若模型设计合理，稀疏表示能够将噪声影响限制在一定范围内，而不会过度放大。
因此，许多算法都会专门考虑噪声项，或在目标函数中加入误差容忍机制。
5.2.2 误差界
误差界用于刻画恢复结果与真实信号之间的偏差上限。它是衡量算法质量的重要理论指标。
在合适条件下，误差界可以与噪声强度、稀疏度和字典性质联系起来，从而给出明确的性能保证。
5.3 恢复条件
恢复条件回答的是：在什么结构前提下，稀疏信号能够被准确或近似准确地恢复。它是稀疏理论的核心内容之一。
5.3.1 相干性
相干性描述字典原子之间的相似程度。若字典中的原子彼此过于接近，就容易产生混淆，降低恢复能力。
较低相干性通常有利于稀疏恢复，因为不同原子更容易被区分开来。
5.3.2 受限等距性质
受限等距性质是衡量矩阵对稀疏向量是否近似保持长度的重要指标。它在压缩感知与稀疏恢复理论中占有核心地位。
若矩阵满足良好的受限等距性质，则稀疏信号更容易被稳定重建，且对扰动的敏感性较低。
5.3.3 空间约束与采样条件
空间约束与采样条件强调观测维度、采样方式和信号结构之间的关系。合适的采样设计能够显著提高恢复成功率。
在实践中，采样并不总是越多越好，关键在于是否与信号稀疏结构相匹配。
6 典型应用
6.1 图像处理
稀疏表示在图像处理中应用十分广泛，尤其适合利用局部结构和重复纹理进行建模。它常用于增强、修复和重建任务。
6.1.1 去噪
去噪利用图像在特定字典下的稀疏性，将噪声视为难以稀疏表达的成分加以抑制。这样可以在保留边缘和纹理的同时减少随机扰动。
这种方法常比简单平滑更能保留细节，因此在图像预处理和视觉增强中很常见。
6.1.2 超分辨率
超分辨率旨在从低分辨率图像恢复更清晰的细节。稀疏表示通过学习低高分辨率补丁之间的对应关系，帮助推断缺失细节。
由于依赖局部结构先验，这类方法在纹理恢复和边缘增强方面具有较好效果。
6.1.3 图像修复
图像修复用于填补缺失区域或遮挡区域。稀疏模型能够利用周围结构和字典原子，对空缺部分进行合理补全。
在处理破损图像、旧照片或局部遮挡时，这种方法具有较强的实用价值。
6.2 语音与音频处理
稀疏表示在语音与音频处理中可用于压缩、识别和分离。由于声音信号在时频域常呈现局部集中性，因此适合用稀疏模型刻画。
6.2.1 语音压缩
语音压缩通过保留主要系数、丢弃次要成分来减少存储和传输开销。稀疏表示能够在较低比特率下尽量维持可懂度和音质。
这类方法特别适合通信和嵌入式设备场景。
6.2.2 说话人识别
说话人识别利用个体在发音方式、频谱特征上的差异进行身份判别。稀疏表示可将测试语音分解到不同说话人字典上，利用最匹配的稀疏结构完成识别。
它常与特征提取和分类器结合，形成更完整的识别流程。
6.3 信号压缩感知
压缩感知利用信号的稀疏性，以少量采样实现重建。它改变了传统“先充分采样再压缩”的思路，具有很强的理论和工程影响力。
6.3.1 低采样重建
低采样重建指在采样次数少于传统奈奎斯特要求时，仍恢复原始信号。前提是信号在某个域中具有稀疏结构。
这种方法可以减少采集成本，适用于传感器网络、医疗成像和远程监测等场景。
6.3.2 稀疏测量矩阵
稀疏测量矩阵是指用于采样或编码的矩阵具有稀疏结构。它有利于降低存储和计算负担，同时提升硬件实现效率。
在某些应用中，测量矩阵的设计与恢复性能紧密相关，需要兼顾可计算性与信息保留能力。
6.4 机器学习与模式识别
稀疏表示在机器学习中常被用作特征建模和分类基础，也适合处理高维、冗余数据。它强调从众多候选特征中筛选出最有用的信息。
6.4.1 分类
在分类任务中，稀疏表示可用于判断样本属于哪个类别字典的稀疏组合最合理。该思路尤其适合类别间结构差异明显的场景。
它的优点是具有一定解释性，能够指出样本主要由哪些典型成分构成。
6.4.2 特征选择
稀疏模型可以自动压缩无关或冗余特征，使最终表示更简洁。通过稀疏约束，系统往往能保留最有判别力的变量。
这对于高维数据分析特别重要，因为过多特征不仅增加计算量，也容易降低泛化性能。
6.4.3 异常检测
异常检测利用稀疏表示难以用常规字典解释的特性来识别离群样本。若某个数据无法被正常模式稀疏重构，则可能被视为异常。
该方法在工业监测、故障诊断和风险筛查中有广泛用途。
7 相关扩展
7.1 稀疏编码
稀疏编码是指在给定字典下，为每个样本寻找稀疏系数的过程。它是稀疏表示框架中的基本环节，也是许多应用模型的直接实现方式。
7.2 稀疏信号恢复
稀疏信号恢复关注从不完整或受扰动观测中重建原始稀疏信号。其目标是在观测有限的情况下尽量恢复真实结构。
7.3 字典学习
字典学习是从数据中自动提取表示原子的过程。它使字典不再依赖人工设计，而是能够针对任务自适应优化。
7.4 压缩感知
压缩感知是一种基于稀疏先验的采样与重建理论。它强调用远少于传统采样数量的信息完成有效恢复。
7.5 结构化稀疏
结构化稀疏是在普通稀疏基础上进一步加入组织结构的约束，如分组、层次或时空相关性。它能更贴近真实数据中的相关模式。
7.5.1 分组稀疏
分组稀疏要求若某一组变量被选中，则组内若干变量倾向于一起出现。它适合处理天然成组的特征集合。
7.5.2 层次稀疏
层次稀疏把变量组织成树状或层级结构，并要求稀疏模式遵循这一层次关系。它常用于多尺度分析和组合结构建模。
7.5.3 时空稀疏
时空稀疏强调稀疏性在时间和空间上的联合分布。它适合处理视频、动态传感和连续观测数据。
8 发展历程
8.1 早期研究
稀疏表示的思想可以追溯到信号展开、傅里叶分析和小波分析等早期研究。那一时期的重点是寻找更适合压缩和分析的基函数。
随着数值优化和计算能力的提升，研究者开始进一步关注“自动寻找稀疏结构”的方法，稀疏建模逐步形成独立方向。
8.2 现代稀疏表示理论
现代稀疏表示理论在凸优化、字典学习和压缩感知等推动下快速发展。研究重点从“是否能稀疏表示”扩展到“如何高效恢复”和“如何保证性能”。
这一阶段形成了较系统的理论框架，也使稀疏表示成为统计学习和信号处理中的基础工具之一。
8.3 与深度学习的结合
随着深度学习兴起，稀疏思想被重新引入神经网络结构与表示学习中。两者结合后，既保留了模型的可解释性，也增强了数据驱动能力。
8.3.1 稀疏自编码器
稀疏自编码器在自编码结构中加入稀疏约束，使隐藏层只在少数神经元上激活。这样可促使网络学习更有区分度的特征。
它常用于无监督特征学习，并可作为更复杂模型的预训练方式。
8.3.2 可解释表示学习
可解释表示学习强调让模型内部表示与人类可理解的结构对应起来。稀疏性在其中扮演重要角色，因为少量激活通常更容易分析和追踪。
因此，稀疏表示不仅是一种计算技巧，也逐渐成为构建透明、可控学习系统的重要思路。