1 基本概念
1.1 定义
稀疏度是描述对象中“有效信息”所占比例较低的性质。这里的“有效信息”通常指非零元素、显著分量、活跃特征或真实连接等。若一个对象的大部分位置为空、为零或不参与主要作用，便可称其具有较高稀疏度。
在不同场景中，稀疏度并没有唯一固定的定义，而是依据研究对象和应用目的进行约定。例如，对向量可用非零项数量来刻画，对矩阵可用非零元素占比来衡量，对图结构则常通过边密度或连接数近似表示。
1.2 直观理解
稀疏度可以理解为“只有少部分内容真正有用”。例如，一篇长文中如果只有少数关键词决定主题，便可视为信息分布较稀疏；一张图像中若只有少量像素显著变化，也可说其表现出稀疏特征。
这种性质的核心不在于对象整体大小，而在于有效成分相对于整体的比例。规模越大而活跃部分越少，通常稀疏性就越明显。
1.3 稀疏与稠密的对比
与稀疏相对的是稠密。稠密对象中，非零元素、连接或显著成分较多，信息分布更均匀，整体参与度更高。比如，一个大多数元素都非零的矩阵通常被视为稠密矩阵；而边很少的图则被视为稀疏图。
两者并非绝对对立，而是连续谱上的不同状态。很多实际对象既不极度稀疏，也不完全稠密，而是处于中间区域。
1.4 稀疏度的常见表述
稀疏度可通过多种方式表达，常见做法包括计数、比例和支持集描述。不同表述方式服务于不同任务，有的强调便于计算，有的强调便于比较。
1.4.1 非零元素计数
最直接的方式是统计非零元素的个数。若一个向量只有少数坐标不为零，则其稀疏度较高。该方法简单明了，适合用于离散结构或精确计数场景。
1.4.2 比例型指标
比例型指标将非零元素数量与总元素数量联系起来，常以百分比或比率形式表示。此类指标更适合比较不同规模对象的稀疏程度，也便于在不同数据集之间统一理解。
1.4.3 支持集表示
支持集指对象中非零或活跃元素所在的位置集合。支持集越小，通常表示稀疏度越高。该表述在理论分析中十分常见，因为它能直接反映“哪些位置真正发挥作用”。
2 数学表征
2.1 向量稀疏度
向量是最基础的稀疏对象之一。若一个向量中只有少数分量非零，则称其为稀疏向量。稀疏向量在信号重建、特征筛选和优化问题中经常出现。
2.1.1 零范数与支持集
零范数通常记作“非零元素的个数”，虽然严格来说它并非真正意义上的范数，但在稀疏研究中被广泛使用。它与支持集大小相对应，常被用作衡量向量稀疏程度的核心量。
2.1.2 k-稀疏向量
若一个向量最多只有 k 个非零分量，则称其为 k-稀疏向量。这里的 k 是稀疏水平的直接参数。k 越小，向量越稀疏；k 越大，则越接近稠密情形。
2.2 矩阵稀疏度
矩阵稀疏度描述的是矩阵中非零元素分布的稀少程度。许多大规模线性代数问题都依赖稀疏矩阵，因为它们能够显著降低存储与计算成本。
2.2.1 非零元分布
矩阵中的非零元素若主要集中在少数位置，或仅沿某些结构化区域分布，通常可视为稀疏。非零元分布不仅影响稀疏度，也决定了后续算法的实现方式。
2.2.2 行稀疏与列稀疏
行稀疏指矩阵的每一行中非零元素较少，列稀疏则对应每一列的非零元素较少。这种区分在矩阵分解、图算法和数据压缩中较为重要，因为不同稀疏模式适合不同的存储与运算策略。
2.3 张量与高维对象的稀疏度
张量可看作矩阵在更高维度上的推广。高维对象的稀疏性通常更强调“活跃位置少”这一特点，但其度量方式比向量和矩阵更复杂，因为维度增加后，结构模式也更丰富。
在实际应用中，高维稀疏常见于多模态数据、时空数据和高维交互数据。此时，稀疏性往往与低维结构、局部激活或因子分解联系在一起。
2.4 图与网络中的稀疏度
在图论和网络分析中，稀疏度通常反映边的数量相对于可能最大边数的比例。若图中边很少、连接关系较弱，则可称其为稀疏图。
2.4.1 边密度
边密度是衡量图稀疏性的常用指标，表示实际边数与理论最大边数之间的比例。密度越低，图越稀疏。该指标适合用于比较不同规模网络的整体连接程度。
2.4.2 邻接矩阵稀疏性
图的邻接矩阵中，大量元素通常为零，因此很多图都对应稀疏矩阵。邻接矩阵的稀疏性直接影响图遍历、最短路径和连通性分析等算法的效率。
3 度量与指标
3.1 稀疏度的定量衡量
稀疏度的定量衡量方法较多，常见思路是从非零数量、比例关系或密度的反向指标入手。不同方法各有适用范围。
3.1.1 非零比例
非零比例是非零元素数量占总元素数量的比值。该值越小，稀疏度越高。它是最直观、最易比较的衡量方式之一。
3.1.2 稀疏率
稀疏率通常指零元素或未激活部分所占比例。与非零比例相反，稀疏率越高，说明对象中空白或无效部分越多。
3.1.3 密度互补指标
有些场景更习惯使用密度来描述对象整体活跃程度，稀疏度则可视作其互补量。也就是说，密度高通常意味着稀疏度低，反之亦然。
3.2 不同领域中的标准化定义
在数学、统计学、信号处理和计算机科学中，稀疏度的标准化方式并不完全一致。某些领域强调零元素计数，某些领域关注结构连接，还有一些领域更重视可恢复性或有效自由度。
因此，在跨学科研究中，常需要先说明稀疏度的具体定义，再讨论结果，避免因口径不同造成误解。
3.3 指标选择的适用性与局限性
单一指标往往难以完整描述真实数据的稀疏结构。例如，两个对象可能具有相同的非零比例，但其非零元素分布完全不同。前者可能集中成块，后者可能零散分布，这会导致算法表现差异明显。
此外，某些近零值在数值计算中也会被视为“近似零”，这使得稀疏与否还受到阈值设定影响。因此，稀疏指标常需结合具体任务共同判断。
4 稀疏表示理论
4.1 稀疏编码
稀疏编码是一种用尽可能少的基元素来表示数据的方法。其目标通常是在保留主要信息的前提下，使表示系数尽可能稀少，从而获得更紧凑的表达。
这种思想广泛用于图像分析、模式识别与特征提取。其优势在于表示简洁，并且便于突出数据中的关键结构。
4.2 基表示追踪
基表示追踪关注如何从一组基中选择少量成分来还原目标对象。若对象本身可由少数基向量组合而成，那么其表示就具有稀疏特征。
这一思想与线性代数和优化理论密切相关，常用于求解欠定系统和结构化信号重建问题。
4.3 过完备字典
过完备字典是指字典中的原子数量多于表示空间维数的字典。它提供了更多表达选择，因此更容易找到稀疏表示。与此同时，过完备也带来冗余，需要借助优化方法筛选最合适的少量原子。
4.4 压缩感知中的稀疏性
压缩感知利用“信号可稀疏表示”这一事实，在较少采样下实现重建。其核心思想是：如果原始对象在某种表示下足够稀疏，就可能从少量观测恢复出完整信号。
4.4.1 采样与重建
压缩感知强调采样阶段不必按传统方式获取大量数据，而是在满足一定条件下，以较少测量进行编码。重建阶段则通过优化求解恢复原信号。
4.4.2 唯一性条件
为了确保重建结果可靠，通常需要满足一定的唯一性条件，例如表示矩阵或测量矩阵的特殊性质。若条件不足，不同稀疏解可能对应同一观测，导致恢复不唯一。
4.4.3 稀疏恢复
稀疏恢复是从有限观测中找回原始稀疏信号的过程。该问题通常通过优化、贪婪搜索或迭代算法求解，是压缩感知研究中的关键环节。
5 稀疏优化
5.1 L0 最优化问题
L0 最优化直接以非零元素数量为目标，追求最少的活跃分量。它形式直观，但通常计算困难，属于组合优化范畴，求解代价较高。
5.2 L1 正则化与凸松弛
L1 正则化是处理稀疏问题的重要替代方案。与 L0 相比，L1 形式更容易优化，且往往能诱导出稀疏解，因此被广泛应用于统计建模和机器学习中。凸松弛的思想则是将原本难解的问题转化为更易处理的凸问题。
5.3 贪婪算法
贪婪算法通过逐步选择最有利的分量来构造稀疏解，通常具有实现简单、速度较快的优点。其局限在于局部选择未必总能达到全局最优。
5.3.1 匹配追踪
匹配追踪按照逐步匹配残差信息的方式选择字典原子。每一步都尽量让当前选取的元素与剩余误差最相关，从而逐渐逼近目标表示。
5.3.2 正交匹配追踪
正交匹配追踪在匹配追踪基础上加入正交更新机制。已选原子会在每一步重新调整系数，使得当前近似更稳定，也更适合处理较高精度的重建任务。
5.4 近端算法与迭代方法
近端算法和各类迭代方法常用于求解带稀疏约束的问题。它们通过反复更新变量，并结合阈值化或收缩操作，逐步逼近稀疏解。该类方法在大规模问题中应用广泛。
5.5 稀疏约束下的求解难点
稀疏约束会增加问题的非光滑性和组合复杂度，使得优化过程更难。实际求解时，还需平衡准确性、速度和稳定性，尤其在噪声较大或维度较高时更为明显。
6 统计学与机器学习中的稀疏度
6.1 特征选择
在统计建模和机器学习中，稀疏性常被用于自动筛选重要特征。若只有少量变量真正影响结果，则稀疏模型可以帮助去除冗余信息，提高解释性和泛化能力。
6.2 稀疏回归
稀疏回归指在回归模型中限制或鼓励系数为零，从而保留少数关键变量。这类方法特别适用于高维小样本场景。
6.2.1 LASSO
LASSO 通过 L1 正则化促使部分回归系数变为零，是稀疏回归中最常见的方法之一。它兼具变量选择和参数估计功能，因此在实践中应用广泛。
6.2.2 Elastic Net
Elastic Net 结合了 L1 与 L2 正则化，既能产生一定稀疏性，又能缓解高度相关特征之间的不稳定问题。它在变量较多且相关性较强的情形下较有优势。
6.3 模型解释性
稀疏模型通常更容易解释，因为它只依赖少数几个变量或规则。相较于复杂的黑箱模型，稀疏结果更便于分析因素作用和决策路径。
6.4 高维数据分析
在高维数据中，样本数量往往不足以支撑全量建模，而稀疏假设可帮助降低有效维度。通过寻找少量关键特征或结构，高维问题有时能转化为更可处理的形式。
6.5 稀疏先验与贝叶斯建模
在贝叶斯框架中，稀疏先验用于表达“多数参数接近于零，少数参数显著非零”的信念。此类先验有助于在不确定环境下引导模型获得更紧凑的表示。
7 计算机科学中的应用
7.1 数据压缩
稀疏数据天然适合压缩，因为大量零值或重复结构可被有效编码。通过只存储非零部分及其位置，能够减少存储空间并提高传输效率。
7.2 图算法与稀疏矩阵计算
许多图算法都依赖稀疏矩阵表示，例如最短路径、连通分量和网络流相关计算。稀疏矩阵运算可以避免处理大量无效元素，从而降低复杂度。
7.3 图像处理与去噪
图像在某些变换域中常呈现稀疏结构。基于这一点，可以实现去噪、重建和压缩等任务。稀疏表示有助于保留边缘与细节，同时抑制随机噪声。
7.4 自然语言处理中的稀疏表示
自然语言处理中，词向量、词袋模型和某些特征编码都可能呈现稀疏性。大量维度中只有少部分位置非零，使得文本分类、检索和主题分析更容易实施。
7.5 推荐系统中的稀疏数据结构
推荐系统中的用户—物品交互矩阵通常非常稀疏，因为每个用户只接触过少量内容。如何从稀疏反馈中推断潜在偏好，是推荐算法的核心问题之一。
8 性质与挑战
8.1 稀疏性带来的计算优势
稀疏结构常意味着更低的存储开销和更快的计算速度。许多算法可以只处理非零项，从而减少不必要的运算。对于大规模问题，这种优势尤为突出。
8.2 数据缺失与噪声影响
稀疏数据并不总是理想结构。若稀疏性来自缺失而非真实规律，或者非零位置受到噪声干扰，则模型可能受到误导。因此，区分“结构性稀疏”和“观测不足”十分重要。
8.3 稀疏假设的适用边界
稀疏假设并非对所有数据都成立。若对象本质上较为稠密，强行套用稀疏模型可能导致信息损失或偏差增大。合适的稀疏程度应与实际数据生成机制相匹配。
8.4 稀疏度与可解释性的关系
稀疏性通常提升可解释性，因为较少的参数或特征更容易被理解和追踪。但过度稀疏也可能削弱模型表达能力，因此需要在简洁性与精度之间取得平衡。
9 相关概念
9.1 稠密度
稠密度是稀疏度的相对概念，强调对象中非零元素或连接占比较高。它常用于描述与稀疏结构相反的数据形态。
9.2 压缩率
压缩率表示压缩后数据相对于原始数据的缩减程度。虽然与稀疏性相关，但两者不完全等同：稀疏是结构性质，压缩率则更偏向结果表现。
9.3 低秩性
低秩性指矩阵或张量可由较少的独立成分表示。它与稀疏性在一些任务中可相互结合，但关注点不同：低秩强调整体结构简化，稀疏则强调局部活跃元素较少。
9.4 简约性与复杂度
简约性强调以较少元素完成表达，复杂度则描述系统的结构和计算难度。稀疏性常被视为一种简约化手段，但并不等同于简单，因为其背后可能隐藏着复杂的结构组织。
10 研究与发展
10.1 经典理论
稀疏研究的经典理论主要建立在优化、线性代数和信号表示基础之上。早期工作重点关注稀疏解的存在性、唯一性以及可恢复条件，为后续发展奠定了基础。
10.2 现代算法进展
随着数据规模增长，稀疏相关算法不断演化，近端优化、随机方法和分布式计算等技术逐渐成为重点。现代算法更强调可扩展性、稳定性与对噪声的鲁棒性。
10.3 跨学科扩展
稀疏思想已从数学和信号处理扩展到统计学、机器学习、计算机视觉、自然语言处理和网络分析等领域。不同学科对稀疏的理解略有差别，但都围绕“少量关键成分”这一核心展开。
10.4 未来研究方向
未来研究通常会继续关注更高效的稀疏表示、更稳健的恢复方法以及更贴近真实数据结构的建模策略。如何在复杂环境下兼顾精度、速度和可解释性，仍是重要方向。