1 基本概念
1.1 定义与核心思想
无监督学习是机器学习中的一类方法，指模型在训练时不依赖人工标注的类别或数值标签，而是直接从原始数据中寻找内在结构、相似性与潜在规律。其核心思想并不是“预测答案”，而是“理解数据本身”。
这类方法通常假设数据中存在某种可被发现的组织方式，例如样本可按相似度自然分组，变量之间存在低维关联，或者少数样本明显偏离整体分布。无监督学习通过统计关系、几何结构或概率分布来刻画这些特征，从而辅助分析、建模和后续任务。
1.2 与监督学习的区别
监督学习以带标签数据为基础，目标通常是学习输入到输出的映射关系；无监督学习则面对无标签数据，更强调发现数据的内部规律。二者的区别不仅体现在数据形式上，也体现在学习目标、评价方式和应用场景上。
1.2.1 标签依赖性
监督学习依赖人工标注，标签本身构成了训练信号；无监督学习没有现成标签，算法需要从样本之间的关系中自行提炼信息。因此，无监督学习更适合标签稀缺、标注成本高或难以统一标注标准的场景。
1.2.2 学习目标差异
监督学习关注的是准确预测已知目标，无监督学习则常用于结构发现、数据压缩、异常识别和特征抽取。前者强调“拟合正确答案”，后者强调“揭示数据组织方式”。由于目标不同，二者常被用于同一流程的不同阶段。
1.3 与半监督学习和自监督学习的关系
半监督学习介于监督与无监督之间，通常利用少量标注数据和大量未标注数据共同训练模型，以提高分类或回归效果。它并不完全放弃标签，而是通过未标注数据扩大信息来源。
自监督学习则是一种利用数据自身构造训练信号的方法。虽然它不依赖人工标签，但会从原始数据中生成“伪标签”或预任务目标，例如遮盖词预测、图像补全等。与传统无监督学习相比，自监督学习更强调任务设计，近年来在表示学习中应用广泛。
2 主要任务类型
2.1 聚类
聚类是无监督学习中最常见的任务之一，目的是将相似样本自动划分为若干组，使组内样本尽量相近，组间差异尽量明显。它常用于用户分群、文档整理、图像组织和数据探索。
2.1.1 基于距离的聚类
这类方法以样本间距离或相似度为基础进行分组，典型思路是将彼此接近的点归为同一类。K 均值聚类就是代表性方法之一，适用于簇形状较规则、簇间分离较清晰的数据。
2.1.2 基于密度的聚类
基于密度的方法关注数据分布的“稠密区域”，能够发现形状不规则的簇，并对噪声点具有一定鲁棒性。它适合处理存在异常点或簇边界模糊的数据集。
2.1.3 层次聚类
层次聚类通过构建树状结构描述样本或簇之间的包含关系，便于从不同层级观察数据结构。它既可以逐步合并小簇，也可以从整体逐层拆分，适合需要多尺度分析的任务。
2.2 降维
降维旨在用更少的变量表示原始数据，同时尽量保留主要信息。它可用于数据可视化、噪声压缩、特征提取和模型加速，是高维数据处理中非常重要的工具。
2.2.1 线性降维
线性降维假设数据主要变化可由线性组合表示，常见方法包括主成分分析等。其优点是计算简单、结果可解释性较强，适合线性结构明显的数据。
2.2.2 非线性降维
非线性降维用于处理更复杂的流形结构或局部邻域关系，例如 t-SNE、UMAP 等方法。它们更擅长呈现局部相似性，常用于可视化高维样本的聚集趋势。
2.3 异常检测
异常检测用于识别与大多数样本显著不同的数据点，广泛应用于故障监测、欺诈识别、网络安全和质量控制。由于异常样本往往稀少，监督标签通常难以完整获得，因此无监督方法尤为常见。
2.3.1 统计方法
统计方法通常假设正常数据服从某种分布，若某个样本偏离这一分布过远，则可视为异常。此类方法原理清晰，但对分布假设较为敏感。
2.3.2 基于重构误差的方法
这类方法先学习正常数据的压缩表示，再根据输入与重构结果之间的误差判断异常程度。若模型难以重构某些样本，通常意味着它们与训练中的主要模式不同。
2.4 密度估计
密度估计旨在估计数据背后的概率分布，以便理解样本生成方式、衡量出现概率或支持后续推断。它在生成建模和统计分析中都有重要作用。
2.4.1 参数化估计
参数化估计预先假设数据分布属于某类函数形式，例如高斯分布，然后通过数据估计其参数。该方法计算高效，但分布假设不当时可能产生偏差。
2.4.2 非参数化估计
非参数化估计不强行设定固定分布形式，而是依据样本本身刻画概率密度，例如核密度估计。它更灵活，但在高维情况下常面临样本稀疏和计算复杂度上升的问题。
2.5 表示学习
表示学习关注如何自动学习数据的有效特征表示，使原始输入更适合聚类、分类、检索或生成等后续任务。无监督表示学习尤其适合从大量未标注数据中提取通用特征。
2.5.1 稀疏表示
稀疏表示要求模型用尽可能少的激活成分描述数据，有助于突出关键特征并减少冗余信息。这种方式在信号处理、图像建模等领域较为常见。
2.5.2 分布式表示
分布式表示将信息分散编码到多个维度中，而不是由单一特征独占表达。它能够更好地捕捉复杂结构，也更适合深度模型中的连续表示空间。
3 经典算法
3.1 K 均值聚类
K 均值聚类是一种经典的划分式聚类算法，目标是将样本分成 K 个簇，使每个样本到所属簇中心的距离尽量小。由于实现简洁、运行高效，它被广泛用于数据分组与初步分析。
3.1.1 算法步骤
算法通常先随机选择 K 个初始中心，然后根据距离将样本分配给最近的中心，接着重新计算每个簇的均值作为新中心，反复迭代直至簇分配不再明显变化。
3.1.2 初始化方法
初始化对结果影响较大。若初始中心选择不佳，算法可能收敛到局部最优。为改善这一问题，常采用更稳健的初始化策略，如多次随机尝试或更优的中心选取规则。
3.1.3 收敛与局限性
K 均值通常能在有限步内收敛，但收敛到的是局部最优，而非全局最优。其局限还包括对异常点敏感、对簇形状假设较强，以及需要预先指定簇数。
3.2 层次聚类
层次聚类通过构建簇之间的层级关系，形成树状结构，便于观察不同粒度下的数据组织方式。它在探索性分析中有较高价值。
3.2.1 自底向上
自底向上方法从单个样本开始，逐步合并最相近的簇，直到达到停止条件。该方式直观，常用于样本规模不太大、希望查看完整层次结构的场景。
3.2.2 自顶向下
自顶向下方法则从一个整体簇出发，逐步拆分为更小的子簇。它更强调全局划分思路，但实现与计算通常比自底向上更复杂。
3.3 主成分分析
主成分分析是一种经典线性降维方法，通过寻找数据中方差最大的方向，将高维数据投影到较低维空间。它常用于压缩、去噪和可视化。
3.3.1 协方差矩阵
PCA 的关键在于分析变量之间的协方差结构。协方差矩阵反映不同特征的共同变化趋势，为后续寻找主要方向提供基础。
3.3.2 特征值分解
通过对协方差矩阵进行特征值分解，可以得到一组按重要性排序的主方向。保留前几个对应较大特征值的分量，便可在压缩信息的同时保留主要变化。
3.4 高斯混合模型
高斯混合模型将数据看作若干个高斯分布的加权组合，适合描述由多个潜在子群构成的数据。它既能用于聚类，也能用于概率密度建模。
3.4.1 EM 算法
EM 算法通过交替执行“估计隐变量分配”和“更新模型参数”两个步骤进行优化。它在混合模型中十分常见，但同样可能受到初值影响。
3.4.2 概率解释
与硬划分聚类不同，GMM 为每个样本给出属于各个成分的概率，因而具有软聚类特性。这种表示更细腻，也更符合某些样本边界重叠的实际情况。
3.5 自编码器
自编码器是一类神经网络模型，通过将输入压缩到低维表示再重构原始输入，学习数据的紧凑表达。它常用于降维、特征提取和异常检测。
3.5.1 编码器与解码器
编码器负责将输入映射到潜在表示，解码器则从该表示恢复原始数据。两者协同训练，使模型在压缩与重构之间找到平衡。
3.5.2 潜在空间表示
自编码器学习到的潜在空间通常包含输入数据的重要特征结构。若这种表示具有较好的组织性，还可用于聚类、插值或生成相关任务。
4 模型评估
4.1 内部评估指标
内部评估指标主要依据数据本身和聚类结果来衡量模型质量，不依赖外部标签。它们常用于无监督场景下的方案比较。
4.1.1 轮廓系数
轮廓系数综合衡量样本与本簇的相似程度以及与最近其他簇的分离程度。数值越高，通常表示聚类效果越好。
4.1.2 Davies-Bouldin 指数
Davies-Bouldin 指数关注簇内紧凑性与簇间分离度，数值越小往往代表聚类越理想。它适合比较不同参数设置下的结果。
4.2 外部评估指标
外部评估指标需要借助真实标签或参考划分，用于衡量无监督结果与已知类别的一致性。它多见于研究与基准测试。
4.2.1 调整兰德指数
调整兰德指数通过比较样本对在两种划分中的一致性来评估结果，并对随机一致性进行修正。它在聚类评价中使用广泛。
4.2.2 互信息相关指标
互信息相关指标用于衡量两个划分之间的信息共享程度，能够反映聚类结果与真实类别之间的对应关系。经常用于比较不同算法的效果。
4.3 可视化评估
可视化评估通过图形方式直观展示数据结构和模型结果，有助于观察簇的分离程度、异常点位置及整体分布形态。
4.3.1 降维散点图
将高维数据投影到二维或三维后绘制散点图，能够快速查看样本是否形成明显群组，也便于发现重叠区域。
4.3.2 聚类结构展示
聚类结果可通过树状图、颜色标记或簇中心图进行展示，使人更容易理解不同簇之间的层级关系或空间分布。
5 数据预处理与特征工程
无监督学习虽然不依赖标签，但对数据质量仍十分敏感。适当的预处理和特征工程，往往直接影响结果的稳定性与可解释性。
5.1 标准化与归一化
由于许多算法依赖距离或方差，不同量纲的特征若未统一尺度，可能导致某些变量过度主导结果。标准化与归一化能够缓解这一问题，使特征处于更可比较的范围内。
5.2 缺失值处理
缺失值会影响距离计算、分布估计和表示学习。常见做法包括删除缺失过多的样本、使用均值或中位数填补，或借助更复杂的插补策略。
5.3 离群点处理
离群点可能改变簇中心、扭曲分布估计，甚至影响低维投影结果。根据任务不同，可选择识别后剔除、单独标记，或采用更稳健的方法减轻其影响。
5.4 特征选择
特征选择用于保留更有信息量的变量，减少冗余和噪声。虽然无监督场景中缺少标签作为直接指导，但仍可依据方差、相关性或结构贡献进行筛选。
5.5 特征提取
特征提取通过构造新的表示来替代原始变量，常见于 PCA、自编码器和文本向量化等方法。其目标是让数据更紧凑、更易于后续分析。
6 应用场景
6.1 客户分群
在商业分析中，无监督学习常用于将客户按购买行为、活跃度或偏好划分为不同群体，以便进行精细化运营和个性化服务。
6.2 文本主题发现
在大量文档处理中，聚类和主题模型可帮助发现潜在主题，辅助整理新闻、评论或学术文献。它能在没有人工分类的情况下提取语义结构。
6.3 图像压缩与特征提取
无监督方法可从图像中学习低维特征表示，用于压缩存储、去噪或作为后续识别任务的输入。自编码器在这一领域尤为常见。
6.4 推荐系统中的用户表示
推荐系统常借助无监督表示学习，将用户和物品映射到潜在空间，以捕捉兴趣相似性和交互模式。这类表示可提升召回和排序环节的效果。
6.5 网络异常流量检测
在网络环境中，无监督异常检测可用于识别非典型流量、访问模式突变或潜在故障。由于攻击或异常事件往往样本稀少，这类方法具有实用价值。
6.6 生物信息分析
无监督学习常用于基因表达数据、蛋白质特征和细胞样本分析，帮助研究者发现亚群结构或潜在生物模式。其优势在于适合高维、复杂且标注有限的数据。
7 方法局限与挑战
7.1 结果解释困难
无监督模型输出的簇、低维坐标或潜在变量，通常不具备直接语义，解释结果时往往需要结合领域知识。这使得方法在某些场景下不易被直接理解。
7.2 评估标准不明确
由于缺少标签，无监督任务常难以像监督学习那样使用统一指标衡量优劣。不同指标可能给出不同结论，因此评估往往带有任务相关性。
7.3 对参数敏感
许多算法对簇数、邻域大小、距离度量或初始化方式较为敏感。参数选择不当时，结果可能出现明显波动，影响稳定性。
7.4 对高维数据的困难
在高维空间中，距离度量可能变得不够有效，样本也更容易呈现稀疏性。这会削弱聚类、密度估计和异常检测的表现。
7.5 可扩展性问题
当数据规模增大时，部分算法在时间和内存上的开销会迅速上升，尤其是层次聚类、密度估计和某些矩阵分解方法。如何兼顾效率与效果，是持续存在的问题。
8 发展方向
8.1 深度无监督学习
深度无监督学习结合神经网络与无监督目标，能够从复杂数据中学习更抽象的层级特征。它推动了表示学习从手工设计走向自动提取。
8.2 生成模型
生成模型不仅能刻画数据分布，还能生成与训练数据相似的新样本。其代表方向包括变分自编码器、生成对抗网络等，在图像、文本和音频领域都有广泛潜力。
8.3 对比学习
对比学习通过让相似样本表示接近、不同样本表示远离，学习更具判别力的特征。它常被视为自监督和无监督表示学习的重要支柱之一。
8.4 大规模数据上的无监督表示学习
随着数据量不断增长，如何在海量样本上高效学习稳定表示成为关键问题。未来的发展重点包括分布式训练、在线学习、增量更新以及更高效的近似优化方法。