1 基本概念
文档聚类是将文本集合中的文档按照内容相似性自动分组的方法。它通常不依赖人工标注，而是依据词汇分布、主题特征或语义表示，让相近的文档聚到同一簇中。该方法常用于信息整理、主题探索和数据预处理，是文本挖掘中的基础任务之一。
1.1 定义
从方法论上看，文档聚类属于无监督学习。其目标不是预测预先给定的类别，而是根据文档之间的相似程度，发现数据内部自然形成的结构。聚类结果一般表现为若干文档簇，每一簇内部的内容相关性较高，不同簇之间差异相对明显。
1.2 研究对象
文档聚类的研究对象可以是单个文本，也可以是由大量文本组成的集合。研究重点在于如何把文本转换为可计算的表示，并据此衡量不同文本之间的接近程度。
1.2.1 单篇文档
单篇文档在聚类中通常不是独立处理的最终对象，而是作为待分配的基本单元。每篇文档会被转化为特征向量，再参与相似度计算和簇划分。
1.2.2 文档集合
文档集合是文档聚类的主要处理对象。集合中的规模可以从几十篇扩展到数百万篇，数据来源也可能包括新闻、论文、网页、邮件或社交媒体内容。集合越大，越需要考虑计算效率、表示质量与结果稳定性。
1.3 与相关任务的区别
文档聚类与若干文本挖掘任务在目标和输入条件上不同。虽然它们都可能使用相似的文本表示方法，但任务性质并不相同。
1.3.1 文档分类
文档分类依赖已标注类别，模型学习的是“从文本到标签”的映射；文档聚类则没有预设标签，关注的是自动发现分组结构。前者属于监督学习，后者属于无监督学习。
1.3.2 主题模型
主题模型主要用于挖掘文档中潜在的主题结构，输出通常是主题分布或词分布；文档聚类则直接给出文档归属关系。两者都强调内容组织，但主题模型更偏向统计建模，聚类更偏向分组决策。
1.3.3 文本检索
文本检索的核心是根据查询返回相关文档，强调“排序”；文档聚类则强调“分组”。检索结果可以作为聚类的输入来源之一，但两者的目的并不相同。
2 文档表示方法
文档聚类的效果在很大程度上取决于文本表示方式。由于原始文本是非结构化数据，通常需要先将其转换为数值形式，才能进行相似度计算和聚类建模。
2.1 词袋模型
词袋模型是早期且最常用的文本表示方法之一。它忽略词语顺序，只统计词项在文档中的出现情况，因此实现简单，便于与传统聚类算法结合。
2.1.1 词频统计
词频统计直接记录某个词在文档中出现的次数。词频越高，说明该词对文档内容的代表性通常越强。不过，单纯依赖词频容易受到高频通用词的干扰。
2.1.2 TF-IDF 表示
TF-IDF 在词频基础上引入逆文档频率，用于降低常见词的权重，提高稀有但更具区分度词项的重要性。它常被用于构建稀疏特征向量，是传统文档聚类中的经典表示方式。
2.2 向量空间模型
向量空间模型将文档视为高维向量，每个维度对应一个词项或特征。该模型便于使用距离或相似度度量文档关系，也适合进一步进行降维和聚类。
2.2.1 稀疏向量
稀疏向量大多用于表示词袋或 TF-IDF 特征。由于词汇表通常很大，而单篇文档实际包含的词较少，因此大多数维度取值为零。它的优点是可解释性较强，但维度高、计算成本也较高。
2.2.2 密集向量
密集向量通过较低维度的连续数值表示文档或词语。与稀疏向量相比，它在表达语义关系方面通常更灵活，也更适合现代机器学习框架中的大规模计算。
2.3 语义表示
语义表示试图超越字面匹配，尽可能捕捉词语、句子或篇章之间的深层含义。这类方法对同义表达、语境变化和语言变体更为敏感。
2.3.1 词嵌入
词嵌入通过学习将词映射到连续向量空间，使语义相近的词在空间中距离更近。它能够缓解词袋模型无法处理词义关联的问题，并可作为文档表示的基础特征。
2.3.2 句向量与篇章向量
句向量与篇章向量将更长文本压缩为一个整体向量，便于直接比较文档语义。它们适用于短句、摘要或整篇文章的表示，在文档聚类中能够减少对人工特征设计的依赖。
2.3.3 预训练语言模型表示
预训练语言模型能够利用大规模语料学习上下文信息，从而生成更具语境感知能力的文本表示。与传统表示相比，这类方法通常能更好地区分语义相近但主题不同的文本，也更适合复杂文本场景。
3 相似度与距离度量
聚类算法本质上需要一种方式判断文档之间是否接近。不同的相似度或距离度量会影响文档的分组结果，因此选择合适的度量方式十分关键。
3.1 余弦相似度
余弦相似度常用于比较向量方向的一致性，而不太受向量长度影响。对于文本而言，它能够较好地反映两个文档在词项分布上的相似程度，因此在文档聚类中应用广泛。
3.2 欧氏距离
欧氏距离衡量两个向量在空间中的直线距离。它直观易懂，适合某些低维或经过标准化的表示，但在高维稀疏文本空间中，效果往往不如余弦相似度稳定。
3.3 杰卡德相似度
杰卡德相似度主要用于比较集合之间的重叠程度。若把文档视为词集合，它可以衡量两篇文档共享词项的比例，适合处理二值化特征或关键词集合。
3.4 语义相似度
语义相似度不仅比较表面词项，还尝试判断文本在含义层面的接近程度。这类度量更适用于存在同义改写、表达多样化或短文本稀疏的场景。
3.4.1 词级语义匹配
词级语义匹配会考虑词义相近、上下位关系或上下文关联等因素。它比简单的词项重合更灵活，能够缓解“词不同义相同”的问题。
3.4.2 向量级语义距离
向量级语义距离通常基于词嵌入、句向量或模型编码结果计算。由于表示中已融合部分语义信息，因此可在一定程度上提升聚类对语义接近文本的识别能力。
4 聚类算法
文档聚类可采用多种算法，不同算法适用于不同规模、不同密度和不同结构的数据。实际应用中常根据文本类型、预期簇数和计算资源进行选择。
4.1 划分式聚类
划分式聚类将文档直接分配到若干预设簇中，通常要求事先指定簇数量。此类方法实现简单、速度较快，是文本聚类中的常见选择。
4.1.1 K-means
K-means 通过不断更新簇中心，使文档逐步向最近的中心收敛。它适合处理大规模文本数据，但对初始值、簇数和距离度量较为敏感。
4.1.2 K-medoids
K-medoids 与 K-means 类似，但簇中心必须是实际存在的样本点，因此对异常点的鲁棒性通常更好。它在某些文本集合中比 K-means 更稳健，但计算代价也往往更高。
4.2 层次聚类
层次聚类通过逐步合并或拆分文档形成树状结构，能够展示文档之间的多层次关系。它适合分析主题结构较复杂的数据集。
4.2.1 自底向上聚类
自底向上聚类从每篇文档各自成簇开始，随后不断合并相近簇，直到满足停止条件。它直观易理解，但在大规模数据上计算量较大。
4.2.2 自顶向下聚类
自顶向下聚类则从一个整体簇出发，再逐步拆分为更小的子簇。该方法有助于形成层级主题结构，适合需要多层次组织结果的场景。
4.3 密度聚类
密度聚类关注样本在空间中的局部密集区域，适用于簇形状不规则、噪声较多的数据。对文本数据而言，它在发现局部主题群时具有一定优势。
4.3.1 DBSCAN
DBSCAN 根据密度连接关系识别簇，并能将孤立样本视为噪声。它不必预先指定簇数，适合结构不规则的文档集合。
4.3.2 基于噪声点的处理
在文本聚类中，噪声点通常对应主题不明确、内容过短或与其他文档差异较大的文本。对这些样本的处理方式会影响最终簇的纯净度和完整性。
4.4 模型驱动方法
模型驱动方法通过概率分布或生成机制解释文档数据，强调对数据生成过程的刻画。这类方法不仅给出分组结果，也可能提供更细致的统计解释。
4.4.1 混合模型
混合模型假设文档来源于若干潜在分布的混合。每个分布可对应一个主题簇，从而实现对文档的概率分配。
4.4.2 概率聚类
概率聚类以概率方式描述文档属于各簇的可能性，而不是硬性地把文档只分到一个类别中。它适合存在主题交叉或边界模糊的文本数据。
4.5 图与谱方法
图与谱方法将文档及其相似关系表示为图结构，再利用图的谱特征进行划分。这类方法能够较好地处理复杂结构和非线性边界。
4.5.1 相似图构建
相似图通常以文档为节点，以相似度为边权，必要时只保留近邻连接。图的构建方式会直接影响后续划分结果和计算效率。
4.5.2 谱聚类
谱聚类利用相似图的拉普拉斯矩阵特征，将高维关系映射到较低维空间，再进行划分。它在处理非球状簇方面较有优势，但对参数和图结构较为敏感。
5 文档聚类流程
文档聚类通常是一个从原始文本到聚类结果的完整处理链条。每一步都会影响最终效果，因此需要结合数据特点进行设计。
5.1 数据收集
数据收集阶段需要确定文档来源、采集范围和数据格式。来源不同，文本的长度、风格和噪声水平也会有明显差异。
5.2 文本预处理
文本预处理的目的在于清理无关信息、统一文本形式，并降低后续特征提取的复杂度。对于非结构化文本来说，这是非常关键的一步。
5.2.1 分词
分词是将连续文本切分为词语或子词单元。其质量会直接影响特征表示，尤其在词边界不显式的语言中更为重要。
5.2.2 去停用词
去停用词是移除诸如虚词、常见连接词等信息量较低的词项。这样可以减少噪声，使模型更关注更具区分度的内容词。
5.2.3 词干化与词形还原
词干化和词形还原用于将不同形态的词统一到基础形式。它们有助于减少词表规模，并提高相似表达之间的一致性。
5.3 特征提取
特征提取阶段将预处理后的文本转化为适合聚类的数值表示。可选特征包括词频、TF-IDF、嵌入向量以及组合特征等。特征的粒度和表达能力会影响聚类的细致程度。
5.4 聚类训练
聚类训练阶段根据所选算法对文档进行分组。此时需要设置簇数、距离阈值、密度参数或其他控制项，并结合验证结果不断调整。
5.5 结果后处理
聚类完成后，往往还需要对结果进行整理和修正，以提高实用性和可读性。后处理可以改善边界样本的归属，也有助于提升最终输出的稳定性。
5.5.1 噪声文档处理
噪声文档可能被剔除、单独标记，或根据规则重新分配。处理方式通常取决于业务目标：若强调纯度，可更严格地排除噪声；若强调召回，则可尝试再次归类。
5.5.2 聚类合并与拆分
在初始聚类结果中，一些簇可能过于接近，也可能内部过于杂糅。此时可通过合并相似簇或拆分复杂簇来优化结构，使结果更符合实际主题分布。
6 聚类质量评估
文档聚类的结果好坏不能仅凭直观判断，需要结合定量指标与人工分析综合评价。不同指标关注的侧重点并不相同。
6.1 内部评价指标
内部评价指标不依赖人工标注，主要根据簇内紧密性和簇间分离度来衡量聚类质量。它们适合在无标签场景下进行模型选择。
6.1.1 轮廓系数
轮廓系数同时考虑样本与同簇样本的接近程度，以及与最近其他簇的分离程度。数值越高，通常表示聚类结构越清晰。
6.1.2 Davies-Bouldin 指数
Davies-Bouldin 指数用于衡量簇间相似性与簇内离散性的综合情况。一般来说，数值越低，说明簇的分离性越好、内部越紧凑。
6.2 外部评价指标
外部评价指标需要参考已知标签或人工标注，用于比较聚类结果与标准答案的一致程度。它们更适合实验评测与算法比较。
6.2.1 准确率类指标
准确率类指标通常通过将聚类结果映射到已知类别后进行计算，用来反映分组与真实标签的匹配程度。由于聚类标签本身无固定语义，这类指标往往需要先做对应关系转换。
6.2.2 純度与归一化互信息
纯度反映每个簇中占主导地位类别的集中程度，便于观察簇的“干净”程度；归一化互信息则衡量聚类结果与真实分类之间的信息一致性。二者常用于评价文本分组质量。
6.3 人工评估
在某些应用中，自动指标无法完全反映聚类结果的实际可用性，因此需要结合人工评估。尤其在主题探索和知识组织场景中，人工判断仍然重要。
6.3.1 可解释性
可解释性关注某个簇是否容易被人理解，是否能通过代表性词语或典型文档说明其主题。可解释性越强，聚类结果越便于后续使用。
6.3.2 主题一致性
主题一致性用于判断同一簇内的文档是否围绕相近主题展开。若一个簇内部内容过于杂乱，即使数量指标不错，其实际价值也可能有限。
7 典型应用
文档聚类在许多信息处理场景中都有实际用途。它能够帮助用户快速浏览大量文本，并从杂乱内容中提炼结构。
7.1 新闻分组
在新闻场景中，聚类可以将同一事件或相近主题的报道归并在一起，便于编辑和读者快速查看相关信息。它也常被用于新闻摘要入口或专题页面组织。
7.2 搜索结果聚合
搜索引擎返回的结果数量往往较多，文档聚类可将相似页面聚合，减少重复内容带来的浏览负担。这样有助于用户更快定位感兴趣的主题。
7.3 学术文献整理
在学术资料管理中，聚类能够按研究方向、方法或关键词相近程度整理文献。对于规模较大的论文库，它可辅助文献综述、专题发现和知识图谱构建。
7.4 电子邮件与工单归类
邮件和工单常包含大量重复性请求或相似问题。文档聚类可以帮助系统自动识别相近内容，便于分派、合并处理或建立常见问题库。
7.5 社交媒体话题发现
社交媒体文本短、更新快，聚类可用于发现热点话题和讨论群组。它有助于分析公众关注点的变化，也便于对高频讨论进行整理。
8 挑战与发展趋势
随着文本规模和应用场景不断扩展，文档聚类也面临新的技术挑战。未来发展方向往往围绕效率、语义理解和可解释性展开。
8.1 高维稀疏性问题
传统文本表示常产生高维稀疏向量，导致距离计算不稳定、存储成本较高。如何在保留区分度的同时降低维度，是长期存在的问题。
8.2 短文本聚类难题
短文本信息量少，词汇重叠有限，容易造成相似度不稳定。借助语义表示、上下文扩展和外部知识，是提升短文本聚类效果的重要方向。
8.3 动态与流式文档聚类
在新闻流、评论流或工单流场景中，文档持续到达，聚类结果也需要随时间更新。动态聚类和流式处理要求算法具备增量更新与快速响应能力。
8.4 大规模分布式计算
面对海量文档时，单机算法往往难以满足时效要求。分布式计算、并行化训练与近似搜索等技术，正在成为大规模文档聚类的重要支撑。
8.5 深度语义与可解释性结合
深度模型提升了语义理解能力，但其内部机制往往较难解释。未来文档聚类的发展趋势之一，是在保持语义性能的同时，增强结果可解释性与可控性。