1 基本概念
1.1 定义
词袋模型是一类用于表示文本的经典方法。它把一段文本看作由若干词项组成的集合或“袋子”，重点描述词项是否出现以及出现了多少次，而不直接保留词语在原文中的排列顺序。由于这种表示方式主要基于统计计数，因此常被用于将自然语言文本转换为机器可处理的数值特征。
1.2 核心思想
词袋模型的核心在于：文本的意义可以在一定程度上通过词项分布来近似刻画。也就是说，只要知道一个文档中有哪些词、各出现多少次，就能够提取出对任务有用的信息。该思想非常适合与分类、检索和聚类等依赖特征统计的任务结合。
1.2.1 词项独立假设
词袋模型通常默认词项之间相互独立，即一个词是否出现，不依赖于另一个词的出现位置或组合关系。在实际应用中，这一假设并不严格符合语言规律，但它使建模过程大幅简化，也便于后续计算与分析。
1.2.2 忽略词序与语法
该模型不考虑词语顺序、句法结构和上下文关系。例如，“猫追狗”和“狗追猫”在词袋表示下可能拥有相同的词项集合。正因为如此，词袋模型牺牲了部分语言细节，但换来了实现上的简洁和稳定的特征抽取方式。
1.3 表示目标
词袋模型的目的，是将非结构化文本转换成结构化的向量或矩阵形式，使其能够输入到传统机器学习算法中。其本质是把语言内容映射到一个可计算的特征空间。
1.3.1 文本向量化
在词袋表示中，每篇文档通常对应一个向量，向量中的每一维代表词汇表中的一个词项。某个词在文档中的出现情况，会以数值形式体现在对应维度上，从而实现文本的数值编码。
1.3.2 特征空间构建
词袋模型通过建立词汇表，形成高维特征空间。每个文本样本都被投影到这一空间中的某个位置，样本之间的距离或相似度可据此进行比较。这种构建方式为后续的分类、聚类和检索提供了统一的数据基础。
2 历史与发展
2.1 起源背景
词袋思想的形成与早期统计语言学、信息检索和文本自动处理需求密切相关。随着计算机逐步用于文档管理，人们开始寻找一种不依赖复杂语言分析、却能有效描述文本内容的方法，词袋模型便在这一背景下逐渐成型。
2.2 在信息检索中的早期应用
在信息检索领域，词袋表示很早就被用于文档匹配和索引构建。系统通常将文档拆分为词项，并依据词频或加权词频判断文档与查询之间的相关程度。这种方法在大规模文档集合中较易实现，也便于检索结果排序。
2.3 在自然语言处理中的普及
随着文本分类、自动摘要和主题分析等任务的发展，词袋模型逐渐成为自然语言处理中的基础表示之一。它因处理简单、效果稳定而被广泛采用，并长期作为许多实验研究中的标准输入形式。
2.3.1 统计文本处理阶段
在以统计方法为主的文本处理阶段，词袋模型常与朴素贝叶斯、支持向量机等算法结合使用。此时，研究重点更多集中在特征提取和权重设计，而不是复杂的语言结构建模。
2.3.2 机器学习时代的基线方法
进入机器学习广泛应用的阶段后，词袋模型常被用作基线方法。研究者会先用它建立一个简单但可比较的标准，再评估更复杂模型是否真正带来性能提升。这种地位使其在方法学上具有重要参考价值。
3 数学表示
3.1 词汇表构建
词袋模型首先需要建立词汇表，即从训练语料中抽取所有词项，并赋予每个词唯一编号。词汇表的规模通常决定了向量维度的大小，也影响后续计算开销。
3.1.1 分词与词项提取
在中文文本中，分词是构建词汇表的重要步骤。系统会先将连续文本切分为词或短语，再筛选出用于建模的词项。不同的切分策略会影响最终的特征集合。
3.1.2 词表去重与编号
在得到词项后，需要对重复词进行去重，并按照固定规则编号。这样，每个词就能对应向量中的一个确定位置，保证不同文档之间的表示具有一致性。
3.2 向量表示方式
文档一旦完成词汇表映射，就可以转化为向量。不同的数值定义方式会影响模型对文本信息的表达精度与适用场景。
3.2.1 二值表示
二值表示只记录某个词是否在文档中出现，出现记为1，未出现记为0。这种方式适合强调“有无”信息的任务，但会忽略词语重复所带来的强度差异。
3.2.2 频次表示
频次表示直接记录词项在文档中的出现次数。它能反映词语在文本中的相对重要程度，因此比二值表示更常用于文本分类和检索任务。
3.2.3 归一化表示
归一化表示会对词频进行缩放处理，以减弱文档长度差异带来的影响。常见做法包括按总词数归一化，或对向量进行长度标准化，使不同文本之间更便于比较。
3.3 稀疏矩阵形式
当词汇表较大时，单个文档通常只包含其中很少一部分词项，因此词袋向量大多是稀疏的。此时，将多个文档组织成矩阵会更直观，也更便于批量处理。
3.3.1 高维稀疏性
词袋表示的维度往往很高，但非零元素却很少，这就是典型的高维稀疏特征。稀疏性既是其自然结果，也是算法设计时需要重点处理的问题。
3.3.2 存储与计算特点
由于大部分位置为零，通常会采用稀疏矩阵结构存储数据，以节省内存并加快运算。对于大规模语料，这种设计显著提高了文本处理效率。
4 特征工程流程
4.1 文本预处理
在构建词袋表示之前，通常要对原始文本进行规范化处理，以减少无关噪声对特征质量的影响。预处理是影响最终效果的重要环节。
4.1.1 大小写规范化
对于包含大小写差异的文本，常会统一转换为小写或采用其他标准形式。这样可以避免同一词项因书写方式不同而被当作不同特征。
4.1.2 去除标点与噪声
标点符号、特殊字符和无意义片段通常会被过滤或单独处理。这样做有助于减少特征冗余，并使统计结果更加稳定。
4.1.3 停用词处理
停用词是指那些在文本中频繁出现、但对区分任务贡献较小的词，如常见虚词。删除或降低其权重，往往可以让模型更聚焦于信息量较高的词项。
4.2 词项统计
完成预处理后，就可以对词项进行统计，形成基础特征值。这一步决定了每个词在文档中的量化结果。
4.2.1 词频统计
词频统计关注每个词在文档中的出现次数。它是最直接的词袋特征，也是许多后续加权方法的基础。
4.2.2 文档频率统计
文档频率统计的是某个词出现在多少篇文档中，而不是在单篇文档中出现了多少次。该指标常用于衡量词项的普遍性，并为权重设计提供依据。
4.3 权重设计
为了让更有区分度的词获得更高影响，词袋模型常引入不同的权重方案。权重设计可以改善单纯词频统计在实际任务中的表现。
4.3.1 词频加权
词频加权直接以词出现次数作为权重，或对词频进行简单变换。它实现方便，适合对词项重复较敏感的任务。
4.3.2 TF-IDF 加权
TF-IDF 将词频与逆文档频率结合起来，既考虑词在当前文档中的重要性，也考虑其在整个语料中的稀有程度。常见结果是：高频但普遍出现的词权重下降，而更具区分性的词权重上升。
4.3.3 其他变体权重
除了常规词频和 TF-IDF 外，还有一些改进型权重方案，例如平滑处理、对数缩放或领域定制权重。这些方法通常服务于特定任务，以增强表示效果或降低噪声影响。
5 典型应用
5.1 文本分类
词袋模型最常见的用途之一是文本分类。它能够将文本转为特征向量，再交由分类器判断类别，适合新闻、评论、邮件等类型的自动归类任务。
5.1.1 垃圾邮件识别
在垃圾邮件识别中，词袋特征可以帮助系统捕捉某些高频广告词、敏感短语或异常用语模式。由于这类任务对词项统计较敏感，因此词袋方法通常具备较好的基础效果。
5.1.2 主题分类
主题分类旨在判断文本属于哪个主题类别，如体育、科技或财经。词袋模型能够通过主题相关词的分布来支持这类判别任务，是常见且可靠的输入表示方式。
5.2 情感分析
在情感分析中，词袋模型常用于识别带有积极或消极倾向的词项，并据此判断文本情绪。虽然它难以处理反讽、否定和复杂语境，但在基础情感任务中仍具有实用价值。
5.3 信息检索
词袋表示在信息检索中应用广泛，尤其适用于文档与查询之间的相关性计算。它能够以较低成本建立索引和匹配机制。
5.3.1 文档匹配
文档匹配通常通过比较查询词和文档词项的重合程度来完成。词袋模型提供的统计特征可直接用于相似度计算和排序。
5.3.2 查询表示
查询本身也可以被表示为词袋向量。这样，查询与文档便能在同一特征空间中比较，从而方便构建检索系统。
5.4 主题建模
词袋模型也是主题建模的常用输入形式之一。由于主题模型通常关注词项共现统计，因此词袋表示与其天然契合。
5.4.1 作为输入表示
在主题建模中，每篇文档的词袋向量可以作为输入，供模型分析其词项分布特征。模型再进一步推断文档可能涉及的主题结构。
5.4.2 与概率模型结合
词袋表示常与概率生成模型配合使用，通过估计词项在主题中的分布来解释文档内容。这类方法在文本挖掘中具有较强的可解释性。
6 优点与局限
6.1 优点
词袋模型之所以长期流行，主要因为它在简洁性、可操作性和计算成本之间取得了较好平衡。
6.1.1 实现简单
词袋模型不依赖复杂的语法分析或深层语言理解，只需完成分词、统计和向量化即可使用，因此实现门槛较低。
6.1.2 可解释性较强
模型中的每个维度对应一个明确词项，特征含义直观，便于分析某些词对结果的影响。这一点在实验研究和业务排查中都很实用。
6.1.3 计算效率高
由于表示规则明确且便于稀疏存储，词袋模型在训练和推断阶段通常都较高效，适合处理较大规模文本数据。
6.2 局限
尽管实用，词袋模型也存在明显不足，尤其是在需要理解语言结构和语义关系的任务中。
6.2.1 丢失词序信息
词袋模型无法区分词语排列差异，因此对依赖顺序的表达能力有限。这使它难以处理很多细粒度语言现象。
6.2.2 难以表达语义关系
同义词、近义表达以及上下文语义通常无法由单纯词频很好地反映。结果是，不同表达方式可能被视为完全不同的特征集合。
6.2.3 维度高且稀疏
随着词汇表扩大，特征空间会迅速变得高维而稀疏。这不仅增加存储压力，也可能给某些算法带来训练与泛化方面的挑战。
6.3 适用场景
词袋模型更适合那些对语言细节要求不高、但需要快速建立稳定基线的场景。
6.3.1 小规模任务
在数据量不大或问题结构较简单的任务中，词袋模型往往能够以较低成本获得可接受的效果。
6.3.2 基线模型评估
在研究与工程实践中，它常被用作基线，以便衡量新方法是否真正优于传统表示。只要复杂模型无法显著超过词袋基线，其优势就需要进一步审视。
7 扩展与改进
7.1 N-gram 模型
N-gram 模型是在词袋基础上的常见扩展，通过把相邻若干词组合为特征，部分弥补词序信息的缺失。
7.1.1 相邻词组合表示
N-gram 将连续出现的词组合成一个新的特征单元，例如双词组或三词组。这样，短语级信息能够被纳入统计表示中。
7.1.2 对局部上下文的补充
由于能够记录局部邻接关系，N-gram 对一些固定表达、常见搭配和短语模式更敏感。它虽不能完整恢复句法，但能增强对局部上下文的识别能力。
7.2 词嵌入对比
词嵌入是另一类常见文本表示方法，与词袋模型形成鲜明对比。前者更强调语义分布，后者更强调统计计数。
7.2.1 分布式表示
词嵌入通常把词映射到低维连续向量空间中，使语义相近的词在向量上更接近。这类表示在捕捉词语关系方面通常优于纯计数方法。
7.2.2 与词袋模型的差异
词袋模型使用稀疏高维表示，词嵌入则多为低维稠密表示；前者侧重词项出现情况，后者更重视上下文和语义相似性。两者的设计思路和适用目标因此不同。
7.3 混合表示方法
在实际系统中，词袋特征常与其他表示方法结合使用，以兼顾统计稳定性和语义表达能力。
7.3.1 统计特征融合
混合方法可能将词袋特征与词性、长度、标点模式或其他文本统计指标共同输入模型，从而提升特征覆盖面。
7.3.2 深度学习前处理
在一些管线中，词袋表示可作为深度模型之外的辅助特征，或用于初步筛选和粗粒度分类。这样既保留传统特征的稳定性，也能为更复杂模型提供补充信息。
8 相关概念
8.1 文档-词项矩阵
文档-词项矩阵是将文档与词项关系以矩阵形式组织的表示结构。它通常是词袋模型最直接的数学实现方式。
8.2 词频-逆文档频率
词频-逆文档频率是一种常见的词项加权方法，用于突出在当前文档中重要、但在全语料中较少见的词。
8.3 词向量
词向量是将词映射为连续数值向量的表示方式，通常用于捕捉语义相似性，与词袋模型形成不同的建模路线。
8.4 主题分布表示
主题分布表示描述一篇文档在多个主题上的概率或权重分配，常见于主题模型中，用来概括文本的潜在主题结构。