1 基本概念
1.1 定义与研究对象
信息检索是研究如何从大量信息资源中，按照用户的需求找到、组织并呈现有用内容的方法体系。其研究对象既包括文本，也包括图像、音频、视频、结构化记录等多种信息载体。与单纯的存储或管理不同，信息检索更强调“找得到、找得准、找得快”。
1.2 信息、数据与知识的区别
数据通常指经过记录但尚未充分解释的符号或事实，信息则是对数据进行加工后具有一定意义的内容，知识则是在信息基础上形成的可理解、可应用的认识。信息检索主要处理的是信息层面的内容，但在实际系统中，常常需要借助数据组织方式和知识表示方法来提升检索效果。
1.3 信息检索的目标
信息检索的核心目标，是在尽可能短的时间内，为用户提供最相关、最有用的结果。这里的“相关”并不只是字面匹配，还包括主题一致、语义接近、意图符合以及时效适宜等多个层面。不同场景下，系统对准确性、覆盖率、速度和个性化的权重也会有所不同。
1.4 信息检索与数据库查询的差异
信息检索与数据库查询都涉及“查找”，但侧重点并不相同。数据库查询通常面向结构化数据，强调条件明确、结果精确和逻辑一致；信息检索则常面对非结构化或半结构化文本，用户需求往往模糊，系统需要通过排序和相关性判断来返回更合适的结果。前者更接近“是否满足条件”，后者更接近“谁更值得优先展示”。
2 发展历史
2.1 早期文献检索
信息检索的早期形态主要出现在图书馆和文献情报领域，以人工编目、主题索引和卡片目录为代表。用户通过作者、题名、主题词等入口查找资料，依赖馆员经验和分类体系完成检索。这一阶段奠定了现代检索中“组织信息、建立入口、支持查询”的基本思路。
2.2 计算机检索系统的兴起
随着计算机技术的发展，文献检索逐步从手工操作转向自动化处理。检索系统开始能够批量存储文献、建立索引并快速响应查询，检索语言和检索策略也更加标准化。这个阶段的重要变化，是机器开始承担大量重复性工作，检索效率显著提升。
2.3 互联网搜索时代
互联网的普及使信息规模急剧增长，搜索引擎成为信息检索最典型的应用形式。网页抓取、倒排索引、链接分析和大规模排序技术相继成熟，使系统能够处理海量网页并快速返回结果。与此同时，用户检索行为也从“查资料”扩展为“找答案、找服务、找商品”。
2.4 智能检索与语义检索的发展
进入智能化阶段后，检索系统开始更多利用自然语言处理、机器学习和深度学习技术，尝试理解查询意图与上下文语义。系统不再只依赖关键词是否出现，还会综合考虑实体、关系、用户历史和场景信息。语义检索、多轮交互和向量化表示，成为这一时期的重要特征。
3 检索系统的基本组成
3.1 文档集合
文档集合是检索系统的基础资源库，可以由网页、论文、商品信息、新闻报道、内部文件等组成。集合的规模、更新频率和内容质量，都会直接影响检索系统的性能。不同类型文档在结构、长度和噪声水平上差异较大，因此通常需要分别处理。
3.2 索引系统
索引系统负责将原始文档转换为便于快速检索的结构。它通过预处理、词项组织和位置记录等方式，减少查询时的扫描成本。没有索引，系统往往只能逐篇比对，难以满足大规模场景下的实时响应需求。
3.3 查询处理模块
查询处理模块负责接收用户输入，并将其转化为系统可计算的形式。它通常包括分词、规范化、意图识别、错误修正和查询扩展等步骤。该模块的质量，往往决定了系统是否能够真正理解用户想找什么。
3.4 排序与反馈模块
排序模块依据相关性模型对候选结果进行打分和排列，反馈模块则根据点击、停留、收藏等行为不断优化后续检索效果。二者共同构成检索系统的“输出端”和“学习端”。在实际应用中，它们决定了用户最先看到什么，以及系统如何逐步变得更聪明。
4 检索模型
4.1 布尔模型
布尔模型是较早的检索模型之一，以逻辑表达式控制文档是否命中。它将检索词组合为条件集合，只有满足规定条件的文档才会被返回。该模型规则清晰，适合结构明确的检索需求，但对模糊查询的适应性较弱。
4.1.1 与、或、非逻辑
布尔检索通常使用“与”“或”“非”等逻辑运算来构造查询。使用“与”可以缩小范围，确保多个条件同时满足；“或”用于扩大覆盖面；“非”则用于排除不需要的内容。这种表达方式简单直接，但对普通用户来说，往往需要一定学习成本。
4.1.2 精确匹配特征
布尔模型强调条件是否成立，而不强调程度高低，因此结果具有较强的二元性。文档要么满足条件，要么不满足条件，缺少中间层次。这种特征使它在法律、档案和专业数据库中仍有一定价值，但在开放式网页搜索中通常不占主导。
4.2 向量空间模型
向量空间模型将文档和查询表示为向量，通过计算相似度来判断相关程度。它突破了布尔模型“非黑即白”的限制，使相关性能够以连续值呈现。该模型推动了检索从精确匹配走向排序匹配的重要转变。
4.2.1 文档向量表示
在向量空间中，文档通常被表示为由多个词项及其权重构成的向量。词项出现得越重要，其权重越高，文档在对应维度上的数值也越大。这样一来，系统便可用统一的数学形式处理文档与查询之间的关系。
4.2.2 余弦相似度
余弦相似度用于衡量两个向量方向上的接近程度，常被用来表示查询与文档的相似性。它关注的是内容分布模式是否相近，而不单纯依赖绝对长度。由于计算简便且效果稳定，它长期是检索系统中的基础方法之一。
4.3 概率检索模型
概率检索模型从“文档与查询相关的可能性”出发，尝试以统计方式刻画相关性。它不要求完全精确地判断，而是估计某个文档被用户认为有用的概率。此类模型在理论上更贴近实际检索行为，因此具有较强的解释空间。
4.3.1 相关性概率估计
相关性概率估计的关键，是利用历史反馈、词项分布和先验信息推断文档的相关程度。模型会根据可用特征对不同文档进行概率打分，再据此排序。虽然这种估计不可能绝对准确，但能够有效支持大规模候选集的筛选。
4.3.2 BM25模型
BM25是概率检索思想下最常用的经典模型之一。它综合考虑词项频率、文档长度和词项区分度，对结果进行较为平衡的评分。由于实现简洁、效果稳定，BM25至今仍是许多系统中的强基线方法。
4.4 语言模型检索
语言模型检索把文档视为能够生成查询的概率模型，通过估计查询在文档中出现的可能性进行排序。该方法具有较强的统计一致性，并且便于与自然语言处理方法结合。它在现代检索系统中占有重要地位。
4.4.1 查询似然思想
查询似然思想的核心，是寻找“最有可能产生当前查询”的文档。系统并不直接判断相关与否，而是计算查询在各文档语言模型中的出现概率。该思路天然适合概率框架，也为后续神经检索方法提供了接口。
4.4.2 平滑技术
由于某些词项可能未在文档中出现，模型需要平滑技术来避免概率为零的问题。平滑方法会在文档信息与整体语料统计之间进行折中，使估计结果更加稳健。常见做法包括对未见词给予小概率补偿，以提升模型的泛化能力。
5 索引技术
5.1 倒排索引
倒排索引是信息检索中最核心的数据结构之一。它按照词项建立到文档集合的映射，使系统能够迅速定位包含某个词的文档。相比逐篇扫描，倒排索引极大提高了查询效率。
5.1.1 词项词典
词项词典保存了系统中出现过的所有词及其基本信息，如词条本身、频次和索引位置等。它相当于检索系统的入口目录，查询时先在词典中定位词项，再读取对应记录。词典设计的优劣，会影响检索速度和存储开销。
5.1.2 投稿列表
投稿列表并非标准术语，通常可理解为倒排列表，即每个词项对应的文档记录集合。列表中往往包含文档编号、词频以及位置等信息，便于系统完成快速匹配和排序。列表越长，检索范围越大，但处理成本也会相应增加。
5.2 建索引流程
建立索引是把原始文档转换为可检索结构的过程，通常包含解析、切分、归一化和写入等步骤。索引构建既要考虑效率，也要考虑后续更新与维护。对于大规模系统来说，建索引往往是一项持续性的工程。
5.2.1 文档解析
文档解析是将不同格式的原始内容提取为统一可处理文本的过程。系统需要识别标题、正文、元数据等部分，并过滤掉无关噪声。解析质量越高，后续索引和排序通常越可靠。
5.2.2 词项归一化
词项归一化旨在将不同形式但语义相近的表达统一处理，例如大小写统一、词形还原、去除停用词等。这样可以减少同一概念的分散表示，提高检索一致性。归一化过强可能损失细节，过弱又会增加噪声，因此需要适度平衡。
5.3 索引压缩
由于倒排索引规模可能非常庞大，压缩技术成为降低存储成本和加快传输速度的重要手段。好的压缩方案不仅能节省空间，还可能提升缓存命中率和读取效率。检索系统在压缩与解压之间通常需要寻找折中。
5.3.1 差分编码
差分编码通过记录相邻文档编号之间的差值，而不是直接保存完整编号，来减少数值规模。由于文档编号往往具有递增特征，这种方法通常能显著降低存储量。它是索引压缩中常见而有效的基础技术。
5.3.2 压缩存储策略
压缩存储策略还包括变长编码、块压缩和按需解压等方法。不同策略在压缩率、访问速度和实现复杂度上各有差别。系统设计时，需要结合查询频率、更新频率和硬件资源做出选择。
6 查询处理
6.1 查询分析
查询分析的作用，是理解用户输入并将其转为适合检索的表达。它往往是从自然语言到系统语言的第一步。分析得越准确，后续的检索和排序就越容易命中用户意图。
6.1.1 分词与词形还原
分词是将连续文本切分为可处理词项的过程，尤其在没有天然空格分隔的语言中尤为重要。词形还原则尝试把不同变形的词统一到基本形式，例如复数和单数、时态变化等。两者共同作用，可以减少表达差异对检索的影响。
6.1.2 拼写纠错
用户输入中常出现误拼、漏字或键盘邻近错误，拼写纠错能够提升查询可用性。系统通常会结合词典、编辑距离和上下文频率来判断最可能的正确表达。对移动端和快速输入场景而言，这一功能尤其重要。
6.2 查询扩展
查询扩展是指在原始查询基础上加入更多相关表达，以扩大覆盖面并提升召回。它常用于解决用户表达过于简短或过于局限的问题。扩展得当时，结果会更丰富；扩展过度时，也可能引入噪声。
6.2.1 同义词扩展
同义词扩展会把语义相近的词加入查询，如将不同说法统一为共同意图。它能帮助系统跨越措辞差异，找到更多潜在相关文档。不过，同义关系并非总是完全可替换，因此扩展时通常需要结合场景判断。
6.2.2 相关词推荐
相关词推荐通常依据词共现、点击行为或主题关联来生成。与严格意义上的同义词不同，相关词更偏向“同一话题下可能有帮助的表达”。它适合帮助用户继续探索主题，也常用于搜索框提示和自动补全。
6.3 查询重写
查询重写是将原始查询改写为更适合系统处理的形式，以提升理解和执行效率。它既可以改变结构，也可以简化复杂表达。重写的目标，是在不改变用户意图的前提下提高检索质量。
6.3.1 结构化查询转换
当用户输入包含字段、条件或逻辑关系时，系统可将其转换为结构化查询表达。这样有助于明确过滤范围，也便于后端执行。该方法在专业数据库和企业检索中较为常见。
6.3.2 复杂查询简化
复杂查询简化主要针对过长、过细或存在歧义的请求。系统可能提取关键实体、去除冗余修饰，或拆分为更易处理的子问题。简化处理有助于提高稳定性，但也需要避免过度裁剪信息。
7 相关性与排序
7.1 相关性的定义
相关性是信息检索中的核心概念，通常指检索结果与用户需求之间的匹配程度。它并非单一标准，而是受主题、意图、时效、权威性、可读性等因素共同影响。由于需求具有主观性，相关性往往需要结合用户行为与场景来综合判断。
7.2 特征工程与打分函数
在传统排序系统中，特征工程用于提取可用于打分的各种信号，如词频、文档长度、点击率、来源权威度等。打分函数则把这些特征组合成一个综合分值，用于结果排序。特征设计的质量，往往直接影响排序上限。
7.3 学习排序
学习排序是利用标注数据或行为数据训练模型，让系统自动学习如何对结果进行排序。与手工设定规则相比，它更擅长处理复杂特征及其组合关系。随着数据积累，学习排序已成为现代检索的重要方法。
7.3.1 点式排序
点式排序将每个候选结果视为独立样本，直接预测其相关分数。该方法实现较简单，适合快速搭建基础排序模型。但由于忽略了结果之间的相对关系，它在复杂场景中的表达能力有限。
7.3.2 对式排序
对式排序关注两个结果之间谁更优，训练时通过成对比较来学习偏好关系。这种方法比点式排序更贴近“排序”本身，因为它直接建模相对顺序。其不足是训练样本构造较为复杂，且对噪声较敏感。
7.3.3 列表式排序
列表式排序将整个结果列表作为整体进行优化，目标是提升最终展示顺序的综合质量。它可以直接面向排序指标进行训练，通常更符合真实检索场景。相应地，模型训练和优化也更复杂。
7.4 个性化排序
个性化排序会根据不同用户的兴趣、历史和上下文，对结果进行差异化调整。它的目标不是单纯寻找“最通用”的答案，而是尽量贴合“这个用户此时最需要什么”。在信息过载环境中，个性化已成为提升体验的重要手段。
7.4.1 用户画像
用户画像是对用户兴趣、偏好、习惯和可能需求的抽象表示。它通常由搜索历史、点击记录、位置、设备和时间等信息构成。画像越细致，个性化排序越有针对性，但也更依赖数据质量和隐私保护。
7.4.2 行为反馈
行为反馈包括点击、停留、跳出、收藏、转发等用户操作信号。系统会将这些信号用于判断结果是否满足需求，并据此优化排序策略。由于行为并不总能完全代表满意度，因此通常需要与其他特征共同使用。
8 文本表示与特征提取
8.1 词袋模型
词袋模型把文本视为词项集合，只关注词是否出现以及出现频率，而不考虑语序。它简单高效，适合大规模计算，是早期文本处理的基础表示方法之一。尽管表达能力有限，但在许多基线系统中仍然常见。
8.2 TF-IDF
TF-IDF通过结合词在文档中的出现频率和其在整个语料中的稀有程度，衡量词项的重要性。常见词如果在很多文档中普遍出现，其权重会下降；而较具区分力的词会得到更高分值。该方法在文本分类和检索中都曾广泛使用。
8.3 词向量表示
词向量表示将词映射到连续空间中的低维向量，使语义相近的词在空间中更接近。它缓解了传统稀疏表示的不足，也增强了模型捕捉相似关系的能力。词向量为后续深度学习检索奠定了重要基础。
8.4 上下文语义表示
上下文语义表示强调词义会随着上下文变化而变化，因此同一个词在不同句子中可对应不同向量。它比静态词向量更能反映真实语言中的多义现象。现代检索系统中，这类表示被广泛用于语义理解和精排阶段。
8.4.1 预训练语言模型
预训练语言模型通过在大规模语料上预先学习语言规律，再迁移到具体任务中使用。它能够生成更丰富的上下文表示，并提升对复杂查询的理解能力。其优势在于通用性强，但计算和部署成本也相对较高。
8.4.2 向量检索
向量检索通过计算向量之间的相似度，直接寻找语义上接近的内容，而不完全依赖关键词重合。它适合处理表达多样、语义相近但字面不同的查询。结合近似最近邻搜索技术后，向量检索可在大规模场景中保持较高效率。
9 检索评价
9.1 评价指标
检索系统需要通过标准化指标衡量效果，以便比较不同方法的优劣。评价通常从命中率、覆盖率、排序质量和用户体验等方面展开。没有统一的指标体系，系统优化就难以客观进行。
9.1.1 准确率
准确率表示返回结果中相关文档所占比例，体现的是结果“有多少是对的”。它适合衡量结果纯度，但不能反映系统是否找全了相关内容。对于只返回少量结果的系统，准确率尤其重要。
9.1.2 召回率
召回率衡量的是所有相关文档中，被系统成功找出的比例。它反映系统是否“找得全”，对信息覆盖能力很关键。若召回率过低，系统即使结果看起来很精确，也可能遗漏重要内容。
9.1.3 F1值
F1值是准确率与召回率的综合指标，常用于在两者之间取得平衡。它将二者同时纳入评价，避免只强调一方而忽略另一方。对于需要兼顾覆盖与精度的场景，F1值具有较强参考意义。
9.2 排序评价指标
排序评价指标更关注相关结果在列表中的位置，而不仅是是否被找出。因为在实际检索中，前几条结果通常获得最多注意。排序质量直接影响用户感知，因此评价体系也更细化。
9.2.1 MAP
MAP即平均精确率均值，用于衡量多个查询下整体排序表现。它会综合考虑相关结果出现的位置和排序顺序，适合评估需要多次查询的系统。该指标在学术检索中使用广泛。
9.2.2 NDCG
NDCG考虑结果的分级相关性，并对靠前位置给予更高权重。它特别适合结果相关程度并不完全相同的场景。由于更符合用户浏览行为，NDCG常被用于现代搜索系统评价。
9.2.3 MRR
MRR关注第一个相关结果出现的位置，强调用户最先看到的有效答案。对于问答检索和导航式搜索，这一指标尤其有意义。它反映的是“第一眼能不能找到对的东西”。
9.3 评测数据集
评测数据集是检索研究与系统比较的重要基础，通常包括查询、文档集合、相关性标注和任务说明。统一数据集能够减少主观差异，使不同方法之间具备可比性。高质量数据集往往来自人工标注与真实行为数据的结合。
9.3.1 标注语料
标注语料由人工或半自动方式为查询与文档关系赋予相关性标签。标注质量直接决定评测可信度，因此通常需要明确标准和复核机制。它是训练模型和检验效果的关键资源。
9.3.2 基准测试
基准测试是在固定任务和数据集上，对不同系统进行统一比较的过程。通过标准化设置，研究者可以观察方法改进是否真正有效。基准的存在，也推动了检索领域形成可重复、可验证的研究范式。
10 应用领域
10.1 搜索引擎
搜索引擎是信息检索最广为人知的应用，面向开放网络中的海量网页与多种内容形式。它需要兼顾抓取、索引、排序、反作弊和结果展示等多个环节。由于查询场景极其复杂，搜索引擎通常也是检索技术最集中的体现。
10.2 数字图书馆
数字图书馆主要服务于图书、期刊、论文和档案等资源的查询与利用。其检索强调文献的规范描述、分类体系和主题关联。与通用搜索相比，它更注重资源权威性和学术脉络。
10.3 电子商务搜索
电子商务搜索面向商品、商家、评论与促销信息，除了相关性，还要考虑转化率、库存、价格和用户偏好。用户往往带有较明确的购买意图，因此排序目标常不仅是“找相关”，还要“找合适”。这一领域对实时性和个性化要求较高。
10.4 企业知识管理
企业知识管理中的检索，通常用于内部文档、制度流程、技术资料和历史案例的快速查找。由于内容分散且格式不一，系统需要较强的统一索引和权限控制能力。良好的企业检索系统，能显著减少重复劳动和信息孤岛现象。
10.5 问答系统
问答系统将检索与自然语言理解结合，目标是直接返回问题的答案或答案候选。它可能先检索相关文档，再从中抽取片段进行回答。随着智能化程度提升，问答系统已成为信息检索的重要延伸形态。
11 主要挑战
11.1 语义歧义
同一个词、短语或句子在不同语境下可能有不同含义，这给检索理解带来困难。系统如果只看字面，很容易把结果导向错误方向。处理歧义通常需要结合上下文、用户历史和领域知识。
11.2 长尾查询
长尾查询是指那些出现频率低、表达多样且难以预先覆盖的查询。它们往往占据大量真实搜索流量，却最难处理。由于训练数据有限，系统在这类查询上的表现通常较弱。
11.3 数据稀疏性
在许多场景中，查询和文档之间共享的有效词项很少，导致匹配信号不足。数据稀疏会削弱传统关键词方法的效果，也增加模型学习难度。通过语义表示和外部知识补充，是缓解这一问题的常见思路。
11.4 实时性与可扩展性
现代检索系统需要在极短时间内处理大量请求，同时支撑持续增长的数据规模。实时更新、并发访问和分布式存储都会增加系统复杂度。如何在速度、成本和精度之间平衡，是工程实现中的长期课题。
11.5 多模态检索
多模态检索面向文本、图像、音频、视频等不同类型信息的联合搜索。由于各模态的表示方式和语义对齐方式不同，建模难度明显高于单一文本检索。它要求系统既能理解内容，也能建立跨模态对应关系。
12 前沿方向
12.1 神经信息检索
神经信息检索利用深度学习模型自动学习查询与文档之间的匹配关系。与传统方法相比，它更擅长捕捉复杂语义和非线性特征。当前研究重点包括表示学习、交互建模和高效检索结合等方向。
12.2 语义搜索
语义搜索不再局限于关键词重合，而是追求对用户真实意图的理解。它通常依赖实体识别、语义表示和知识增强技术，使系统能够返回更符合上下文的结果。随着语言模型的发展，语义搜索正逐渐从辅助功能变为主流能力之一。
12.3 多轮交互检索
多轮交互检索允许系统通过连续提问、反馈和修正逐步缩小范围。它更接近人与人之间的协作式查找过程，适合需求本身不明确的场景。该方向的关键，在于如何在交互次数和用户体验之间取得平衡。
12.4 多模态信息检索
多模态信息检索强调不同类型内容的统一表示与联合排序。它可以支持“用文字找图片”“用图片找商品”或“用语音找视频”等任务。该方向对跨模态对齐和检索效率提出了更高要求。
12.5 检索增强生成
检索增强生成将信息检索与生成式模型结合，先从知识库或文档集合中找出相关内容，再基于这些内容生成回答。它能够减少单纯生成模型的幻觉问题，并提升答案的时效性和可追溯性。该方向已成为当前智能问答与知识应用的重要趋势。