1 多模态检索概述
多模态检索是信息检索中的一个重要方向，核心在于利用不同类型的数据共同完成检索任务。与传统主要依赖文本的检索方式不同，它面向文本、图像、音频、视频等多种信息来源，通过建立跨模态语义联系，使系统能够根据一种模态的信息找到另一种模态中的相关内容。
这一领域的发展与多媒体数据爆发式增长密切相关。随着互联网平台、移动设备和智能终端的普及，用户生成内容呈现出明显的多模态特征，单一模态已难以充分描述信息对象。与此同时，深度学习推动了特征表示、语义对齐和大规模检索效率的提升，使多模态检索逐渐从实验性研究走向实际应用。
1.1 基本定义
多模态检索通常指在多个模态之间建立可比较的表示，并据此完成搜索、匹配、排序与推荐的技术体系。其目标不是简单地识别某一种媒体内容，而是理解不同模态之间的语义对应关系，例如通过文字查询图片，或依据图片找到相关视频片段。
从技术视角看，多模态检索一般包含表示学习、跨模态映射、相似度计算和结果排序等环节。系统需要把异构数据转换为可度量的向量表示，再根据用户查询与候选内容之间的相关性输出结果。
1.2 发展背景
多模态检索的早期形态主要出现在多媒体数据库与数字图书馆系统中，当时研究重点多集中在图像特征、音频特征和视频镜头切分等基础问题。受限于算力与数据规模，早期方法多依赖人工设计的特征和规则。
进入深度学习阶段后，神经网络能够自动学习高维语义表示，显著改善了跨模态匹配效果。另一方面，海量图文、音视频内容的持续增长也促使检索系统从“关键词匹配”转向“语义匹配”，使多模态检索成为搜索、推荐和内容管理中的关键技术。
1.3 典型应用场景
多模态检索的应用场景较为广泛，既包括通用信息检索，也包括面向垂直领域的内容发现与管理。其价值主要体现在提升查询灵活性、增强语义理解能力，以及在复杂媒体环境中提高定位效率。
1.3.1 文本到图像检索
文本到图像检索是最常见的跨模态任务之一，用户输入自然语言描述后，系统返回语义匹配的图片。该任务要求模型理解句子中的对象、属性、动作和场景，并在图片集合中找到对应内容。
1.3.2 图像到文本检索
图像到文本检索是根据图片寻找相关描述或说明文字。常见于图像说明生成辅助、图库搜索和视觉问答等场景，系统需要识别图像中的主体、关系与上下文，再与文本集合进行匹配。
1.3.3 视频内容检索
视频检索通常面向片段级或整段视频内容，支持按文本、图像或其他视频片段作为查询条件。由于视频同时包含视觉、音频和时间维度信息，因此其检索任务往往比静态图像更复杂。
1.3.4 语音与音频检索
语音与音频检索主要用于寻找相似声音、音乐片段、广播内容或语音记录。用户既可以用文字描述查询，也可以直接上传音频样本进行匹配，在音乐识别、播客搜索和语音资料管理中应用较多。
2 多模态数据与模态类型
多模态检索建立在对不同数据模态的理解之上。不同模态在信息表达方式、时间结构、噪声特征和可提取语义层次方面差异明显，因此需要分别处理并加以融合。
2.1 文本模态
文本模态以词语、句子和篇章为基本单位，具有语义表达直接、结构清晰、处理成熟等特点。它常作为检索系统中的查询模态，也常用于描述图像、视频和音频的语义标签。
2.2 图像模态
图像模态主要包含颜色、纹理、形状、物体布局等视觉信息。它的特点是信息密度高，但语义通常不显式标注，因此需要通过视觉特征提取和目标识别来辅助理解。
2.3 音频模态
音频模态包括语音、环境声和音乐等内容。与图像不同，音频具有明显的时间连续性和频率特征，检索时既关注声学模式，也关注其对应的语义内容或情感属性。
2.4 视频模态
视频模态可以看作图像序列与音频轨道的组合，同时包含时间变化信息。由于场景、动作与镜头切换不断变化，视频检索往往需要综合帧级、片段级和全局级特征。
2.5 结构化与非结构化信息
在多模态系统中，除原始媒体数据外，还常包含标题、标签、时间、地理位置、作者信息等结构化数据。结构化信息便于快速筛选和索引，而非结构化信息则承载主要语义，两者结合有助于提高检索精度。
3 多模态检索的核心任务
多模态检索的任务形态较为丰富，既包括模态之间的直接查询，也包括面向联合信息源的综合搜索。不同任务对模型结构、训练方式和索引策略有不同要求。
3.1 跨模态检索
跨模态检索指查询模态与目标模态不一致的检索形式，例如文本搜图或图搜文。其关键是学习模态之间的共享语义表示，使不同类型的数据能够在统一空间中比较。
3.2 同模态检索
同模态检索是指在同一模态内部寻找相似内容，如以图搜图、以音频搜音频或以视频搜视频。此类任务虽然不涉及跨模态映射，但仍可能利用多模态信息辅助增强特征表示。
3.3 联合检索
联合检索强调多个模态共同参与结果判断，例如用户提供文字和图片作为复合查询，系统综合两者信息返回候选结果。这类任务更接近真实使用情境，对融合机制要求较高。
3.4 交互式检索
交互式检索允许用户在检索过程中逐步修正查询条件或反馈结果偏好。系统会根据用户点击、标注或继续输入的信息动态调整排序，提升检索效率与满意度。
4 多模态表示学习
多模态表示学习的目标是把不同形式的数据转换为可用于比较和推理的向量或结构表示。表示质量往往直接决定检索效果，因此它是多模态检索中的基础环节。
4.1 特征提取
特征提取是将原始数据转换为机器可处理表示的过程。不同模态的特征在维度、尺度和语义层次上差异较大，需要采用各自适配的方法。
4.1.1 传统手工特征
传统方法依赖人工设计的特征，如文本中的词袋表示、图像中的颜色直方图和局部纹理描述子，以及音频中的梅尔频率倒谱系数等。这类方法实现简单，但语义表达能力有限。
4.1.2 深度特征表示
深度特征表示由神经网络自动学习得到，通常能捕捉更高层次的语义信息。卷积网络、循环网络和Transformer等模型均可用于提取不同模态的深层特征，并在大规模数据上表现出更强泛化能力。
4.2 共享语义空间
共享语义空间是跨模态表示学习中的核心思路，即将不同模态映射到同一向量空间，使语义相近的样本在空间中彼此接近。该方法便于计算相似度，也有助于统一检索接口。
4.3 模态专属表示
模态专属表示强调保留各模态的独特信息，而不是完全消解差异。通过为文本、图像、音频等分别建立编码器，模型能够在保留局部特征的同时进行后续对齐与融合。
4.4 融合表示学习
融合表示学习旨在综合多个模态的互补信息，形成更完整的内容表达。常见方式包括早期融合、中期融合和后期融合，不同策略在精度、效率和可解释性上各有侧重。
5 跨模态对齐方法
跨模态对齐是多模态检索中的关键步骤，主要解决不同模态语义表达不一致的问题。其目标是让来自不同来源但语义相关的样本在表示空间中建立对应关系。
5.1 配对监督对齐
配对监督对齐依赖人工标注或天然配对数据，如图文对、音视频对应片段等。模型根据已知正样本关系进行训练，通常能够获得较高的对齐精度。
5.2 弱监督对齐
弱监督对齐使用不完全精确的关联信息，例如标题、标签、时间戳或上下文共现关系。虽然标注噪声较大，但数据获取成本较低，适合规模化训练。
5.3 无监督对齐
无监督对齐不依赖明确配对标注，而是通过聚类、分布匹配或自监督学习发现潜在对应关系。这种方法更具通用性，但训练难度和不确定性也更高。
5.4 局部与全局对齐
局部对齐关注词语与图像区域、音频片段与文本短语等细粒度对应关系；全局对齐则强调整个样本级别的语义一致性。实际系统中常将两者结合，以兼顾细节和整体结构。
6 相似度度量与排序
相似度度量和排序机制决定了检索系统如何根据表示结果输出最终名单。由于多模态数据往往存在复杂语义差异，合理的度量函数和排序策略十分重要。
6.1 距离函数设计
距离函数用于衡量查询与候选对象之间的接近程度，常见形式包括欧氏距离、余弦相似度和马氏距离等。不同函数适用于不同的向量分布与任务目标。
6.2 相关性建模
相关性建模不仅考虑表面相似，还会结合上下文、语义层级和用户意图来判断结果是否匹配。较成熟的系统通常会把相关性视为一个可学习函数，而非固定规则。
6.3 排序学习
排序学习旨在直接优化结果的排列顺序，使更相关的项目排在前面。相比只判断“是否匹配”，排序学习更符合检索任务的实际需求。
6.3.1 点式排序
点式排序将每个候选样本独立打分，再按分值排序。该方法实现简单，但难以直接利用样本之间的相对关系。
6.3.2 对式排序
对式排序关注成对样本的优先关系，例如要求相关样本得分高于不相关样本。它能更好地学习相对偏好，因此在检索任务中较为常见。
6.3.3 列表式排序
列表式排序把整个候选列表作为优化对象，直接针对整体排序质量进行训练。这种方法通常更贴近评测指标，但计算复杂度也更高。
7 多模态检索系统架构
多模态检索系统通常由数据处理、表示编码、索引构建、检索排序和服务部署等部分组成。不同应用场景下，架构设计会在准确率、延迟和扩展性之间进行权衡。
7.1 数据采集与预处理
数据采集包括从内容库、用户上传或外部接口获取多模态数据。预处理则涉及去噪、格式统一、切分、标注校验和文本清洗等工作，为后续建模提供稳定输入。
7.2 编码与索引构建
编码环节将原始内容转化为向量表示，索引构建则把这些向量组织成便于快速查询的数据结构。常见做法包括近似最近邻索引和倒排结构的组合使用，以提升检索速度。
7.3 检索与重排序
检索阶段先从大规模库中召回候选结果，再通过更精细的模型进行重排序。重排序通常会引入更丰富的上下文特征，以提高最终结果的准确性。
7.4 在线服务与性能优化
在线服务要求系统在高并发条件下稳定响应，因此性能优化是工程实现的重要部分。优化内容包括缓存策略、批处理机制、索引分片和模型压缩等。
7.4.1 低延迟检索
低延迟检索强调在尽量短的时间内返回结果，通常依靠向量索引加速、轻量模型和多级召回策略实现。
7.4.2 大规模分布式存储
当数据规模持续增长时，单机系统往往难以满足需求。分布式存储可以支持数据分片、冗余备份与横向扩展，从而保证系统可用性和处理能力。
8 常用模型与方法
多模态检索领域的方法经历了从统计学习到深度表示学习的演进。不同阶段的模型在特征表达、训练目标和应用范围上差异明显。
8.1 早期统计方法
早期统计方法多基于人工特征和传统机器学习模型，如相关分析、概率模型和矩阵分解等。这些方法为后续研究提供了基础，但在复杂语义建模方面能力有限。
8.2 双塔模型
双塔模型分别编码查询和候选对象，再在共享空间中计算相似度。由于两侧编码可以独立预计算，该结构适合大规模检索场景，兼顾效率与扩展性。
8.3 注意力机制模型
注意力机制模型能够自动聚焦于关键区域、关键片段或关键语义单元。通过选择性分配权重，模型可增强局部对应关系，从而提升跨模态匹配能力。
8.4 Transformer类模型
Transformer类模型善于处理长序列和复杂依赖关系，在文本、图像块序列以及视频片段建模中都有较好表现。其并行计算能力也有利于大规模训练和推理。
8.5 对比学习方法
对比学习通过拉近正样本对、推远负样本对来学习判别性表示，已成为多模态检索中的重要范式。它特别适合在大规模未标注或弱标注数据上进行预训练。
9 数据集与评测
数据集和评测体系决定了多模态检索研究的比较基础。统一的公开数据和指标有助于验证模型效果，也便于不同方法之间进行公平比较。
9.1 常用公开数据集
公开数据集通常覆盖图文配对、视频描述、音频标注等不同任务类型。它们为模型训练、调参和实验比较提供了标准化资源，也推动了方法的快速迭代。
9.2 评价指标
评价指标用于衡量系统的召回能力、排序质量和整体相关性表现。不同任务会选用不同指标组合，以便更全面地反映检索效果。
9.2.1 Recall@K
Recall@K表示前K个结果中命中正确答案的比例，常用于衡量召回阶段的效果。它直观反映系统是否能把相关内容排到前列。
9.2.2 mAP
mAP即平均精度均值，综合考虑多个查询下的排序表现，适合衡量整体检索质量。该指标对结果顺序较为敏感，因此能体现系统的综合能力。
9.2.3 NDCG
NDCG用于评估排序列表中高相关结果是否被优先排前。相比只看命中数量，它更关注等级相关性，因此常用于推荐和复杂检索评估。
9.3 实验设置与可复现性
实验设置通常包括数据划分、负样本采样、训练轮次、超参数选择和评测协议等。可复现性要求研究者尽量公开模型配置、数据处理方式和代码实现，以减少结果偏差。
10 应用领域
多模态检索已经渗透到多个实际系统中，既服务于大众信息获取，也支持专业内容管理。其价值在于增强语义理解能力和跨媒体信息发现效率。
10.1 搜索引擎
搜索引擎借助多模态检索，可支持图搜图、文搜图、视频片段定位等功能，从而提升用户在复杂内容库中的查找效率。
10.2 电商推荐
在电商平台中，多模态检索可用于相似商品查找、以图找货和搭配推荐。商品图片、标题、属性和用户行为往往共同决定检索结果。
10.3 数字媒体管理
数字媒体管理系统需要对海量图片、音频和视频进行归档、标注与检索。多模态技术可帮助内容组织、版权管理和素材再利用。
10.4 智能内容审核
在内容审核场景中，多模态检索可辅助发现相似违规素材、重复发布内容或变体传播内容，提高筛查效率和一致性。
10.5 教育与知识服务
教育平台和知识库可通过多模态检索连接教材图片、课程视频、讲解音频与文字说明，帮助学习者更快定位所需知识片段。
11 挑战与发展趋势
尽管多模态检索已取得较大进展，但在真实场景中仍面临数据、模型和工程等多方面挑战。未来研究通常围绕效率、泛化和可解释性展开。
11.1 数据标注成本高
高质量跨模态标注往往需要人工配对、校验和分级评估，成本较高。数据规模越大，这一问题越突出，因而推动了弱监督和自监督方法的发展。
11.2 模态异构与语义鸿沟
不同模态在表达形式上差异明显，同一语义在各模态中的呈现方式也不一致，这种语义鸿沟会增加对齐难度。如何更稳定地建立跨模态对应关系，是持续研究的重点。
11.3 计算开销与效率问题
大规模多模态检索需要处理海量向量和复杂模型，计算与存储成本较高。压缩表示、加速索引和轻量化模型是提高实用性的关键方向。
11.4 可解释性与鲁棒性
用户通常希望知道系统为何返回某个结果，而不是只看到排序列表。与此同时，模型还需对噪声、缺失模态和异常输入保持稳定性，因此可解释性与鲁棒性越来越受重视。
11.5 小样本与零样本检索
在很多实际场景中，标注样本稀缺，新类别不断出现。小样本与零样本检索要求模型具备更强的迁移能力，能够在少量甚至没有示例的情况下完成有效匹配。
11.6 生成式多模态检索
生成式多模态检索结合了生成模型与检索机制，不仅返回已有内容，还可能生成查询解释、摘要或辅助描述。该方向有望提升交互体验，并为复杂查询提供更灵活的支持。