1 基本概念
1.1 定义
跨模态检索是指使用一种模态的数据作为查询，去检索另一种模态中的相关内容。这里的“模态”通常包括文本、图像、音频、视频等。与只在同类数据中查找的检索不同，跨模态检索强调不同类型信息之间的语义对应关系，例如用一句话查找图片，或用一张图片查找描述文本。
1.2 任务目标
该任务的核心目标，是把来自不同模态的信息映射到可比较的表示空间中，从而判断它们在语义上是否相关。系统不仅需要“找得到”，还要尽量“找得准”，在保证召回范围的同时提高排序质量，使最相关的结果排在前列。
1.3 主要应用场景
跨模态检索常见于多媒体搜索、内容推荐、素材管理、智能问答和数字资产检索等场景。例如，用户在图片库中输入文字说明来寻找素材，或者在视频平台中根据一段语音寻找对应片段。这类能力也常被用于辅助创作和内容理解。
1.4 与传统单模态检索的区别
传统单模态检索主要处理同一类型数据之间的匹配，如文本检索文本、图像检索图像。跨模态检索则面对异构数据，难点在于不同模态的表达方式差异较大，表面特征往往不能直接对应。它更依赖语义层面的对齐，而不仅是关键词或像素相似度。
2 检索类型
2.1 以文搜图
以文搜图是最常见的跨模态检索形式之一，用户输入自然语言描述，系统返回与之匹配的图片。这类任务需要理解文字中的对象、属性、场景和关系，并在图像中寻找相应视觉内容。
2.2 以图搜文
以图搜文是用图像作为查询，检索相关文本，如标题、说明、新闻段落或标签。系统需要识别图像中的主体与事件，再在文本库中找到语义相近或描述一致的内容，常用于知识关联和内容注释。
2.3 以文搜视频
以文搜视频是根据文本查询在视频库中定位相关片段。由于视频包含画面、声音和时间维度，这类检索通常不仅看整体主题，还要考虑片段级语义匹配，因此在长视频场景中尤为重要。
2.4 以音搜文
以音搜文是利用音频内容检索相关文字信息，例如根据一段语音、音乐片段或环境声音，查找对应的文本标签、歌词说明、事件记录或解说文本。该类型常结合声学特征与语义注释共同建模。
2.5 以视频搜图
以视频搜图是用视频片段作为查询，从图像集合中寻找相近画面、关键帧或视觉元素。这种检索方式常用于从动态内容中提取具有代表性的静态图像，或者在素材库中寻找同类视觉风格。
3 核心技术
3.1 多模态表示学习
多模态表示学习的目标，是把不同模态的数据转换为机器可处理的向量表示，并尽量保留语义信息。通过学习统一或可映射的表示，系统可以在不同类型数据之间建立比较基础。
3.2 语义对齐
语义对齐指让不同模态中表达相同含义的内容在向量空间中靠近。比如“猫坐在窗边”这句话，应与包含相应场景的图像具有较高相似度。对齐效果直接影响跨模态检索的准确性。
3.3 特征提取与融合
特征提取负责从文本、图像、音频或视频中抽取有效信息，融合则用于组合多种特征以增强表示能力。对于复杂样本，单一模态信息往往不够，合理融合可提升对细节和上下文的理解。
3.4 相似度计算
相似度计算用于衡量查询与候选样本之间的匹配程度，常见方法包括余弦相似度、点积和学习型匹配函数。不同计算方式会影响检索排序结果，也会影响模型训练目标的设计。
3.5 向量检索与近似最近邻搜索
在大规模场景中，系统通常先把数据编码成向量，再通过向量检索快速找出最接近查询的候选项。近似最近邻搜索能够在速度和精度之间取得平衡，适用于百万级甚至更大规模的数据集。
4 模型方法
4.1 早期方法
4.1.1 手工特征与浅层模型
早期跨模态检索多依赖人工设计特征，如文本中的词袋表示、图像中的颜色直方图、纹理特征和局部描述子等，再配合线性模型或传统分类器进行匹配。这类方法实现简单，但对复杂语义的表达能力有限。
4.1.2 主题模型与语义空间映射
在深度学习普及之前，一些方法借助主题模型或统计学习手段，把文本与图像映射到共享语义空间中。它们尝试通过潜在主题关联不同模态内容，但在大规模数据和细粒度理解方面仍有不足。
4.2 深度学习方法
4.2.1 双塔模型
双塔模型将不同模态分别编码，再在共享空间中计算相似度。由于图像塔和文本塔可独立处理，这类方法便于离线索引和高效召回，因此在工业系统中应用广泛。
4.2.2 注意力机制模型
注意力机制模型能够让系统关注查询与候选内容中的关键部分，例如文本中的核心词、图像中的重要区域或视频中的关键帧。它有助于提升细粒度匹配能力，尤其适合复杂场景描述。
4.2.3 对比学习方法
对比学习通过拉近匹配样本、拉远不匹配样本，增强跨模态表示的判别性。借助大规模正负样本对，这类方法通常能显著改善检索性能，也推动了多模态表示学习的进展。
4.2.4 交叉编码器方法
交叉编码器将不同模态输入联合建模，直接学习它们之间的交互关系。相比双塔模型，它通常具有更强的精排能力，但计算成本更高，因此常用于候选重排序阶段。
4.3 预训练多模态模型
4.3.1 图文预训练模型
图文预训练模型通常在大规模图像与文本配对数据上学习，使模型具备通用的跨模态理解能力。这类模型能够较好处理“以文搜图”“以图搜文”等任务，并成为后续方法的重要基础。
4.3.2 视频文本预训练模型
视频文本预训练模型进一步引入时间信息，学习视频画面、语音和文本之间的对应关系。由于视频内容更长、信息更密集，这类模型往往需要更复杂的时序建模与片段级对齐。
4.3.3 大规模多模态基础模型
大规模多模态基础模型通常在海量异构数据上进行预训练，具备更广泛的跨任务迁移能力。它们不仅可用于检索，还能服务于问答、总结、生成与理解等多种多模态任务。
5 数据集与标注
5.1 常用公开数据集
5.1.1 图文检索数据集
图文检索数据集通常由图片及其对应描述组成，用于训练和评估图文匹配能力。此类数据往往覆盖日常场景、物体、动作和事件，是跨模态检索研究中最基础的数据来源之一。
5.1.2 视频文本检索数据集
视频文本检索数据集包含视频片段及其文本说明，常用于考察系统对时序内容的理解能力。与图文数据相比，视频数据规模更大、噪声也更复杂，因此更能体现模型对动态信息的建模水平。
5.1.3 音频相关数据集
音频相关数据集用于支持以音频为查询或目标的检索任务，内容可包括语音、环境声、音乐片段及其文字标注。由于音频的语义信息常依赖上下文，这类数据标注通常更具挑战。
5.2 数据标注方式
跨模态检索的数据标注方式包括人工配对、众包描述、自动采集和弱监督标注等。高质量标注能提升模型上限，但成本较高；弱标注更易规模化，却可能引入噪声，需要进一步清洗和校正。
5.3 数据噪声与偏差
实际数据中常存在描述不完整、配对不准确、标签主观化等问题。不同来源的数据还可能带有分布偏差，例如某些场景过多、某些类别稀少，这会影响模型泛化，尤其在长尾样本上表现更明显。
6 评估指标
6.1 Recall@K
Recall@K用于衡量相关结果是否出现在前K个返回项中。它常用于检索任务的主要评估，数值越高，表示系统越能把正确答案排到前列。
6.2 Precision@K
Precision@K衡量前K个结果中相关项所占比例。该指标更关注返回列表的纯度，适合评估用户在短结果列表中的实际体验。
6.3 Mean Average Precision
Mean Average Precision综合考虑多个相关结果的排序位置，能够较全面反映检索系统的整体表现。它对多相关项场景尤其有用，常用于比较不同方法的排序能力。
6.4 nDCG
nDCG会对排在前面的相关结果赋予更高权重，并考虑相关性的不同等级。它适合处理带有分级相关标注的任务，因此在精细排序评估中较常见。
6.5 排名相关指标
排名相关指标主要关注结果顺序是否符合预期，包括首位命中、平均倒数排名等。它们能够从不同角度描述系统的排序质量，常与召回类指标配合使用。
7 系统架构
7.1 离线建模
离线建模阶段主要负责训练跨模态编码器、构建向量表示，并生成可供检索使用的索引特征。由于该阶段计算量较大，通常不直接面对用户请求。
7.2 在线检索流程
在线检索流程一般包括查询解析、查询编码、候选召回、重排序和结果返回。系统需要在响应速度与检索质量之间权衡，尤其在高并发场景下，对延迟控制要求较高。
7.3 索引构建
索引构建是将海量多模态内容组织成便于快速访问的结构。常见做法是把内容向量化后建立高效索引，以减少逐条比对带来的计算开销。
7.4 候选召回与重排序
候选召回阶段注重速度，尽可能找出一批潜在相关样本；重排序阶段则强调精度，对候选结果进行更细致的匹配判断。两阶段设计是大规模跨模态检索系统中的常见架构。
8 典型挑战
8.1 模态鸿沟
模态鸿沟指不同模态在表达形式上的显著差异。文本是符号化的，图像和视频更依赖视觉结构，音频则具有时序和频谱特征，这种差异使统一建模变得复杂。
8.2 语义歧义
同一段文本可能对应多种视觉场景，而同一图像也可能有多种解释。语义歧义会导致查询和结果之间的对应关系不唯一，从而影响检索准确率。
8.3 细粒度对齐
细粒度对齐要求模型不仅理解整体主题，还要对对象、属性、动作和关系进行逐层对应。例如“红色杯子放在书上”这类描述，就需要更精确的局部匹配能力。
8.4 长尾样本问题
长尾样本在真实数据中通常出现频率较低，但对系统实用性很重要。模型如果过度偏向高频概念，就可能忽略罕见但关键的查询需求，造成召回不足。
8.5 计算效率与存储开销
跨模态检索面向的大多是海量数据，因此训练和推理都面临显著的算力与存储压力。如何在保证效果的同时降低资源消耗，是工程实现中的重要课题。
9 典型应用
9.1 图片搜索
图片搜索可通过文字、示意图或参考图像快速找到目标图片，广泛用于素材库、搜索引擎和内容平台。它既提升了查找效率，也降低了对精确关键词的依赖。
9.2 视频内容检索
视频内容检索支持按字幕、语音、画面描述或参考片段查找视频，适合长视频管理与片段定位。该能力在媒体编辑、教学回放和内容审核辅助中较常见。
9.3 商品与广告检索
在电商和广告场景中，跨模态检索可根据商品图、标题、属性或宣传文案进行匹配，用于找相似商品、补充描述或推荐相关素材。这类应用通常对响应速度和排序准确度要求较高。
9.4 数字内容管理
数字内容管理系统可利用跨模态检索对图片、音频、视频和文本资料进行统一组织。通过语义检索，用户能够更快定位所需资产，减少人工浏览和重复标注成本。
9.5 智能辅助创作
在创作辅助场景中，跨模态检索可为写作、设计和剪辑提供参考素材，例如根据草图找风格图、根据文案找配图，或根据视频脚本找片段。它常与推荐系统和生成工具结合使用。
10 发展趋势
10.1 更大规模的多模态预训练
随着数据和算力增长，跨模态模型正朝更大规模预训练方向发展。更丰富的训练语料有助于提升通用语义理解能力，并增强对复杂场景的覆盖。
10.2 统一表征空间
未来模型倾向于学习更统一的表示空间，使不同模态能够更自然地进行比较与检索。统一表征有望简化系统结构，并提升跨任务迁移效果。
10.3 生成式跨模态检索
生成式方法开始被用于跨模态检索，例如先生成候选描述、关键标签或中间语义，再进行匹配。这类思路有助于增强召回灵活性，也可能改善对复杂查询的理解。
10.4 可解释性与可控性
随着应用场景增多，用户不仅关心结果是否正确，也关注系统为何给出这些结果。可解释性与可控性研究旨在让检索过程更透明，便于理解、调试和人工干预。
10.5 轻量化与端侧部署
为了适应移动设备和边缘环境，跨模态检索模型正向轻量化方向演进。通过模型压缩、蒸馏和高效索引技术，系统可以在较低资源条件下保持可用性能。