问答系统（Question Answering System，QA System）是一种能够自动理解用户以自然语言提出的问题，并从结构化知识库、非结构化文档或半结构化数据源中检索并返回精确答案的信息检索系统。与传统的搜索引擎返回整篇文档列表不同，问答系统旨在直接提供简洁、准确的答案，可应用于智能客服、知识图谱查询、在线教育等领域。
1 发展历史
1.1 早期原型（1960s–1980s）
1.1.1 BASEBALL与LUNAR系统
1961年开发的BASEBALL系统是最早的问答系统之一，它针对美国棒球联赛的统计数据，使用限定语法解析用户问题并从结构化数据库中返回答案。几乎同一时期，LUNAR系统用于回答关于阿波罗月球岩石样本的化学分析问题。这两个系统均依赖于高度结构化的知识库和手工编写的规则，只能处理非常狭窄的领域。
1.1.2 基于模板的问答
1970年代至1980年代，研究者尝试使用模板匹配技术，预定义问题模式与对应的答案生成规则。例如，ELIZA系统虽然主要用于对话模拟，但其模式匹配思想也影响了早期问答系统。这类方法扩展性差，且难以应对自然语言的句法变化。
1.2 互联网时代（1990s–2000s）
1.2.1 TREC QA评测任务的推动
1999年，文本检索会议（TREC）设立了QA轨道，提供大规模文档集（如新闻文章）和人工标注的问答对，极大地推动了开放域问答的研究。评测任务要求系统从数百万条文档中找出精确答案，使得问答技术从封闭领域走向开放文本。
1.2.2 基于统计与机器学习的检索
随着互联网文本的爆炸式增长，基于词频统计的检索模型（如TF-IDF）成为核心组件。系统先通过信息检索筛选相关文档，再使用浅层机器学习（如支持向量机、条件随机场）对候选段落和答案进行排序与抽取。典型的系统包括AskMSR（微软）和Mulder。
1.3 深度学习爆发（2010s至今）
1.3.1 端到端神经网络模型
2014年左右，注意力机制和循环神经网络（RNN）被引入问答系统，使模型可以直接从问题和文档中学习匹配模式。代表性工作包括Memory Networks和Attention Sum Reader，它们不再依赖人工特征，实现了端到端的答案抽取。
1.3.2 预训练语言模型（如BERT、GPT）的应用
2018年后，BERT、GPT等预训练语言模型通过海量文本预训练加任务微调的方式，显著刷新了多项问答基准。BERT通过双向Transformer理解上下文，在SQuAD等数据集上达到超越人类基线的表现。GPT系列（尤其是GPT-3后的版本）则展示了强大的生成式问答能力，甚至能够不依赖外部检索直接生成答案。当前主流问答系统多采用“检索+阅读”或“大模型生成”架构。
2 系统分类
2.1 按数据源划分
2.1.1 结构化知识库问答（KBQA）
知识库问答（Knowledge Base Question Answering）基于预先构建的结构化数据库（如Freebase、Wikidata、DBpedia），将自然语言问题转换为逻辑查询（如SPARQL），再检索三元组得到答案。典型系统包括SPARQL-to-Text和WebQuestions解决方案。
2.1.2 非结构化文本问答（QA over Documents）
这类系统从自然语言文档（如网页、新闻、书籍）中寻找答案，通常采用“先检索、后阅读”的流水线。代表数据集是SQuAD，模型需在给定段落中圈定答案片段。
2.1.3 半结构化数据问答（如表格、维基百科信息框）
半结构化数据融合了结构化表格与非结构化文本。例如，维基百科信息框（Infobox）中的键值对，以及HTML表格。系统需解析表格的行列关系，并结合周围文本回答问题。TableQA和HybridQA等数据集推动了该方向的研究。
2.2 按问题类型划分
2.2.1 事实型问答（Factoid QA）
事实型问答是最常见的类型，要求答案是一个简短的事实（如“爱因斯坦生于哪一年？”）。答案通常是名词短语、数字或日期。
2.2.2 是非类问答（Yes/No QA）
问题期望回答“是”或“否”，例如“地球是圆的吗？”。这类问题需要系统进行逻辑判断或事实核查，而非直接抽取片段。
2.2.3 列表型问答（List QA）
答案是一个列表，如“列出太阳系的行星”。系统需要从多段文本中抽取多个实体并去重排序。
2.2.4 复杂推理问答（Multi-hop QA）
需要结合多个信息源进行推理的问题，例如“控制塔利班政权最高领袖的兄弟是谁？”，需先找到“塔利班最高领袖”，再查找其兄弟。HotpotQA是代表性数据集。
2.3 按开放程度划分
2.3.1 限定域问答（Domain-specific QA）
限定在某一专业领域（如医疗、法律、游戏攻略），数据源和问题范围受控，系统精度较高。典型例子是IBM Watson在医疗领域的应用。
2.3.2 开放域问答（Open-domain QA）
不限定主题，面向整个互联网或通用百科知识库。系统需处理海量文档和各类问题变体，难度最大。Google、搜狗等搜索引擎的“直接答案”功能属于此类。
3 核心技术组件
3.1 问题理解与解析
3.1.1 命名实体识别与词性标注
命名实体识别（NER）从问题中抽取出人物、地点、组织、时间等实体，作为后续检索的关键词。词性标注（POS Tagging）则帮助确定问题重心，如疑问词“谁”“哪里”“什么时候”。
3.1.2 依存句法分析与语义角色标注
依存句法分析构建词语间的依赖关系树，明确主语、宾语、定语等成分；语义角色标注进一步识别“施事”“受事”“时间”“地点”等角色，为问题到查询的转换提供结构化信息。
3.1.3 问题分类与意图识别
根据疑问词（what/who/why）和上下文将问题归入预先定义的类别（如事实型、是非型、描述型），并判断用户意图（查询事实、获取解释、执行操作）。分类结果直接影响后续策略选择。
3.2 文档检索与段落排序
3.2.1 传统检索模型（TF-IDF、BM25）
TF-IDF基于词频与逆文档频率计算文档与问题的相似度；BM25是TF-IDF的改进版，考虑了文档长度归一化和词频饱和度。两者均为稀疏检索，速度快但语义理解有限。
3.2.2 基于向量检索（稠密检索、Dense Passage Retrieval）
使用预训练编码器（如BERT、Dense Passage Retriever）将问题和文档段落映射到稠密向量空间，通过余弦相似度或内积进行近似最近邻搜索。该方法能捕获语义相似性，在开放域任务中表现优于传统检索。
3.2.3 重排序与答案候选生成
第一轮检索返回数百条候选文档/段落，再用更精细的模型（如Cross-encoder）进行重排序，选出Top-k。后续阅读器基于这些段落生成或抽取答案。常见做法是先快速检索，再深度阅读。
3.3 答案抽取与生成
3.3.1 抽取式答案（Span extraction）
从给定段落中标记答案的开始和结束位置，输出原文中的一个连续片段。典型模型基于BERT，在SQuAD任务中达到高准确率。适用于答案存在明确文本匹配的场景。
3.3.2 生成式答案（Abstractive QA）
模型根据问题和检索到的上下文，利用生成式模型（如T5、BART、GPT）重新组织语词，生成简洁的答案，甚至进行解释或总结。适合需要抽象、综合或无法直接抽取的复杂问题。
3.3.3 答案置信度与过滤
系统需对每个候选答案计算置信度（如Softmax概率、模型分数），并设置阈值过滤低质量答案。对于无答案的情况，支持“无法回答”输出，以避免误导用户。
4 评估方法与常用数据集
4.1 评估指标
4.1.1 精确匹配（Exact Match, EM）
预测答案与标准答案完全一致的比率（忽略标点、冠词等细微差异）。EM严格，对同义表达不友好，常用于SQuAD评估。
4.1.2 F1分数
计算预测答案与标准答案的字符或词汇级别的精确率与召回率的调和平均。比EM更宽容，允许部分匹配，是更常用的核心指标。
4.1.3 平均倒数排名（MRR）与NDCG
MRR用于列表排序任务：对每个问题，系统返回排序的候选答案列表，MRR取第一个正确答案排名的倒数平均。NDCG（归一化折损累计增益）则考虑多级相关性，常用于开放域检索+QA的评价。
4.2 经典数据集
4.2.1 SQuAD（Stanford Question Answering Dataset）
由斯坦福大学发布的阅读理解数据集，包含10万+个问题，每个问题基于一段维基百科文章，答案必须是段落内的连续片段。SQuAD 2.0中增加了不可回答的问题，考验模型拒绝能力。
4.2.2 Natural Questions
Google基于真实用户搜索查询构建的数据集，问题来自Google搜索日志，答案标注在维基百科页面上。它反映了真实场景中的噪声与长尾问题，训练模型更实用。
4.2.3 WebQuestions与Complex WebQuestions
WebQuestions包含约6千个基于Freebase的事实型问题，用于KBQA。Complex WebQuestions则引入了多关系、聚合等复杂查询，增加了推理难度。
4.2.4 HotpotQA（多跳推理）
要求模型从多篇文档中推理答案，包含“基于多个篇章”和“无干扰”两种设置。它的黄金支持文档标注帮助评估模型的可解释性。
5 典型应用场景
5.1 智能客服与FAQ机器人
企业部署问答系统用于7×24小时解答常见问题，如账单查询、订单状态、产品说明。系统可从知识库或FAQ文档中直接抽取答案，大幅降低人工客服成本。
5.2 知识图谱问答（如Google Knowledge Graph、Wikidata）
用户通过自然语言查询结构化知识，例如“埃菲尔铁塔有多高？”系统将其映射为图数据库查询，返回精确属性值。Google搜索的“知识面板”和“直接答案”是该场景的典型体现。
5.3 文档级问答（企业知识库、法律文书）
针对内部文档（如技术手册、政策文件、法律判例）开发私有问答系统，支持员工或律师快速查找特定条款或判例。这类系统通常限定域且注重答案的合规性。
5.4 跨语言与多模态问答
跨语言问答允许用户用中文提问，系统从英文文档中抽取答案并翻译返回。多模态问答则处理包含图像、表格、视频的复合问题，例如“这张照片中的建筑建于何时？”需要同时理解视觉与文本信息。
6 挑战与未来趋势
6.1 复杂推理与常识理解
当前系统在简单事实问答上表现优秀，但面对需要数理推理、时空因果或常识联结的问题（如“如果一根火柴有两端，那么两根火柴有多少端？”）仍显笨拙。未来需融合符号推理与神经方法。
6.2 鲁棒性与错误传播
检索阶段引入噪声可能导致最终答案错误。对抗性样本（如改写问题措辞或加入无关文本）易导致模型失效。提升系统对输入变化的鲁棒性至关重要。
6.3 少样本与零样本问答
如何让系统在只有极少量标注数据（甚至没有）的情况下回答新领域问题，是实际部署的关键。预训练模型展示了一定的零样本能力，但仍不稳定。元学习和提示工程是探索方向。
6.4 可解释性与用户交互优化
用户不仅需要答案，还需知道答案的来源和推理过程（例如引用原文或知识图谱路径）。同时，系统应支持多轮对话、澄清和追问，提供更自然的交互体验。
6.5 大语言模型时代的“新问答”范式——从检索到即时生成
GPT-4、Claude等大模型可在无外部检索时生成高质量答案，但存在“幻觉”问题。当前趋势是“检索增强生成”（RAG），即在生成前先检索知识库并注入上下文，兼顾开放性与事实准确性。未来可能走向更智能的混合架构：简单问题用生成，复杂问题靠检索+推理。