1 基本概念
1.1 定义与作用
实体识别是自然语言处理中的基础任务之一，目标是从连续文本中自动找出具有明确语义指向的信息片段，并将其归入预先设定的类别。常见类别包括人名、地名、组织机构名、时间表达和数值表达等。 在文本理解流程中，实体识别承担着把非结构化文本转化为结构化信息的作用，能够为后续的信息抽取、检索、问答和知识组织提供关键输入。
1.2 实体类型划分
实体类型通常由具体应用场景决定。通用任务里，最常见的是人物、地点、机构、时间和数字等类别；在行业场景中，还会扩展到药品名、产品名、设备名、症状名、合同条款名等更细粒度的对象。 不同类型的划分标准并不完全统一，但一般要求实体边界明确、语义相对稳定，并且能够在文本中重复识别。
1.2.1 人名实体
人名实体指文本中表示具体个人的名称，通常包括真实姓名、昵称、别名或带称谓的姓名表达。 这类实体常见于新闻、社交文本、客服记录和文档档案中，识别时需要结合上下文判断是否为人名，以及是否包含职位、头衔等附加成分。
1.2.2 地名实体
地名实体用于表示国家、城市、街区、山川、河流、建筑物等空间位置。 地名识别常面临简称、多义词和层级嵌套等问题，例如同一字符串可能既表示行政区划，也可能表示机构名称或商品品牌。
1.2.3 机构实体
机构实体通常指公司、学校、政府机关、社会团体、媒体单位等组织性主体。 与人名和地名相比，机构名往往更长，内部结构更复杂，还容易包含地域、业务领域或缩写信息，因此在边界划分上更具挑战性。
1.2.4 时间与数值实体
时间实体包括日期、时刻、周期、年代、节气和相对时间等表达；数值实体则涵盖数量、金额、比例、温度、区间等信息。 这类实体通常具有较强的格式特征，但也存在口语化写法、模糊时间和单位省略等情况，需要在识别后进一步规范化处理。
1.3 任务边界与相关概念
实体识别主要关注“哪里是实体”以及“实体属于什么类别”，不直接处理句法结构或实体之间的语义关系。 在实际系统中，它常与分词、词性标注、关系抽取等任务结合使用，但各自的目标和输出形式并不相同。
1.3.1 分词
分词是将连续文本切分为词语序列的过程，常见于中文处理任务。 实体识别与分词相互影响：分词结果会影响实体边界，而实体识别的结果也可能反过来优化切分方式。二者虽然相关，但分词不等同于实体识别。
1.3.2 词性标注
词性标注是为词语分配名词、动词、形容词等语法类别。 它能够为实体识别提供辅助特征，例如专有名词、地名指示词和机构后缀等，但词性标注的目标是语法分类，而不是实体定位。
1.3.3 关系抽取
关系抽取关注的是不同实体之间的语义联系，如隶属、位于、任职或包含关系。 实体识别通常是关系抽取的前置步骤，因为只有先识别出实体，后续系统才有可能判断它们之间的关联。
2 技术发展
2.1 规则与词典方法
早期实体识别多依赖人工制定规则和词典资源，通过模式匹配、后缀识别和正则表达式等手段完成。 这类方法实现简单、可控性强，适合结构化程度较高的文本，但对语言变化和新词新实体的适应能力有限。
2.1.1 基于模板的识别
基于模板的方法通过预先定义的文本模式识别实体，例如特定前缀、后缀、标点组合或固定句式。 这类方案在格式规范的场景中效果较好，但一旦表达方式变化较大，就容易漏检或误检。
2.1.2 基于词典的匹配
基于词典的方法依赖已知实体列表，将文本中的候选片段与词典进行比对。 它适合识别高频、稳定且边界清晰的实体，但对未登录词、别名、简称和新生实体支持不足。
2.2 统计学习方法
统计学习阶段，实体识别开始从纯规则驱动转向数据驱动，模型通过标注语料学习实体的分布规律。 这一时期的典型方法包括隐马尔可夫模型、条件随机场和最大熵模型，它们提升了系统的泛化能力和鲁棒性。
2.2.1 HMM
隐马尔可夫模型将实体识别视为序列标注问题，通过观察序列推断隐藏状态序列。 它能够建模上下文依赖关系，但对长距离特征和复杂语义的表达能力有限，通常更适合作为早期基线方法。
2.2.2 CRF
条件随机场是一种判别式序列建模方法，能够同时利用当前词、上下文词和多种人工特征进行联合预测。 由于其对整句标签序列进行全局优化，CRF在传统实体识别任务中长期占据重要地位。
2.2.3 最大熵模型
最大熵模型以特征为中心，强调在已知信息约束下做出最稳健的概率估计。 它能够灵活融合多种离散特征，但在处理长序列依赖时往往不如专门的序列模型高效。
2.3 深度学习方法
深度学习方法减少了对人工特征的依赖，利用神经网络自动学习词语表示和上下文表示。 随着标注数据增加和计算能力提升，实体识别逐步从特征工程主导转向表示学习主导。
2.3.1 RNN与LSTM
循环神经网络适合处理序列数据，能够按照文本顺序累积上下文信息。 长短期记忆网络进一步缓解了长距离依赖中的梯度问题，使模型更适合识别跨词边界的实体。
2.3.2 CNN方法
卷积神经网络通过局部窗口提取字符或词级别的局部模式，对固定搭配和局部形态特征较为敏感。 在实体识别中，它常用于提取局部上下文特征，尤其适合处理带有明显前后缀特征的实体。
2.3.3 BiLSTM-CRF
双向长短期记忆网络配合条件随机场层，是深度学习阶段的经典组合。 前者负责捕捉左右双向上下文，后者负责约束标签序列的合法性，因此在很多基准任务上表现稳定。
2.4 预训练语言模型方法
预训练语言模型通过在大规模语料上学习通用语言表示，再针对下游任务进行迁移，显著提升了实体识别性能。 这类方法在上下文理解、歧义消解和跨领域适应方面通常优于传统神经网络。
2.4.1 BERT类模型
BERT类模型以双向上下文编码为核心，能够为每个字符或词汇生成更具语境信息的表示。 在实体识别中，它常作为编码器，与序列标注层结合使用，提升对复杂实体边界和语义差异的识别能力。
2.4.2 Prompt与微调策略
Prompt方法将任务转化为带提示的语言理解问题，借助模板和标记引导模型输出实体信息。 微调策略则是在预训练模型基础上进行任务适配，通常通过参数更新或局部训练增强目标领域性能。
2.4.3 少样本与零样本识别
少样本识别指在少量标注数据条件下完成实体识别，零样本识别则进一步要求模型在几乎没有目标标注的情况下进行推断。 这类方法重点解决新领域、新实体和标注成本高的问题，常依赖迁移学习、提示学习和外部知识增强。
3 标注体系
3.1 BIO标注
BIO标注是实体识别中最常见的序列标注体系之一，用标签序列表示每个位置是否属于实体，以及其在实体中的位置。 这种方式简单直观，便于模型训练和结果解析，因此被广泛采用。
3.1.1 B标记
B标记表示某个实体的开始位置。 在一个实体片段的首个字符或词上使用B标签，有助于模型明确边界起点。
3.1.2 I标记
I标记表示实体内部的连续位置。 它通常紧跟在B标记之后，用于说明当前位置仍属于同一实体。
3.1.3 O标记
O标记表示当前位置不属于任何目标实体。 在多数文本中，O标签占比较高，它为实体片段提供了与背景文本的区分。
3.2 扩展标注方式
在BIO基础上，研究者提出了更细致的标签体系，以便更准确描述实体边界和单字实体情况。 这些扩展方式通常能提升边界判定的稳定性。
3.2.1 BIOES标注
BIOES标注在BIO基础上增加了E和S两类标签，其中E表示实体结束，S表示单字实体。 这种体系能够更清楚地区分实体内部位置和单独成实体的情况。
3.2.2 BMES标注
BMES标注与BIOES类似，强调实体的开始、中间、结束和单字形式。 它常用于中文分词与实体识别的联合建模任务中，便于表达更精细的边界信息。
3.3 标注质量控制
高质量标注是实体识别模型训练的前提，若标注标准不一致，模型很容易学习到噪声模式。 因此，数据构建阶段通常需要多轮审核和一致性检查。
3.3.1 一致性检查
一致性检查用于确认不同标注者对同一文本是否采用相同标准。 它可以发现类别定义不清、边界切分不统一和标签使用混乱等问题。
3.3.2 冲突标注修正
冲突标注修正是对分歧样本进行复核和统一的过程。 通常由经验更丰富的标注人员或项目审核者依据标注规范进行最终裁定。
4 模型设计
4.1 特征工程
在传统实体识别中，特征工程是模型性能的重要来源。 研究者会围绕词形、位置、上下文和外部词典构造输入特征，以增强模型对实体模式的感知能力。
4.1.1 词形特征
词形特征包括大小写、数字形式、符号模式、词缀和字符组合等信息。 这些特征对于识别专有名词、缩写和固定格式实体尤其有用。
4.1.2 上下文特征
上下文特征关注目标词语周围的邻近词、句法位置和局部语境。 许多实体只有在上下文中才具备明确指向，因此上下文信息常常比单个词本身更关键。
4.1.3 词典与规则特征
词典与规则特征来自领域资源、人工总结或外部知识库。 它们能够为模型提供先验线索，弥补纯数据驱动方法在稀有实体上的不足。
4.2 序列建模
实体识别通常被建模为序列到序列的标注问题，需要在整段文本上联合判断各位置标签。 因此，模型结构往往包含编码、解码和序列约束三个核心部分。
4.2.1 编码器结构
编码器负责把原始文本映射为上下文相关的向量表示。 常见编码器包括词向量层、循环网络、卷积网络和预训练语言模型等。
4.2.2 解码器结构
解码器用于将编码后的表示转换为具体标签。 在实体识别中，解码器通常要兼顾局部分类准确性和全局序列合法性。
4.2.3 条件随机场层
条件随机场层常被放置在序列模型末端，用于建模标签之间的转移关系。 它能够减少不合法标签组合的出现，例如避免一个实体内部直接接上不合适的起始标签。
4.3 融合式架构
融合式架构强调把不同来源的信息组合起来，以提升实体识别在复杂场景中的表现。 这类方法特别适合处理领域知识丰富、文本形式多样或跨模态输入的任务。
4.3.1 规则与模型融合
规则与模型融合通常将人工规则作为先验，再由机器学习模型进行判别和修正。 这种方式既保留了规则的高精度，也利用了模型的泛化能力。
4.3.2 多任务学习
多任务学习通过联合训练多个相关任务，共享部分表示层，从而增强实体识别能力。 例如，实体识别可与词性标注、句法分析或关系抽取共同训练，以获得更丰富的上下文信号。
4.3.3 跨模态实体识别
跨模态实体识别指在文本之外结合图像、表格、语音或视频等信息识别实体。 它常出现在文档理解、票据处理和多媒体检索等场景中，需要协调不同模态的对齐与融合。
5 数据集与评测
5.1 常用数据集
实体识别研究通常依赖标准标注语料进行训练与评测。 数据集来源可分为通用新闻语料和特定行业语料两类，二者在语言风格、实体类型和难度分布上差异明显。
5.1.1 通用新闻语料
通用新闻语料通常来自新闻报道、百科文本或公开语料，覆盖面较广，适合评估基础识别能力。 这类数据集实体类型较标准，便于不同方法之间进行横向比较。
5.1.2 领域专用语料
领域专用语料来自医疗、金融、法律、物流、科研等专业场景。 它们往往包含大量术语、缩略语和格式化表达，对模型的领域适应能力要求更高。
5.2 评测指标
实体识别的评测通常不仅看单个标签是否正确，还要看实体边界和类型是否整体匹配。 因此，评估指标一般围绕精确率、召回率和F1值展开。
5.2.1 Precision
Precision表示模型预测为实体的结果中，有多少是真正正确的。 该指标偏重预测结果的准确性，适合衡量误报控制能力。
5.2.2 Recall
Recall表示真实实体中，有多少被模型成功识别出来。 它反映的是系统对实体覆盖的完整程度。
5.2.3 F1值
F1值是精确率与召回率的综合指标，能够在二者之间取得平衡。 在实体识别任务中，F1常被用作最主要的对比指标。
5.3 错误分析
错误分析有助于定位模型薄弱环节，并为后续改进提供方向。 常见错误主要集中在边界、类别和复杂结构三个方面。
5.3.1 边界识别错误
边界识别错误是指实体起止位置判断不准确。 这类问题常发生在长实体、带修饰成分的实体或包含标点、数字的表达中。
5.3.2 类别混淆
类别混淆是指模型把某类实体误判为另一类实体。 例如，机构名与地名、产品名与组织名之间常出现混淆。
5.3.3 嵌套与歧义问题
嵌套实体是指一个实体内部还包含另一个实体，歧义问题则是同一文本片段可能对应多个解释。 这些情况会显著提高识别难度，尤其在传统序列标注框架中更为突出。
6 应用场景
6.1 搜索引擎
在搜索引擎中，实体识别可用于理解查询意图、改进结果排序和实现实体直达。 它有助于把用户输入中的关键对象与知识库或索引中的标准条目对应起来。
6.2 信息抽取
实体识别是信息抽取系统的基础模块之一。 它负责先找出文本中的核心对象，再进一步支持事件抽取、关系抽取和属性归纳等任务。
6.3 知识图谱构建
知识图谱构建需要从文本中识别实体，并将其标准化为图谱节点。 实体识别质量越高，后续的实体对齐、链接和关系补全通常越稳定。
6.4 智能问答
在智能问答系统中，实体识别可帮助系统理解问题中的关键对象，如人、地点、时间和数量。 这有助于提升答案检索、槽位填充和语义匹配的准确性。
6.5 金融与医疗文本处理
金融与医疗文本往往术语密集、格式复杂，对实体识别的准确率要求较高。 在这些场景中，识别结果常用于合同解析、报告结构化、病历整理和风险文本分析等工作。
6.6 舆情分析与内容审核
在舆情分析中，实体识别可以帮助定位事件主体、机构名称和相关地点，从而辅助话题聚类与趋势追踪。 在内容审核中，它也可用于识别敏感对象、广告信息或特定模式文本，为后续规则判断提供输入。
7 挑战与发展趋势
7.1 低资源场景
低资源场景下可用标注数据较少，模型容易过拟合，且新实体的泛化能力不足。 为缓解这一问题，研究通常会引入迁移学习、弱监督、数据增强和少样本学习等方法。
7.2 跨语言识别
跨语言识别关注不同语言之间的实体迁移与对齐。 它面临字符体系不同、词法结构差异较大以及标注体系不统一等问题，因此需要更强的表示对齐能力。
7.3 嵌套实体识别
嵌套实体识别是当前实体识别中的重要难点之一。 由于一个片段中可能同时包含多个层级的实体，传统平面标注体系往往难以完整表达，需要采用层次化或跨度式建模方法。
7.4 长文本实体识别
长文本中实体分布更分散，上下文跨度更大，且噪声信息更多。 在这种情况下，模型不仅要识别局部边界，还要维持较长距离的语义一致性。
7.5 可解释性与鲁棒性
可解释性关注模型为什么做出某个识别判断，鲁棒性则强调模型在噪声、拼写变化和格式扰动下仍能稳定工作。 随着实体识别进入关键业务流程，这两点的重要性不断上升。
7.6 大模型驱动的实体识别
大模型驱动的实体识别正在成为新的发展方向，其特点是更强的上下文理解能力和更灵活的任务适配能力。 这类方法可以通过提示、检索增强和少量示例学习完成实体抽取，但仍需要在一致性、成本和可控性方面进一步优化。