1 概念与定义
命名实体识别是自然语言处理中的一项基础任务，核心在于从连续文本中定位具有明确指代意义的词语或短语，并判断其所属类别。它既关注“哪里是实体”，也关注“实体是什么类型”，因此兼具识别与分类两重属性。该任务常被视为信息抽取的入口之一，为后续的知识组织、检索和理解提供结构化基础。
1.1 术语来源
“命名实体”这一说法强调对象具有可命名、可指称的特征，通常对应现实世界中较为具体的事物或概念。英文术语 Named Entity Recognition 直译为“命名实体识别”，在学术研究和工业系统中均被广泛采用。随着应用范围扩大，该术语所涵盖的对象也从传统的人名、地名、机构名，逐步扩展到时间、数量、作品、产品等多种类别。
1.2 基本概念
命名实体识别的基本单位并不是单个字符或词本身，而是带有边界和语义指向的片段。系统需要判断一个片段是否属于实体，同时确定其类别标签。不同语种、不同领域、不同标注规范下，对“实体”的理解和切分方式可能存在差异。
1.2.1 命名实体
命名实体通常指能够在文本中作为专名出现的对象，如某个人、某座城市、某个组织或某个特定事件。它们往往具有较强的指向性，且在语境中可被唯一或近似唯一地识别。与普通名词相比，命名实体更依赖上下文来确认其指代范围和类别。
1.2.2 实体类别
实体类别是对命名实体进行归纳和标记的预定义标签集合。常见类别包括人名、地名、机构名、时间表达、数值与度量等，具体体系可因任务而异。类别设计的粒度越细，识别难度通常越高，但输出结果也更具可用性。
1.2.3 实体边界
实体边界指实体在文本中起止位置的确定。对于“北京大学”“三月初”“第十届”等包含附加成分的表达，边界划分往往直接影响识别结果。边界不清是命名实体识别中的常见问题，尤其在长实体、嵌套实体或语言黏着现象明显的文本中更为突出。
1.3 任务目标
命名实体识别的目标是从输入文本中抽取实体片段，并为每个片段赋予正确类别。理想情况下，系统应同时实现高精度定位与准确分类，以便将非结构化文本转化为可计算、可检索的结构化信息。由于实体表达形式多样，该任务通常需要结合上下文、词法模式和语义线索进行判断。
1.4 与相关任务的区别
命名实体识别与若干基础语言处理任务关系密切，但关注点并不相同。它强调面向语义单元的识别，而不是纯粹的词法切分或句法标注。
1.4.1 分词
分词主要解决文本如何切分为词语的问题，关注的是语言单位的边界，而不直接判断词语是否为实体。命名实体识别则是在分词结果之上或同时进行的更高层次任务，重点是识别具有特定意义的片段。二者在中文处理中常有交叉，但目标并不一致。
1.4.2 词性标注
词性标注为文本中的词语分配名词、动词、形容词等语法类别，属于句法层面的分析。命名实体识别关注的是语义专指性，例如“苹果”在不同语境下可能是公司、产品或水果，而词性标注无法直接解决这一问题。两者可以互补，但不能互相替代。
1.4.3 实体链接
实体链接不仅要识别文本中的实体，还要将其对应到知识库中的具体条目。命名实体识别只回答“文本里提到了什么”，实体链接则进一步回答“它对应知识库里的哪一个对象”。前者是后者的重要前置步骤。
2 发展历程
命名实体识别的发展大体经历了规则驱动、统计学习、深度学习以及预训练模型等阶段。每一阶段都在表达能力、泛化性能和可扩展性上有所推进，同时也改变了该任务的建模方式与工程实现。
2.1 规则时代
早期系统主要依赖人工编写规则、词典和模板，适用于结构较稳定、表达较规范的文本。此类方法实现简单、解释性强，但对新词和复杂语境的适应性有限。
2.1.1 基于词典的方法
基于词典的方法通过匹配预先整理好的专名列表来识别实体。其优点是速度快、结果直观，缺点是覆盖范围受词典完整性限制。对于名称变化频繁或领域更新很快的场景，维护成本较高。
2.1.2 基于模板的方法
基于模板的方法利用固定格式、上下文模式或句法线索识别实体。例如，某些人名后常接“先生”“教授”等称谓，机构名后可能出现“有限公司”“学院”等标志性后缀。模板方法较适合格式化文本，但对语言变体的鲁棒性不足。
2.2 统计学习时代
统计学习方法引入了概率建模与特征组合，使命名实体识别从纯规则匹配转向数据驱动。模型能够在训练语料中学习上下文关联，因此比手工规则更具泛化能力。
2.2.1 隐马尔可夫模型
隐马尔可夫模型将实体识别视为序列标注问题，利用状态转移与观测概率推断标签序列。它结构简洁，便于理解，但对长距离依赖和复杂特征的表达能力有限。
2.2.2 最大熵模型
最大熵模型通过整合多种特征并估计条件概率，能够灵活处理词形、上下文和位置等信息。与早期规则系统相比，它更依赖标注数据，也更适合将多源特征统一纳入同一框架。
2.2.3 条件随机场
条件随机场是序列标注中非常经典的模型，能够直接建模标签之间的相互依赖关系。它在实体边界连续性和标签一致性方面表现良好，长期以来被广泛用于命名实体识别任务。
2.3 深度学习时代
深度学习方法减少了对人工特征的依赖，转而通过神经网络自动学习表示。随着计算资源提升和训练语料增多，NER 的性能显著改善。
2.3.1 循环神经网络
循环神经网络及其变体能够处理序列信息，适合从上下文中学习前后依赖关系。结合双向结构后，模型可同时利用左侧和右侧语境，提高实体判定能力。
2.3.2 卷积神经网络
卷积神经网络擅长捕捉局部模式，可用于提取字符级或词级的局部特征。它在识别固定搭配、后缀模式和局部上下文片段方面具有一定优势。
2.3.3 注意力机制
注意力机制使模型能够在不同位置之间分配权重，从而突出对实体判断更有帮助的上下文信息。它改善了长文本中的信息聚焦能力，也为后续的 Transformer 架构奠定了基础。
2.4 预训练模型时代
预训练语言模型通过大规模无标注语料学习通用语言表示，再在下游任务上进行适配，显著提升了命名实体识别的效果。该阶段的特点是表示能力更强、迁移性能更好，并且在少样本环境中更具潜力。
2.4.1 BERT 类模型
BERT 类模型以双向上下文编码见长，能够为每个位置生成语境相关表示。将其用于命名实体识别时，通常只需在顶部接入序列标注层即可获得较强性能，因此成为主流方案之一。
2.4.2 提示学习方法
提示学习方法通过将任务转化为带有提示语或填空式约束的预测问题，减少对传统标注格式的依赖。它在标签稀缺或任务迁移场景下具有一定优势，尤其适合将实体识别与自然语言理解统一到同一框架中。
2.4.3 大语言模型辅助识别
大语言模型可通过上下文推理、示例演示或生成式输出辅助实体识别。其优势在于对复杂语境具有较强适应力，但在边界稳定性、结果一致性和可控性方面仍需专门设计。
3 任务类型
命名实体识别并非单一形式的任务，而是包含多个子问题。不同任务类型对应不同的建模难点与评估方式。
3.1 实体边界识别
实体边界识别关注从文本中找出实体的起止位置，不一定立即确定类别。它是命名实体识别的基础环节，边界判断是否准确直接影响后续分类结果。
3.2 实体分类
实体分类是在已知边界的基础上，为实体片段分配语义标签。该任务强调类别区分能力，常用于研究不同类型实体之间的判别边界。
3.3 联合识别与分类
联合识别与分类要求系统同时完成实体定位和类别判断，避免将两个步骤割裂。此类方法更贴近真实应用，但模型设计通常更复杂，对训练数据质量也更敏感。
3.4 嵌套实体识别
嵌套实体是指一个实体包含另一个实体，例如较长机构名中可能嵌入地名或部门名。识别这类结构需要模型处理多层边界关系，传统线性标注往往难以完整覆盖。
3.5 交叉实体识别
交叉实体指不同实体在文本中存在部分重叠但彼此边界并不包含的情况。这类结构在普通序列标注中较难表达，通常需要更复杂的解码策略或图结构建模。
3.6 开放域实体识别
开放域实体识别不局限于固定类别集合，强调在更广泛语境中发现新的专名或实体类型。它对泛化能力要求较高，常与开放信息抽取、弱监督学习等方法结合。
4 常见实体类别
实体类别的设置通常与应用需求密切相关。不同系统可能采用不同粒度，但一些基础类别在多数语料中较为常见。
4.1 人名
人名是最典型的实体类别之一，指代自然人或人物角色。其识别难点常来自同名现象、别名缩写以及与普通名词的界限不清。
4.2 地名
地名包括国家、城市、街道、山川及其他地理位置名称。它们在文本中常与方向、行政层级或地理属性词连用，识别时需要结合上下文判断具体范围。
4.3 机构名
机构名指组织、单位、公司、学校、社团等名称。此类实体常具有较明显的后缀特征，但在简称、别称和品牌化表达中仍可能出现歧义。
4.4 时间表达
时间表达包括日期、时刻、年代、季节、相对时间等。由于自然语言中存在大量省略、模糊和口语化说法，时间实体的边界与规范化处理往往较为复杂。
4.5 数值与度量
数值与度量涵盖数字、百分比、金额、长度、重量、温度等表达。它们通常具有较强模式性，但在单位缺失、混合书写或上下文省略时也容易产生识别偏差。
4.6 作品与事件名称
这一类包括书名、片名、歌曲名、会议名、比赛名及其他特定事件名称。它们与普通名词的边界有时并不明显，尤其在标题化或简称化表达中更为棘手。
4.7 专业领域实体
专业领域实体是指在特定行业或学科中具有专门含义的名称。此类实体往往对领域知识依赖较强，通用模型在识别时容易受语境限制。
4.7.1 医疗实体
医疗实体包括疾病名称、药品、症状、检查项目、医疗机构等。该类文本具有专业术语密集、缩写较多和表达规范性强等特点。
4.7.2 金融实体
金融实体通常涉及证券名称、金融机构、产品名、指标名和交易术语等。由于行业术语更新快，且文本中常包含缩写和代码，识别任务较具挑战。
4.7.3 法律实体
法律实体包括法条、案由、司法机构、法规名称及相关法律概念。其特点是表达规范、层级复杂，并常伴有固定引用格式。
5 方法与技术
命名实体识别的方法体系较为丰富，从人工规则到神经网络再到生成式建模，体现了自然语言处理技术演进的整体趋势。不同方法各有侧重，通常需要根据数据规模、任务目标和部署成本进行选择。
5.1 基于规则的方法
规则方法依赖人工知识、词典和模式设计，适合可预期性较强的场景。它在可解释性和控制性方面表现突出，但维护和扩展依赖大量人工投入。
5.1.1 词典匹配
词典匹配通过比对预定义实体列表识别目标片段。该方法实现直接、效率较高，但对新出现实体、别名和错别字较不敏感。
5.1.2 正则表达式
正则表达式适合处理具有固定形态的实体，如日期、编号、金额或部分机构后缀。它对格式化文本效果较好，但对语义变化无能为力。
5.1.3 规则模板
规则模板将上下文模式、词汇触发项和句法约束组合起来，提高识别准确率。模板越精细，覆盖越有限，因此常用于特定领域的辅助系统。
5.2 基于统计的方法
统计方法强调从数据中学习概率规律，通常需要人工设计特征并配合序列模型使用。它们曾在较长时期内占据主流地位。
5.2.1 特征工程
特征工程包括词形、词性、上下文窗口、前后缀、位置特征等设计。优质特征能够显著提升传统模型性能，但成本较高且迁移性有限。
5.2.2 序列标注模型
序列标注模型将每个位置映射为标签，并考虑相邻标签之间的依赖关系。该类模型是命名实体识别的经典范式，适合表达连续片段结构。
5.3 基于深度学习的方法
深度学习方法通过多层网络自动学习特征表示，减少了手工设计依赖。其优势主要体现在端到端训练能力和对复杂上下文的建模能力上。
5.3.1 BiLSTM-CRF
BiLSTM-CRF 将双向循环网络的上下文编码能力与条件随机场的标签约束结合起来。它曾是命名实体识别中的代表性结构，兼顾表达能力与解码一致性。
5.3.2 Transformer
Transformer 依靠自注意力机制建模全局依赖，适合处理长距离关联较多的文本。它为预训练模型的发展提供了核心架构支持。
5.3.3 指针网络
指针网络通过直接指向实体的起止位置来完成识别，适合处理边界提取问题。与传统逐标签预测不同，它更强调片段级定位。
5.4 基于预训练语言模型的方法
预训练语言模型方法利用大规模语料获得通用表征，再对下游实体识别任务进行适配。该路径在准确率、迁移效果和少样本场景中表现尤为突出。
5.4.1 微调策略
微调策略是在预训练模型顶部接入任务层，并使用标注数据进行进一步训练。该方法简单有效，是当前应用中最常见的实现方式之一。
5.4.2 多任务学习
多任务学习将命名实体识别与词性标注、关系抽取或句法分析等任务联合训练。共享底层表示有助于提升泛化能力，尤其在标注数据有限时更具优势。
5.4.3 少样本学习
少样本学习面向标注资源稀缺的情形，强调用极少样本快速适配新实体类型或新领域。它通常结合元学习、提示设计或检索增强等技术。
5.5 生成式命名实体识别
生成式方法将实体识别转化为文本生成问题，使模型直接输出实体列表、带标签序列或结构化结果。它在处理复杂结构和开放式标签时具有较大灵活性。
5.5.1 序列到序列建模
序列到序列建模将输入文本映射为目标标注序列或实体描述。该思路便于统一不同任务格式，但对输出稳定性要求较高。
5.5.2 结构化生成
结构化生成强调以特定格式输出实体及其类别，如括号表示法或树状表示法。它有助于保持结果的组织性，减少歧义。
5.5.3 约束解码
约束解码通过限制生成过程中的非法输出，提高结果的可用性和一致性。常见约束包括标签合法性、边界连续性和格式完整性。
6 数据与标注
高质量数据是命名实体识别性能的基础。无论采用何种模型，标注规范、语料覆盖和一致性控制都会直接影响训练效果与评测可信度。
6.1 语料来源
命名实体识别语料通常来源于多种文本类型，不同来源决定了实体分布、语言风格和噪声水平。
6.1.1 新闻文本
新闻文本语言相对规范，实体类型较清晰，常被用于构建通用领域数据集。其优势在于结构稳定，但对口语化表达覆盖有限。
6.1.2 社交媒体文本
社交媒体文本口语化强、缩写多、拼写变体丰富，实体边界也更不稳定。该类语料更贴近真实应用，但标注难度较高。
6.1.3 专业领域文本
专业领域文本来源于医疗、金融、法律、科技等场景，术语密集且类别细分明显。它有助于训练垂直领域模型，但采集和标注成本较高。
6.2 标注规范
标注规范决定了实体如何被定义、切分和归类，是数据一致性的核心保障。
6.2.1 边界标注
边界标注要求明确实体的起点与终点，避免片段过长或过短。统一边界规则对于后续训练和评测尤为关键。
6.2.2 类别标注
类别标注需要在预定义体系中为每个实体分配正确标签。若类别定义模糊或层次混乱，模型学习效果往往会受影响。
6.2.3 一致性控制
一致性控制用于减少不同标注者之间的差异，并保持同一规则在全语料范围内稳定执行。常通过标注手册、复审和抽检来实现。
6.3 标注格式
标注格式是将实体信息编码为机器可读形式的方式。不同格式在表达能力和处理复杂结构方面各有特点。
6.3.1 BIO
BIO 是常见的序列标注格式，用 B 表示实体起始，用 I 表示实体内部，用 O 表示非实体。它实现简单，适用范围广，但对某些复杂边界表达能力有限。
6.3.2 BILOU
BILOU 在 BIO 基础上增加了单字实体和末尾位置标记，能更细致地表示实体结构。它在边界精度上通常优于简单格式。
6.3.3 XML 与 JSON
XML 与 JSON 适合表达结构化实体及其属性，便于数据交换和系统集成。它们常用于标注工具导出、数据管理和下游应用接口。
6.4 数据集构建
数据集构建涉及抽样、标注、清洗、复核和扩展等多个步骤。一个可用的数据集不仅要覆盖典型样本，也要兼顾长尾现象和复杂结构。
6.4.1 采样策略
采样策略决定哪些文本被纳入标注范围。合理采样可平衡常见实体与罕见实体，避免语料过度集中于单一主题。
6.4.2 质量控制
质量控制包括一致性检查、冲突修正和噪声清除。高质量数据往往比单纯增加数量更能提升模型效果。
6.4.3 数据增强
数据增强可通过同义替换、模板生成、回译或字符扰动扩充训练样本。其目的是提高模型鲁棒性，但增强方式若过强，也可能引入分布偏移。
7 评价指标
命名实体识别的评价通常以实体级别的预测正确性为核心，而不仅仅是标签逐字匹配。评价设计需同时反映边界、类别和整体效果。
7.1 精确率
精确率衡量系统预测为实体的结果中，有多少是真实正确的。该指标反映误报控制能力，适合观察模型是否过于激进。
7.2 召回率
召回率衡量真实实体中有多少被系统成功找出。它反映漏报情况，常用于评估模型对实体覆盖的完整程度。
7.3 F1 值
F1 值综合考虑精确率和召回率，是命名实体识别中最常用的总体指标。由于两者常存在此消彼长关系，F1 能更平衡地体现模型性能。
7.4 严格匹配与宽松匹配
严格匹配要求实体边界和类别完全一致才算正确，标准较高，常用于正式评测。宽松匹配则允许部分重叠或边界近似，更适合分析模型在实际场景中的容错表现。
7.5 分类别评估
分类别评估会分别统计不同实体类型的性能，以便发现模型在哪些类别上表现更好或更差。它有助于定位问题，如人名识别强而机构名识别弱。
7.6 跨领域评估
跨领域评估检验模型在训练领域之外的适应能力。该指标能够较真实地反映系统迁移性，是工业应用中重要的考察维度。
8 应用场景
命名实体识别是许多信息处理系统的底层能力之一，常作为文本结构化处理的起点。它不仅能提高检索效率，也能支持复杂的知识推理和自动化分析。
8.1 信息抽取
在信息抽取中，NER 用于先识别文本中的关键对象，再配合关系和事件分析提取结构化信息。它能显著减少人工整理成本。
8.2 知识图谱构建
知识图谱构建需要将文本中的实体映射为图谱节点。命名实体识别为实体发现和规范化提供入口，是图谱自动化生成的重要环节。
8.3 搜索与检索
在搜索与检索场景中，实体识别可帮助系统理解查询意图，并进行实体级索引与排序优化。它对于提高检索精度和结果聚焦度具有明显作用。
8.4 智能问答
智能问答系统依赖对问题中的人名、地名、时间或组织名称的准确识别，以便定位答案范围。实体识别往往直接影响问答系统的理解质量。
8.5 机器翻译辅助
机器翻译中，实体识别可帮助保留专名的一致性，减少专有名词被误译或漏译的风险。对于多语种环境，这一能力尤为重要。
8.6 文本摘要辅助
在摘要生成中，识别实体有助于保留关键信息，避免摘要过度压缩后丢失核心对象。它也可用于控制摘要中的专名一致性。
8.7 风险监测与舆情分析
在风险监测与舆情分析中，NER 可用于识别涉及的人物、机构、地点和事件名称，从而辅助主题聚合和趋势分析。它是大规模文本监控中的基础组件。
9 挑战与难点
尽管命名实体识别已取得显著进展，但在真实文本中仍面临许多困难。语境复杂性、实体多样性和领域差异都可能显著降低模型表现。
9.1 歧义消解
同一词语在不同语境下可能对应不同实体类型，甚至根本不是实体。系统需要依赖上下文进行判别，这对语义理解能力要求较高。
9.2 实体边界模糊
许多实体与修饰语、称谓或后缀之间边界并不绝对清晰。边界模糊会导致标注不一致，也会增加模型学习难度。
9.3 嵌套与重叠实体
当多个实体共享部分文本时，传统线性标注往往难以同时表达。为了处理这类结构，研究者需要采用更复杂的解码或表示方式。
9.4 领域迁移
一个领域训练良好的模型，迁移到另一个领域后可能性能明显下降。术语体系、写作风格和实体分布的变化都会影响泛化。
9.5 小样本与零样本
许多实际任务缺乏充足标注数据，甚至新类别没有示例可供学习。小样本与零样本条件下，模型更依赖先验知识与表示迁移能力。
9.6 长尾实体问题
长尾实体指出现频率很低、样本稀少但又真实存在的实体。模型往往更擅长识别高频实体，对罕见项容易漏检。
9.7 低资源语言识别
在标注语料不足、工具链不完善或语言结构复杂的情况下，实体识别更具挑战。此时常需要迁移学习、跨语言对齐或弱监督方法支持。
10 典型研究方向
随着任务需求不断细化，命名实体识别逐渐分化出多个研究方向。它们大多围绕泛化能力、结构复杂性和信息融合展开。
10.1 跨语言命名实体识别
跨语言命名实体识别关注不同语言之间的知识迁移。通过共享表示、对齐词向量或利用平行语料，模型可在多语种环境中提升识别效果。
10.2 跨领域命名实体识别
跨领域研究旨在让模型适应不同文本类型和专业场景。该方向通常强调领域不变特征学习和训练数据再利用。
10.3 细粒度实体识别
细粒度实体识别进一步细分实体类别，例如将“机构名”区分为学校、公司、政府单位等。类别越细，信息价值越高，但标注和分类难度也更大。
10.4 实体关系联合抽取
该方向将实体识别与关系抽取结合，试图在同一模型中同时发现实体及其相互关系。联合建模可减少误差传递，提高整体抽取效率。
10.5 多模态命名实体识别
多模态命名实体识别结合文本、图像、音频或版面信息进行判断。它适用于新闻版面、短视频字幕、文档截图等场景，能弥补纯文本信息不足的问题。
10.6 开放信息抽取
开放信息抽取不预先限定实体类型和关系形式，强调从文本中自动发现新的结构化知识。它与开放域实体识别相互关联，常用于知识发现任务。
11 工具与资源
命名实体识别的研究和落地离不开工具、数据和评测环境的支持。成熟的资源生态能显著降低开发与验证成本。
11.1 开源框架
开源框架为NER提供了现成的训练、推理和部署能力，适合快速实验和原型搭建。它们通常支持多种模型结构与标注格式。
11.1.1 序列标注工具
序列标注工具主要用于训练和运行传统或神经序列模型。它们通常包含特征提取、标注解码和评测模块。
11.1.2 预训练模型库
预训练模型库提供通用语言模型及其下游接口，便于研究者直接进行微调实验。借助这些资源，NER 的建模门槛明显降低。
11.2 常用数据集
常用数据集是比较模型性能的重要基础。它们通常覆盖通用领域或特定专业领域，并形成相对固定的评测基准。
11.2.1 通用领域数据集
通用领域数据集一般包含新闻、百科或通用文本中的实体标注，适合评估基础能力。其优势在于可比性强，但领域覆盖有限。
11.2.2 专业领域数据集
专业领域数据集围绕医疗、金融、法律、科技等垂直场景构建，更能反映真实应用需求。它们往往具有更强的术语性和更复杂的类别体系。
11.3 评测平台
评测平台提供统一的数据划分、指标计算和结果比较机制，有助于规范实验。它们也促进了不同方法之间的公平对照。
11.4 标注工具
标注工具用于辅助人工完成实体标注、复审和导出。高质量标注工具通常支持快捷键操作、格式转换和一致性检查，从而提高生产效率。
12 相关概念
命名实体识别与多个自然语言处理概念密切相关。理解这些相关任务，有助于把握其在文本理解体系中的位置。
12.1 实体消歧
实体消歧关注区分同名或近名实体，判断文本中提到的究竟是哪一个对象。它通常发生在实体识别之后，并依赖更丰富的上下文信息。
12.2 实体链接
实体链接将文本中的实体映射到知识库中的标准条目，是从“识别”走向“规范化”的关键步骤。它常与实体消歧紧密结合。
12.3 事件抽取
事件抽取关注文本中发生了什么、谁参与其中、时间地点如何等信息。实体识别通常为事件抽取提供参与者、时间和地点等基础要素。
12.4 关系抽取
关系抽取旨在识别实体之间的语义关系，如所属、位于、任职等。实体识别是关系抽取的前提，因为关系通常建立在实体对之上。
12.5 词义消歧
词义消歧解决词语在不同语境中的含义判断问题。虽然它不专门针对专名，但与实体识别一样，都依赖上下文理解。
12.6 文本分类
文本分类以整篇文本或段落为单位分配主题或标签，关注的是整体语义而非局部实体。它与命名实体识别在粒度和输出形式上有明显区别。