1 历史沿革
自然语言处理的发展历程可划分为三大阶段，每个阶段都反映了计算能力、数据规模与理论范式的演进。
1.1 符号主义与规则方法（1950s–1980s）
早期NLP研究深受符号主义和逻辑主义影响，研究者试图通过手工编写的语法规则和词典来解析语言。1950年代，机器翻译成为首个重大课题，但受限于对语言复杂性的低估，早期系统效果不佳。1960–1970年代，基于转换生成语法和乔姆斯基理论，出现了如SHRDLU（模拟积木世界对话）等受限领域的系统。这一阶段的主要方法是正则表达式、上下文无关语法和基于规则的句法分析，但面对真实文本的歧义和灵活性时，规则覆盖度不足，系统脆弱且难以扩展。
1.2 统计学习时代（1990s–2000s）
随着大规模电子文本语料库的出现和计算能力的提升，统计方法逐步取代纯规则方法。1990年代，IBM的统计机器翻译模型（如IBM Model 1–5）利用词对齐概率进行翻译。同期，隐马尔可夫模型（HMM）用于词性标注，最大熵模型和支持向量机（SVM）被引入文本分类和信息抽取。2000年代，概率上下文无关语法（PCFG）、条件随机场（CRF）等结构化预测模型在句法分析和序列标注中取得突破。这一时期的特点是数据驱动、自动学习统计规律，但高度依赖特征工程和领域知识。
1.3 深度学习与预训练模型（2010s至今）
2013年左右，词向量（Word2Vec、GloVe）的兴起使得分布式语义表示成为主流。2014年，序列到序列模型与注意力机制的提出极大改善了机器翻译等生成任务。2017年，Transformer架构完全基于注意力机制，消除了对循环结构的依赖。2018年，BERT和GPT等大规模预训练语言模型通过自监督学习从海量文本中获取通用语言知识，再通过微调适配下游任务。这一范式使NLP在众多基准上达到或超越人类水平，并催生了ChatGPT等实用系统。当前趋势包括更大规模的模型（如GPT-4、LLaMA）、多模态融合以及高效微调技术。
2 核心任务
2.1 句法分析
句法分析旨在解析句子结构，揭示词语之间的语法关系，是理解语言表层形式的基础。
2.1.1 分词与词性标注
分词将连续文本切分为独立的词汇单元（如中文“我爱自然语言处理”切分为“我/爱/自然语言处理”），词性标注则为每个单词赋予其语法类别（名词、动词、形容词等）。现代方法通常结合序列标注模型（如BiLSTM-CRF或BERT）联合处理，精度可达97%以上。
2.1.2 依存句法分析
依存句法分析构建单词之间的有向依赖关系（如“主谓宾”关系），形成一棵依存树。常用算法包括基于转移的系统（如Arc-Standard）和基于图的解析器（如最大生成树算法）。预训练模型的出现大幅提升跨领域的泛化能力。
2.2 语义理解
语义理解从语言表述中提取意义，涉及实体、概念以及它们之间的逻辑关系。
2.2.1 命名实体识别
识别文本中的专有名称（人名、地名、机构名、时间、数字等）并分类。方法从早期的规则和字典，发展到CRF、BiLSTM-CRF，再到当前基于BERT微调的序列标注模型，在通用领域F1值已超93%。
2.2.2 语义角色标注
为句子中的每个谓词（通常为动词）标注其论元角色（如施事者、受事者、时间、地点等），类似于回答“谁对谁做了什么”。常用的形式化框架包括PropBank和FrameNet。当前主流方法采用基于Transformer的编码器-解码器或序列标注结构。
2.3 文本生成
文本生成任务要求模型依据输入信息创建连贯、合乎语法的文本。
2.3.1 机器翻译
将源语言文本自动转换为目标语言。早期为统计机器翻译（SMT），分为词对齐、短语抽取和语言模型。2014年起神经机器翻译（NMT）采用序列到序列模型+注意力，Transformer架构使之成为标配。预训练模型（如mBART、NLLB）在低资源语言上也有显著提升。
2.3.2 文本摘要
从长文档中生成简短、准确的概括。抽取式摘要直接从原文中选取关键句子；生成式摘要（如PEGASUS、BART）允许重组语义。评估指标包括ROUGE和BERTScore。当前挑战包括事实一致性和可控性。
2.3.3 对话生成
构建能够与人类进行多轮交互的对话系统。早期为基于检索的匹配方法，后发展为生成式模型。大规模预训练模型（如DialoGPT、ChatGPT）使得开放域对话流畅度大幅提升，但仍面临一致性、共情性和知识融合的挑战。
2.4 信息抽取
从非结构化文本中提取结构化信息，形成知识图谱或数据库。
2.4.1 关系抽取
识别文本中实体之间的语义关系（如“出生地”“子公司”）。方法包括基于模板的传统方法、基于特征工程的有监督学习（如SVM、CNN），以及当前广泛采用的预训练模型微调，有时结合远程监督进行弱标注。
2.4.2 事件抽取
检测文本中描述的事件（如“地震”“会议”），并填充事件的触发词、参与者、时间、地点等要素。典型方法分为流水线式（先识别事件类型，再抽取论元）和联合式（端到端模型）。2019年后基于BERT的事件抽取在ACE benchmark上提升了约5个百分点。
3 主要方法与技术
3.1 传统机器学习方法
在深度学习普及之前，统计机器学习是NLP的主流工具，依赖精心设计的特征模板。
3.1.1 隐马尔可夫模型
HMM是生成式序列模型，适用于词性标注、语音识别等任务。它假定当前状态仅依赖前一状态（马尔可夫假设），观测仅依赖当前状态。扩展形式包括最大熵马尔可夫模型（MEMM）和半马尔可夫模型。
3.1.2 条件随机场
CRF是一种判别式无向图模型，专为序列标注任务设计。它直接建模给定观测序列下标签序列的条件概率，能通过特征函数灵活整合上下文信息。与HMM相比，CRF克服了标签偏置问题，在命名实体识别和分块任务中效果显著。
3.1.3 支持向量机
SVM被广泛用于文本分类（如垃圾邮件检测、情感极性判断）。通过核技巧将文本特征（如TF-IDF向量）映射到高维空间，寻找最大间隔超平面。线性SVM在高维稀疏特征上表现优异，但在处理序列数据时需配合滑动窗口或全局解码（如SVMstruct）。
3.2 深度学习方法
深度学习通过端到端的特征学习，摆脱了人工特征工程的束缚。
3.2.1 循环神经网络与LSTM
RNN适合处理序列数据，但面临梯度消失/爆炸问题。LSTM通过遗忘门、输入门和输出门控制信息流，有效捕捉长距离依赖。双向LSTM（BiLSTM）进一步融合前后文信息，在序列标注和情感分析中获得广泛应用。GRU作为简化变体也常被使用。
3.2.2 注意力机制与Transformer
注意力机制允许模型动态关注输入序列的不同位置，加权聚合信息。2017年提出的Transformer完全基于多层自注意力（Self-Attention）和前馈网络，并采用位置编码保留序列顺序。其并行计算能力远超RNN，成为后续几乎所有预训练模型的基础架构。
3.2.3 序列到序列模型
Seq2Seq模型由编码器和解码器组成，常用于机器翻译、文本摘要和对话生成。编码器将输入序列映射为上下文向量，解码器逐词生成输出。注意力机制的引入让解码器在每一步关注输入的不同部分，提升对齐质量。Transformer取代RNN作为编码器-解码器后，性能大幅改善。
3.3 预训练语言模型
预训练-微调范式将语言知识的学习任务与下游任务解耦，大幅降低对标注数据的需求。
3.3.1 BERT及其变体
BERT（2018）通过掩码语言模型（MLM）和下一句预测（NSP）在无标签文本上进行预训练，输出深层双向表示。其变体包括RoBERTa（改进训练策略）、ALBERT（参数共享）、DistilBERT（知识蒸馏）、SpanBERT（遮盖连续片段）等。BERT在GLUE、SQuAD等基准上取得了当时最佳结果。
3.3.2 GPT系列
GPT（2018）采用自回归生成，从左到右逐词预测。GPT-2（2019）展示大规模无监督生成的惊人能力，GPT-3（2020）加入上下文学习（In-Context Learning），GPT-4（2023）进一步提升多模态理解和推理能力。该系列推动了大语言模型（LLM）在对话、代码生成、创作等领域的应用。
3.3.3 多模态模型（CLIP、LLaVA）
CLIP（2021）通过对比学习对齐图像和文本表示，可零样本完成图像分类和检索。LLaVA（2023）将视觉编码器与大语言模型连接，实现图文融合的对话理解（如根据图片回答问题）。多模态模型使NLP向更丰富的感知世界迈进。
4 应用领域
4.1 信息检索与搜索引擎
NLP技术支撑着现代搜索引擎的核心。查询理解（分词、纠错、实体识别）、文档索引与相关性排序、答案抽取（如BERT用于阅读理解）均是关键环节。Google、Bing等利用BERT改进搜索质量，理解用户意图和文档含义，而非仅依赖关键词匹配。
4.2 智能客服与虚拟助手
从早期的规则型客服机器人（如Eliza）到基于大语言模型的智能助手（Siri、Alexa、小度、ChatGPT），NLP实现了自然语言问答、任务执行（订票、设闹钟）和多轮对话管理。意图识别和槽填充是核心技术，当前大模型进一步支持了复杂的多步骤请求。
4.3 内容审核与情感分析
社交媒体和电商平台利用NLP自动检测仇恨言论、色情内容、垃圾广告等，常用方法包括文本分类（基于BERT或FastText）和细粒度敏感词匹配。情感分析（正面/负面/中性）帮助品牌监控舆情，评论挖掘还可提取用户对产品具体属性的态度。
4.4 自动写作与辅助翻译
自动写作工具（如Grammarly、Jasper）利用NLP提供语法纠正、风格优化和内容生成。机器翻译系统（Google Translate、DeepL）已集成于办公、旅行场景。辅助翻译（CAT）结合NMT和术语管理提升译员效率。在创意写作领域，GPT系列可生成诗歌、故事大纲等。
5 挑战与前沿
5.1 歧义消解与上下文建模
自然语言普遍存在词汇歧义（一词多义）和结构歧义。尽管上下文嵌入（如BERT）缓解了部分问题，但在隐喻、省略、玩笑场景下仍显不足。长文本的篇章级建模（如文档级Transformer、分段注意力）和常识推理是当前研究重点。
5.2 低资源语言处理
全球约7000种语言中，绝大多数缺少足够标注语料。办法包括跨语言预训练（如mBERT、XLM-R）、回译数据增强、无监督与半监督学习。此外，利用语言拓扑相似性进行零样本迁移也是活跃方向。NLP的公平性问题要求覆盖更多语言，避免数字鸿沟。
5.3 可解释性与鲁棒性
大模型常被视为黑箱，难以解释其决策过程。可解释性研究包括注意力可视化、梯度分析、概念归因和对抗样本检测。鲁棒性涉及对拼写错误、语法变异、故意对抗输入的稳定性。当前亟需在推理时加入知识约束或因果结构。
5.4 伦理、偏见与隐私问题
训练数据中的社会偏见（性别、种族、地域）可能被模型放大，导致不公平输出。去偏方法包括数据重采样、对抗训练、表示调整。大语言模型还存在可能生成虚假信息（幻觉）、侵犯版权、泄露敏感信息等问题。伦理框架要求透明性、责任制与安全测试。隐私保护技术（如联邦学习、差分隐私）正被整合进NLP流程。