1 概要と歴史的発展
1.1 定義と基本概念
命名实体识别は、テキスト中の固有名詞（人名、組織名、地名、日付、金額、時間表現など）を自動的に検出し、予め定義されたカテゴリに分類する自然言語処理タスクである。典型的なNERシステムは、入力テキストからエンティティの境界を特定し、対応するラベル（例：PER、ORG、LOC）を付与する。このタスクは情報抽出の基盤として機能し、後続の応用に構造化データを提供する。
1.2 初期の研究（MUC会議とルールベース手法）
NERの研究は、1987年に開始されたMessage Understanding Conference（MUC）シリーズで体系化された。初期のMUC-6（1995年）では正式にNERタスクが定義され、主にルールベースの手法が用いられた。これらのシステムは手書きのパターンや辞書を利用し、特定ドメイン（軍事、ニュース）で高い精度を示したが、領域移行に弱く、構築に多大な人的労力を要した。
1.3 統計モデルへの移行（HMM、CRF）
1990年代後半から、隠れマルコフモデル（HMM）や条件付き確率場（CRF）などの統計的機械学習手法が主流となった。これらは注釈付きコーパスから自動的に特徴を学習し、ルールベース手法より汎化性能に優れた。特にCRFは系列ラベリングにおいて隣接ラベル間の依存関係をモデル化でき、長期間にわたり標準手法とされた。CoNLL-2003などの共有タスクが評価基準を確立し、研究の進展を加速した。
1.4 深層学習時代の到来（LSTM、Transformer）
2010年代半ば、深層学習がNERに革命をもたらした。BiLSTM-CRFアーキテクチャは、単語埋め込みと文脈情報を組み合わせ、従来手法を大幅に上回る精度を達成した。さらに2018年以降、BERTなどのTransformerベースの事前学習モデルが導入され、広範な文脈を捉える能力によりSOTAを更新し続けている。これにより、NERは少数データや多言語設定でも高い性能を発揮可能となった。
2 主要な手法
2.1 ルールベース手法
2.1.1 辞書マッチング
事前に構築されたエンティティ辞書（人名リスト、地名データベースなど）を用いてテキストを走査し、完全一致または部分一致でエンティティを識別する。実装が容易で高速だが、未知語や表記揺れに弱く、辞書の保守が負担となる。
2.1.2 手書きパターン
正規表現や文脈パターン（「～氏」、「～株式会社」など）を人手で定義する。特定ドメイン（医学用語、日付表現）で高精度を発揮するが、パターン設計に専門知識が必要で、複雑な言語現象には対応しにくい。
2.2 統計的機械学習手法
2.2.1 隠れマルコフモデル
HMMは、観測系列（単語）と隠れ状態系列（ラベル）の同時確率を生成モデルとして学習する。遷移確率と出力確率を推定し、ビタビアルゴリズムで最適ラベル系列を求める。計算効率が良いが、特徴の独立性仮定が強いため、複雑な依存関係を捉えるのが難しい。
2.2.2 条件付き確率場
CRFは条件付き確率を直接モデル化する識別モデルである。単語の特性（語形、品詞、接頭辞など）や周辺ラベル間の特徴を自由に組み合わせられるため、HMMより高精度である。線形鎖CRFが系列ラベリングの定番として広く普及した。
2.3 深層学習ベースの手法
2.3.1 LSTM-CRFアーキテクチャ
双方向LSTM（BiLSTM）が単語系列の前後文脈を符号化し、その出力をCRF層に渡してラベル間の遷移制約を学習する。単語埋め込み（Word2Vec、GloVe）や文字レベル埋め込みを組み合わせることで、未知語や形態的変異に頑健になる。このアーキテクチャは2015年以降の標準的ベースラインとなった。
2.3.2 BERTと事前学習モデル
BERT、RoBERTa、XLM-RなどのTransformerモデルは、大規模テキストで事前学習され、下流NERタスクで微調整される。BERTはマスク言語モデルと次文予測で学習し、単語の文脈化表現を生成する。これにより、多義語の曖昧性解消や長距離依存の捕捉が飛躍的に向上した。現在、多くのNERベンチマークで最良の結果を示している。
2.3.3 系列ラベリングとポインターネットワーク
従来の系列ラベリング（BIO、BIOESタグ方式）に加え、ポインターネットワークを用いた抽出手法も登場している。ポインターネットはエンティティの開始位置と終了位置を直接予測し、ネストされたエンティティや非連続エンティティの扱いに適する。特にReading Comprehension型のNER（例：BERT-QA）がこの枠組みを採用している。
2.4 ハイブリッド手法とアンサンブル学習
ルールベースの精度と統計モデルの汎化性を組み合わせる手法が実用システムで広く使われる。例えばCRFの出力に後処理ルールを適用する、あるいは複数の深層学習モデルをアンサンブルし多数決やスタッキングで最終ラベルを決定する。アンサンブルは単一モデルより安定しやすいが、計算コストが増大する。
3 評価と課題
3.1 評価指標（適合率、再現率、F1スコア）
NERの評価には通常、正確一致（strict）評価が用いられる。適合率（Precision）はシステムが予測したエンティティ中の正解の割合、再現率（Recall）は実際のエンティティ中の正しく検出された割合、F1スコアはその調和平均である。エンティティの境界とタイプが完全一致した場合のみ正解とカウントする厳格な基準が一般的である。
3.2 一般的なベンチマークデータセット（CoNLL-2003、OntoNotes）
CoNLL-2003は英語とドイツ語のニュース記事からなり、4カテゴリ（PER、ORG、LOC、MISC）のアノテーションを持つ。OntoNotes 5.0は英語、中国語、アラビア語の多様なジャンル（ニュース、会話、ウェブテキスト）をカバーし、18種類のエンティティタイプを定義する。これらはNER研究の標準評価データとして広く使用される。
3.3 ドメイン適応と転移学習の課題
NERモデルは訓練データのドメインに強く依存し、新たなドメイン（医学、法律、金融）に移行すると性能が急落する。転移学習やドメイン適応手法（ドメイン敵対的訓練、自己学習）が研究されているが、ラベル付きデータが少ない場合、十分な適応が難しい。特に専門用語や特有の命名規則が障壁となる。
3.4 マルチリンガルNERと低リソース言語
英語以外の言語、特に低リソース言語では注釈付きコーパスが不足する。多言語BERT（mBERT、XLM-R）の事前学習により、クロスリンガル転送が可能になりつつあるが、言語間の表現ギャップ（語順、形態論）は依然として課題である。能動学習や遠隔監視手法が低リソース設定で試みられている。
3.5 ネストされたエンティティと非連続エンティティの扱い
「ニューヨーク大学」のように「ニューヨーク」（都市）が「ニューヨーク大学」（組織）に含まれるネスト構造や、「ロサンゼルス～サンフランシスコ」のような非連続エンティティは、従来の系列ラベリングでは扱いにくい。グラフベース手法、ハイパーグラフ、またはポインターネットワークを用いた研究が進められている。
4 応用分野
4.1 情報抽出と知識ベース構築
NERは、テキストから構造化知識を抽出するパイプラインの第一ステップとして利用される。抽出されたエンティティは関係抽出や知識グラフ構築（例：Wikidataの自動拡充）に供され、大規模な知識ベースの自動構築を可能にする。
4.2 質問応答システム
ユーザー質問中のエンティティを識別することで、答え候補を含む文書の検索や、エンティティに基づく直接回答生成が行われる。例えば「アインシュタインはいつ生まれた？」という質問では「アインシュタイン」（人物）と「生まれた」（時間）を認識し、対応する知識を検索する。
4.3 医療文書とバイオインフォマティクス
臨床ノートや論文から疾病名、薬剤名、遺伝子名などの生物医学エンティティを抽出する。これは創薬支援、患者レコードの自動要約、副作用検出に応用される。BMESタグ方式や特殊な辞書が医療NER向けに開発されている。
4.4 ソーシャルメディア分析とトレンド検出
TwitterやRedditなどの短い非正規テキストからブランド名、人物名、ハッシュタグを抽出し、世論分析やマーケティングインテリジェンスに活用する。ノイズの多いデータに対応するため、文脈埋め込みと正規化手法が重要となる。
4.5 セマンティック検索とレコメンデーション
検索クエリ中のエンティティを認識し、検索結果の関連性を向上させる。例えば「パリのホテル」というクエリでは「パリ」（場所）を特定し、地理的に絞り込みを行う。レコメンデーションシステムでは、ユーザーの過去行動からエンティティを抽出して興味モデルを構築する。
5 最近の進展と将来展望
5.1 大規模言語モデルとFew-Shot NER
GPT-3、ChatGPT、LLaMAなどの大規模言語モデルは、プロンプトベースのFew-Shot設定でNERタスクを解く能力を示している。ラベル付きデータが極めて少ない状況でも、適切なプロンプト設計により高いF1スコアを達成できる。ただし、モデルサイズが大きく、実運用コストやレイテンシの問題がある。
5.2 マルチモーダルNER（テキスト＋画像）
画像中の物体名とテキスト中のエンティティを対応付ける研究が進んでいる。例えば、ニュース記事の写真に写る人物名を、キャプションや本文から抽出し、画像認識結果と統合する。Vision-Languageモデル（CLIP、ViLBERT）を活用した手法が提案されている。
5.3 説明可能性とエラー解析
深層学習NERモデルはブラックボックス的であり、誤り原因の診断が困難である。attention可視化、勾配ベースの説明手法（LIME、SHAP）、またはルール抽出によってモデル判断の根拠を明らかにする研究が進む。特に医療や法律分野では説明可能性が実用化の要件となる。
5.4 実世界展開における軽量化技術
NERモデルをモバイル端末やIoTデバイスに組み込むため、モデル蒸留、量子化、プルーニングなどの軽量化技術が重要視されている。また、知識グラフを活用したルール蒸留により、小さなモデルでも高い性能を維持する取り組みが行われている。