1 キーワード抽出の概要
1.1 目的と利用場面
キーワード抽出は、入力された文章や文書群の中から、内容の要点を代表する重要語や重要句を自動で選び出す技術である。目的は、情報を検索・要約・分類・可視化などの上流工程で扱いやすい形に圧縮することにある。典型的には、検索ではクエリ拡張や索引語の生成、要約では論点の把握、分類やクラスタリングでは特徴量としての利用が行われる。近年は推薦やチャットボットの応答設計においても、ユーザの関心領域を端的に表す手掛かりとして用いられる。
1.2 基本概念（キーワード・重要度・候補語）
基本要素として、まず「キーワード」は文章の意味を要約する語・句・概念として扱われる対象を指す。つぎに「重要度」は、各候補がどれだけ代表性や有用性をもつかを数値化した尺度である。最後に「候補語」は、実際の抽出以前に用語候補として列挙された単位であり、後続のスコアリングにより最終的なキーワード集合へ絞り込まれる。候補語の設計は、意味粒度の適切化（単語単位か句単位か）、誤抽出率の低減、計算コストの制御に直結する。
1.3 対象データの範囲（単文・文書群・会話）
対象は単文から文書群まで幅広い。単文では語の並びや修飾関係が重要となり、文書群では複数文の分布や文脈のばらつきが評価に影響する。会話データでは、発話者交代、参照関係（前後発話への依存）、照応（これ・それ）などがあり、単純な語頻度だけでは要点を取りにくい場合がある。そのため会話では発話区切り、文脈ウィンドウ、時間的・対話的特徴を取り入れる工夫がよく用いられる。
2 抽出手法の分類
2.1 統計ベース手法
2.1.1 文書頻度と語頻度
統計ベース手法は、単語や句の出現頻度や分布を手掛かりに重要度を算出する。代表的には「語頻度」（同一文書内での出現の多さ）と「文書頻度」（多くの文書で共通に現れる度合い）の組み合わせが中心となる。直感的には、特定の文書に固有で繰り返し登場する語ほど重要になりやすい、という考え方を反映する。
2.1.1.1 TF・IDF・その派生
TF・IDFは、TF（term frequency）で文書内の出現度を測り、IDF（inverse document frequency）で全体の中での希少性を補正して重要度を定める。派生として、語の長さや形態的特徴を加味する手法、語頻度の非線形変換（対数、正規化）を導入する手法、文書長の違いを補正する手法などがある。統計ベースは実装が容易で解釈性も高い一方、文脈依存の意味関係（否定、比喩、動詞の目的語の関係）を直接扱いにくいという限界がある。
2.1.2 共起や特徴量に基づく指標
語同士の共起関係や、文中の位置・構文に関する特徴量を組み合わせて重要度を算出する方法もある。たとえば、同一文や近傍領域に頻出する語の組み合わせを重視したり、見出しやリード文のように情報密度が高い領域の重みを上げたりする。単語単体だけでは拾いにくい「句としてのまとまり」を、共起の強さとして扱う設計も可能である。特徴量設計はドメイン差の影響を受けやすく、データの性質に合わせた調整が必要になる。
2.2 機械学習・モデルベース手法
2.2.1 学習データと教師あり/教師なし
機械学習ベースでは、候補語の重要性を分類や回帰として学習する。教師ありでは、抽出結果の正解（キーワード集合）を与え、モデルが重要語を見分けるように学習する。教師なしではラベルを用いずに、分布の構造や埋め込み空間でのまとまりを利用して重要度や代表語を決める。教師ありは精度向上が期待できるが、アノテーション負担がある。教師なしは運用開始の障壁が低い反面、目標とする「重要」の定義がデータ側の構造に依存しやすい。
2.2.2 埋め込み表現の活用
埋め込み表現（embedding）は、単語や句、文書を連続ベクトルとして表すことで意味の近さを扱えるようにする。キーワード抽出では、候補語の埋め込みと文書全体の埋め込みの類似度、または候補語同士の関連度を用いて重要度を計算することが多い。こうした方法は、表層表現が異なっても意味が近い語を同一傾向として扱える利点がある。一方で、学習した表現がデータ範囲から外れると精度が落ちるため、ドメインに応じた埋め込み選定や微調整が検討される。
2.3 文書理解・生成モデルの利用
2.3.1 文からの候補抽出と再ランキング
生成モデルや文理解モデルを用いる場合、まずモデルに候補生成や抽出を行わせ、その後に別モデルやスコア関数で再ランキングする構成がよく採用される。再ランキングでは、生成の多様性や冗長性を抑えつつ、文書との関連度や情報量のバランスを整える。候補が増えるほど探索の余地は広がるが、計算コストと誤抽出の増大が同時に起こり得るため、段階的手順により品質と効率を両立させる意義がある。
2.3.2 生成結果の制約（抽出型・ハイブリッド）
生成モデルでは、自由生成による逸脱が起きうるため制約が重要になる。抽出型では、入力文から実際に出現した語や句に限って返すため、確実性を高めやすい。ハイブリッドでは、抽出で候補を絞った後、生成的な理解で補完・言い換えを行うなどの役割分担が行われる。制約の設計は、可読性と忠実性のトレードオフに関わる。抽出に限定すると表現の柔軟性が落ちる一方、制約を緩めると正確性や根拠の追跡が難しくなる場合がある。
3 前処理と設計上の論点
3.1 形態素解析・トークナイズ
日本語や英語など言語により前処理は異なる。日本語では形態素解析により品詞や表層形を切り分け、句の候補を組み立てるのが一般的である。英語ではトークナイズにより単語境界を決め、必要に応じて語形変化を扱う。粒度の選択は、単語ベースのTF系手法に直結するほか、モデルベース手法でも入力単位を誤ると意味の対応付けが崩れる。さらに、文境界や段落境界の扱いも重要であり、抽出範囲（文単位か文書単位か）に合わせて設計する必要がある。
3.2 正規化（表記ゆれ、言い換え、表層語対策）
表記ゆれの統一は、重要度推定の安定性を高める。たとえば全角・半角、表記揺れ、送り仮名、略語の展開などは、同じ概念の分散を減らす目的で正規化される。言い換えでは、同義語辞書や変換規則、埋め込み類似度を用いた統合が行われることがある。表層語対策としては、固有名詞の表記揺れ、敬称の有無、略称と正式名称の対応などが対象になりやすい。
3.3 ストップワードとノイズ語の扱い
ストップワードは一般的すぎて内容判別に寄与しにくい語を指し、削除や重み低減の対象になる。ノイズ語はストップワードとは別に、特定のコーパスで頻出しつつ意味をあまり持たない語や、HTML由来のゴミ、重複記号などを含む。削除の強度が過剰だと重要語の一部まで失われるため、語彙の統計量や品詞情報を参照して段階的に扱う方法が採られる。逆にノイズ除去が弱い場合は、頻度に引っ張られて無関係な候補が上位に残りやすい。
3.4 スコアリングの設計（上位n件、しきい値、多様性）
抽出は「いくつ選ぶか」「どの程度の確信度で選ぶか」によって結果が変わる。上位n件方式は運用が単純で、比較もしやすい。しきい値方式はデータの変動に柔軟だが、分布のシフトで件数が不安定になりうる。さらに多様性を考慮する場合、似た語が連続して選ばれることを避けるための抑制（重複ペナルティ、クラスタリングに基づく選択）を導入する。ランキング設計は評価指標との整合が必要であり、適合率重視か網羅性重視かで最適解が変わる。
4 評価と運用
4.1 評価指標（適合率・再現率・ランキング指標）
評価では、抽出されたキーワード集合の正しさを測る指標が用いられる。適合率は抽出のうち正解に当たる割合、再現率は正解のうち抽出できた割合である。ランキング指標では、順序の良さを反映するために、上位に正解が多く含まれるかを重視する尺度を用いることが多い。代表的な設計として、平均適合率や正解の位置を考慮した指標があり、ユーザ体験に直結する上位品質を重視できる。
4.2 ゴールドデータの作り方
ゴールドデータは、人手で正解キーワード集合を付与することで作られる。作成では、アノテータの基準（キーワードの粒度、語句の範囲、許容する言い換え）を明確に定義することが重要である。複数人で付与し一致度を確認することで、恣意性を減らせる。さらに、評価に使う分割（学習・検証・テスト）を守り、特定ドメインや特定表現に偏らないようサンプリングすることが望ましい。
4.3 ドメイン適応（専門語、固有名詞、時事性）
ドメインが変わると語彙や重要性の基準も変化する。専門語は一般語辞書ではカバーしにくく、固有名詞は表記揺れやクラス分類が絡む。時事性があるデータでは、直近の出来事に紐づく語が重要として扱われる一方で、学習済み表現が古いと取りこぼしが起きる。適応の実務としては、専門コーパスでの頻度統計更新、語彙拡張、埋め込みの再学習や微調整、評価セットの更新などが行われる。
4.4 失敗パターンと改善（過抽出・冗長・曖昧語）
過抽出は、重要でない語まで選ばれて適合率が下がる現象である。原因としてしきい値の緩さ、ノイズ語の未除去、多様性制御の欠如が挙げられる。冗長は、同じ概念の言い換えや近い語が複数並ぶことで情報効率が落ちる状態である。曖昧語は、文脈を取らない設計により複数意味の候補が同程度に扱われ、正解率が揺れることがある。改善策としては、前処理の強化、候補単位の見直し、ランキング制約（重複抑制、クラスタ代表選択）、文脈を反映したスコア計算が検討される。