1 定義と基本概念
統計的言語モデルは、自然言語処理において、単語や文字の系列が出現する確率を統計的手法に基づいてモデル化したものである。基本的な考え方は、ある単語が過去の単語列に依存して出現する確率を推定することにあり、これにより言語らしさの定量評価や次単語予測が可能となる。n-gramモデルに代表される古典的アプローチから、ニューラルネットワークを用いた高度なモデルまでを含み、音声認識、機械翻訳、テキスト生成など幅広い応用分野の基盤技術として発展してきた。
1.1 言語モデルの目的
言語モデルの主な目的は、与えられた単語列に対してその確率を計算すること、および特定の文脈において次に出現する単語の確率を推定することである。これにより、文法的に正しく自然な文を判定したり、曖昧な入力から最も可能性の高い解釈を選択したりするための確率的な基準を提供する。例えば音声認識システムでは、音響的に類似した複数の候補の中から、言語モデルが与える確率に基づいて最も適切な単語列を選択する。
1.2 確率の基礎とマルコフ仮定
言語モデルは確率論に基づき、単語列\(w_1, w_2, \dots, w_n\)の同時確率\(P(w_1, w_2, \dots, w_n)\)を、条件付き確率の積に分解することで表現する。しかしすべての過去の単語に依存する条件付き確率を正確に推定することは、組み合わせ爆発のために実用的ではない。そこでマルコフ仮定を導入し、各単語の出現確率が直近の限られた数の単語のみに依存すると仮定する。この仮定により、確率計算が大幅に簡略化される。
1.3 n-gramモデル
n-gramモデルはマルコフ仮定に基づく最も基本的な統計的言語モデルである。直前のn-1個の単語に基づいて次の単語の出現確率を推定する。nの値が大きくなるほど文脈をより多く考慮できるが、推定に必要なデータ量も増大する。
1.3.1 ユニグラム・バイグラム・トライグラム
ユニグラム（unigram）はn=1の場合であり、各単語の出現確率を独立に扱う。つまり、文全体の確率は各単語の確率の積で表される。バイグラム（bigram）はn=2で、直前の1単語に依存する。トライグラム（trigram）はn=3で、直前の2単語に依存する。nが大きくなるほど、より豊かな文脈を捉えられるが、データスパースネスの問題が深刻化する。
1.3.2 平滑化手法（ラプラス平滑化、Kneser-Ney平滑化）
平滑化は、訓練データに出現しないn-gramの確率がゼロになることを防ぐための手法である。ラプラス平滑化は、すべてのn-gramの出現回数に定数（通常1）を加える単純な方法であり、加法平滑化とも呼ばれる。より洗練されたKneser-Ney平滑化は、高次n-gramの推定値を低次n-gramの情報を用いて補完する手法であり、特に低頻度のn-gramに対して有効である。他にもGood-Turing推定やWitten-Bell平滑化などが存在する。
2 統計的推定手法
統計的言語モデルの推定手法は、古典的な頻度ベースの手法から、より高度な最適化手法やニューラルネットワークを利用する手法へと発展してきた。
2.1 最尤推定と最大エントロピーモデル
最尤推定（MLE）は、訓練データの出現確率を最大化するようにモデルパラメータを決定する手法である。n-gramモデルでは、単純に観測された頻度を正規化することで確率を推定する。最大エントロピーモデルは、既知の制約（例えば特定のn-gramの頻度）を満たしつつ、未知の情報に対して最も一様な分布（エントロピー最大）を選択する原理に基づく。これにより複数の素性を柔軟に組み合わせることが可能となる。
2.2 ニューラルネットワーク言語モデル
ニューラルネットワークを用いた言語モデルは、単語を低次元の連続ベクトル（分散表現）で表現し、そのベクトルを基に確率を計算する。これにより、意味的・構文的に類似した単語間の一般化が可能となり、従来のn-gramモデルよりも少ないパラメータで高精度な推定を実現する。
2.2.1 フィードフォワード型モデル
フィードフォワード型ニューラルネットワーク言語モデル（NNLM）は、Bengioらによって2003年に提案された。固定長の文脈（直前のn−1個の単語）を入力とし、中間層を経て次単語の確率分布を出力する。単語埋め込み層を用いて各単語をベクトルに変換し、隠れ層で非線形変換を行う。このモデルはn-gramの枠組みをニューラルネットで拡張したものと見なせる。
2.2.2 リカレントニューラルネットワーク（RNN）モデル
RNNを用いた言語モデルは、時系列データを処理するのに適しており、任意の長さの文脈を内部状態（隠れ状態）として保持する。各時刻において、現在の単語と前時刻の隠れ状態から次単語の確率を予測する。LSTMやGRUなどのゲート機構を導入することで、長期依存の学習が改善される。RNNLMは逐次的なテキスト生成や文全体の確率計算に広く用いられた。
2.2.3 Transformerベースモデル（BERT、GPT等）
Transformerは、自己注意機構（self-attention）を用いて系列全体の依存関係を並列に計算するアーキテクチャである。BERT（Bidirectional Encoder Representations from Transformers）は、双方向の文脈を利用してマスクされた単語を予測する事前学習モデルであり、文脈化された単語埋め込みを獲得する。GPT（Generative Pre-trained Transformer）は、単方向（左から右）の自己回帰的な生成モデルであり、次単語予測タスクで学習される。これらのモデルは大規模なデータで事前学習され、下流タスクに転移学習されることで、従来手法を大幅に凌駕する性能を示す。
3 評価尺度
言語モデルの性能を評価するためには、確率的な尺度や、特定の応用タスクにおける実用的な尺度が用いられる。
3.1 パープレキシティ（Perplexity）
パープレキシティは、言語モデルがテストデータに対してどれだけ「困惑」するかを表す指標である。定義は、テストデータの単語系列に対する逆確率の幾何平均であり、値が小さいほどモデルが正確に系列を予測できていることを示す。形式的には、テストデータのクロスエントロピーの指数関数として計算される。パープレキシティはモデル間の比較に広く利用されるが、タスクの最終的な性能と完全に一致するとは限らない。
3.2 クロスエントロピー
クロスエントロピーは、モデルが推定する確率分布と真の分布（通常はテストデータ内の実際の単語系列）との間の情報量の差を測る指標である。値が低いほどモデルの予測が真の分布に近いことを示す。パープレキシティはクロスエントロピーの指数関数であり、両者は密接に関連する。
3.3 タスクベース評価（音声認識誤り率、翻訳品質等）
最終的な応用タスクにおける性能も重要である。音声認識では単語誤り率（WER）、機械翻訳ではBLEUスコアやchrFスコア、テキスト生成ではROUGEやMETEORなどが用いられる。言語モデルを組み込んだシステム全体の性能を評価することで、モデルの実用的な優位性を判断できる。
4 応用分野
統計的言語モデルは、自然言語処理の多様なタスクにおいて中核的な役割を果たす。
4.1 音声認識
音声認識システムでは、音響モデルが出力する音素や単語の候補系列に対して、言語モデルが言語的な尤度を提供する。言語モデルは、単語間の共起確率や文法構造を考慮して、認識結果の候補から最も自然な単語列を選ぶ。特に、大語彙連続音声認識では、n-gram言語モデルが長年にわたり標準的に利用されてきた。
4.2 機械翻訳
統計的機械翻訳（SMT）では、言語モデルは目的言語側の流暢さを評価するために用いられた。翻訳システムは、翻訳モデルが生成した翻訳候補の中から、言語モデルの確率が高いものを選択する。ニューラル機械翻訳（NMT）では、Transformerベースのモデルが翻訳モデルと同時に言語モデルとしての役割も果たし、エンドツーエンドで学習される。
4.3 テキスト生成と要約
テキスト生成では、言語モデルは次単語を逐次的に予測することで、人間らしい文章を生成する。自動要約では、入力文書の内容を保持しつつ、言語モデルが生成する要約文の確率を最大化するように学習が行われる。近年のGPTやBERTなどの大規模言語モデルは、与えられたプロンプトに応じて高品質なテキストを生成する能力を持つ。
4.4 情報検索と質問応答
情報検索では、言語モデルを用いてクエリと文書の関連性を確率的に評価する手法（言語モデルベースの情報検索）が研究されている。質問応答では、言語モデルが質問文と回答候補の文脈的な適合度を計算し、最適な回答を選択する。特に、文脈化された言語モデル（BERTなど）は、検索結果のランキングや抽出型の質問応答で高い性能を示す。
5 課題と発展
統計的言語モデルは大きな進歩を遂げたが、依然として解決すべき課題が存在する。
5.1 データスパースネス問題と対処法
データスパースネスは、限られた訓練データでは出現頻度の低い単語列の確率を正確に推定できない問題である。n-gramモデルでは、出現しないn-gramの確率がゼロになることを防ぐために平滑化手法が開発された。また、サブワード分割（BPE、WordPieceなど）を用いて語彙を適切に設定することで、未知語の影響を軽減する手法も広く用いられる。
5.2 アウトオブボキャブラリ対策
語彙に含まれない単語（OOV）は、言語モデルの予測精度を低下させる。対策として、サブワード単位でのモデル化や、文字レベル・音節レベルのモデル、さらには外部の知識ベースを利用する手法が研究されている。近年のTransformerモデルでは、BPEなどのサブワードトークン化が標準的に用いられており、OOV問題は大幅に緩和されている。
5.3 文脈把握と長期依存の限界
n-gramモデルでは、固定長の文脈しか利用できないため、文書全体にわたる長距離の依存関係を捉えることが難しい。RNNは理論上任意の長さの文脈を扱えるが、勾配消失問題により実用的には長期依存の学習が困難であった。LSTMやTransformerの自己注意機構は、この問題をある程度解決したが、超長文書や構造化された文脈（複数文にわたる議論の流れなど）の完全な把握には依然として課題が残る。
5.4 大規模モデルと計算資源の課題
GPT-3やBERT-Largeなどの大規模言語モデルは、数十億から数千億のパラメータを持ち、膨大な計算資源とデータを必要とする。学習には専用のGPUクラスタやTPUポッドが不可欠であり、エネルギー消費や環境負荷も無視できない。また、推論時の計算量も大きく、リアルタイムアプリケーションへの適用にはモデル圧縮（蒸留、量子化、刈り込み）や効率的なアーキテクチャの開発が求められている。