1.1 言語モデルの定義
言語モデルとは、ある単語列（トークン列）が自然言語としてどの程度確からしいかを確率的に表現するモデルである。形式的には、単語列 \(w_1, w_2, \dots, w_n\) に対して同時確率 \(P(w_1, w_2, \dots, w_n)\) を割り当てる。この確率は、文章の文法性や意味の一貫性を統計的に捉えることを目的とし、次に出現する単語の予測にも利用される。
1.2 確率の基本：条件付き確率とn-gram
言語モデリングの基礎は条件付き確率である。単語列の同時確率は、各単語の条件付き確率の積として分解できる： \[ P(w_1, w_2, \dots, w_n) = \prod_{i=1}^n P(w_i \mid w_1, \dots, w_{i-1}). \] しかし、長い文脈をすべて考慮することは計算量上困難なため、マルコフ仮定（直近の \(n-1\) 単語のみに依存）を導入した n-gramモデル が伝統的に用いられる。例えば、bigramモデルでは \[ P(w_i \mid w_1, \dots, w_{i-1}) \approx P(w_i \mid w_{i-1}) \] のように近似する。
1.3 言語モデルの評価指標
1.3.1 パープレキシティ
パープレキシティ（perplexity）は、言語モデルがテストデータに対してどの程度「困惑」するかを示す指標である。定義はテストデータの逆確率の幾何平均であり、値が低いほどモデルの予測が正確である。式で表すと、テスト単語列 \(W = w_1 \dots w_N\) に対して \[ \text{PPL}(W) = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log P(w_i \mid w_{<i})\right) \] となる。直感的には、モデルが各単語の予測に用いる等確率の選択肢の数に相当する。
1.3.2 クロスエントロピー
クロスエントロピーは、モデルの予測分布と真の分布（データ分布）の間の情報理論的な距離を測る。言語モデリングでは、テストデータに対する負の対数尤度の平均として定義される： \[ H(p, q) = -\frac{1}{N}\sum_{i=1}^N \log q(w_i \mid w_{<i}), \] ここで \(q\) はモデル、\(p\) はデータの経験分布である。クロスエントロピーが低いほどモデルはデータによく適合している。パープレキシティはクロスエントロピーの指数関数であるため、本質的に同じ情報を提供する。
1.4 言語モデリングの目的と応用の概要
言語モデリングの究極の目的は、人間のように自然で流暢なテキストを生成・理解できる統計的モデルを構築することである。その応用範囲は広く、機械翻訳、音声認識、テキスト生成、質問応答、情報検索など多岐にわたる。近年の深層学習の発展により、従来のn-gramでは捉えきれなかった長距離依存関係や意味の理解が可能になり、言語モデルはNLPの基盤技術として位置づけられている。
2.1 n-gramモデル
2.1.1 単純な頻度ベース
n-gramモデルは、コーパス中に出現する連続する \(n\) 個の単語（n-gram）の頻度をカウントし、条件付き確率を最尤推定で求める。例えば、bigramモデルでは \[ P(w_i \mid w_{i-1}) = \frac{\text{count}(w_{i-1}, w_i)}{\text{count}(w_{i-1})} \] と計算する。この手法は単純で実装が容易だが、データが疎な場合に未出現のn-gramに対して確率ゼロが割り当てられる問題がある。
2.1.2 スムージング手法
頻度ベースのn-gramモデルではゼロ頻度問題が避けられないため、様々なスムージング手法が開発された。代表的なものに、ラプラススムージング（加算スムージング）、グッド・チューリング推定、Kneser-Neyスムージングなどがある。これらは未観測のn-gramに小さな確率を分配し、全体の確率分布を滑らかにする。中でもKneser-Neyスムージングは高次n-gramの情報を低次に割り引いて利用する手法で、実用上優れた性能を示す。
2.2 ニューラルネットワークの導入
2.2.1 フィードフォワードニューラルネット言語モデル
ニューラルネットワークを用いた言語モデルは、Benjioらによって2003年に提案された。単語を分散表現（単語埋め込み）に変換し、固定長の文脈（n-1個の単語）を入力として次の単語の確率を出力するフィードフォワードネットワークである。このモデルは、離散的な単語を連続ベクトル空間で表現することで、類似した単語間の統計的パターンを学習できる。n-gramモデルに比べてデータの疎性問題に強く、一般化性能が高い。
2.2.2 リカレントニューラルネットワーク（RNN）
RNNは、可変長の系列データを扱うために設計されたニューラルネットワークである。隠れ状態が前の時刻から受け継がれる再帰構造を持ち、理論上は任意の長さの文脈を考慮できる。言語モデルでは、各時刻の隠れ状態から次の単語の確率を出力する。しかし、勾配消失・爆発の問題により、長い依存関係の学習が困難であった。
2.2.2.1 LSTMとGRU
LSTM（Long Short-Term Memory）は、忘却ゲート、入力ゲート、出力ゲートを導入して勾配の流れを制御し、長期依存を学習できるようにしたRNNの一種である。GRU（Gated Recurrent Unit）はLSTMを簡略化した構造で、更新ゲートとリセットゲートのみを持つ。両者とも、従来のRNNより長い系列のモデリングに成功し、2010年代半ばまで言語モデリングの主流であった。LSTMとGRUは現在でも多くの応用で使用されているが、Transformerの登場により大規模化の面で地位を譲りつつある。
3.1 Transformerアーキテクチャ
3.1.1 自己注意機構
Transformerは、2017年にVaswaniらによって提案された、再帰や畳み込みに依存しない系列変換モデルである。その核心は自己注意機構（self-attention）であり、入力系列内の各位置が他のすべての位置との関連度を計算し、重み付き和で表現を更新する。これにより、長距離依存関係を並列に効率よく捉えることができる。マルチヘッド注意は複数の注意機構を並列に用いることで、異なる種類の関係を同時に学習する。
3.1.2 位置エンコーディング
自己注意機構自体は位置情報を持たないため、Transformerでは単語の順序をモデルに伝えるために位置エンコーディングを導入する。元の論文では正弦波関数（sin/cos）を用いた固定の位置エンコーディングが使われたが、後の研究では学習可能な位置埋め込みや相対位置表現なども提案されている。位置エンコーディングは各単語の埋め込みに加算され、モデルが系列内の順序を認識できるようにする。
3.2 事前学習とファインチューニング
3.2.1 GPTシリーズ
GPT（Generative Pre-trained Transformer）は、OpenAIが開発した一連の言語モデルである。大規模なテキストコーパスで自己回帰的な言語モデリング（次の単語予測）を事前学習し、その後下流タスク用にファインチューニングする。GPT-1（2018年）でTransformerデコーダのみのアーキテクチャが採用され、GPT-2ではパラメータ数15億、GPT-3では1750億にスケールされた。GPT-3以降は、ファインチューニングなしでプロンプトと数例の例示（インコンテキスト学習）により多様なタスクを解けることが示され、大規模言語モデル（LLM）の時代を切り拓いた。
3.2.2 BERTとマスク言語モデリング
BERT（Bidirectional Encoder Representations from Transformers）は、Googleが2018年に発表したモデルである。特徴はマスク言語モデリング：入力テキストの一部のトークンを[MASK]に置き換え、その前後の文脈から元のトークンを予測する訓練を行う。これにより双方向の文脈情報を学習できる。BERTは自然言語理解タスク（分類、質問応答、固有表現抽出など）で大きな性能向上をもたらし、多くのベンチマークでトップスコアを達成した。
3.2.3 その他の派生モデル（T5, XLNetなど）
T5（Text-to-Text Transfer Transformer）は、すべてのNLPタスクをテキスト入力・テキスト出力として統一的に扱う。事前学習では、テキスト中のスパンをマスクして復元する「Span Corruption」を用いる。XLNetは、順列言語モデリングにより自己回帰的でありながら双方向の文脈を捉える手法を提案した。他にも、RoBERTa（BERTの改良版）、ALBERT（パラメータ共有による軽量化）、ELECTRA（生成器と識別器の敵対的学習）など、多様な派生モデルが登場している。
3.3 大規模言語モデル（LLM）
3.3.1 スケーリング則
大規模言語モデルの性能は、モデルサイズ（パラメータ数）、データサイズ、計算量に対してべき乗則に従って向上することが経験的に知られている（Kaplanら, 2020; Hoffmannら, 2022）。このスケーリング則は、モデルを大きくすればするほど言語理解・生成能力が継続的に改善することを示唆し、GPT-3、PaLM、LLaMA、Chinchillaなどの大規模モデルの開発を促進した。ただし、スケーリングには莫大な計算リソースが必要であり、効率的な学習手法の研究も並行して進められている。
3.3.2 プロンプトエンジニアリングとインコンテキスト学習
大規模言語モデルは、ファインチューニングなしで、与えられたプロンプト（指示文と数例の例示）だけで新しいタスクを実行できる能力を持つ。これをインコンテキスト学習と呼ぶ。プロンプトの設計手法（プロンプトエンジニアリング）は、モデルの出力品質に大きな影響を与える。チェーン・オブ・ソート（思考連鎖）プロンプティングや、Few-shot・Zero-shot設定の活用など、様々な手法が研究されている。また、モデルに特定の役割（ロールプレイ）を与えることで、より制御された応答を引き出すことも可能である。
4.1 定量的評価手法
4.1.1 自動評価指標（perplexity, BLEU, ROUGE）
言語モデルの性能を測る自動評価指標として、言語モデリング自体にはパープレキシティが広く用いられる。一方、下流タスクの評価にはタスク固有の指標が必要である。例えば、機械翻訳ではBLEU（n-gram精度に基づく）、テキスト要約ではROUGE（再現率ベース）、対話生成ではF1スコアなどが使われる。これらの指標は自動計算が容易だが、意味的品質を完全に反映するわけではなく、しばしば人間評価との乖離が指摘される。
4.1.2 人間による評価
自動指標の限界を補うため、人間による評価が重要である。具体的には、生成テキストの流暢さ、一貫性、情報の正確さ、文脈への適切さなどを人間の評価者が採点する。クラウドソーシングや専門家による評価が行われるが、コストが高く、評価者間の一致度を確保するための基準設計が必要である。近年では、大規模言語モデル自体を評価者として用いる試み（例：GPT-4による評価）も行われている。
4.2 バイアスと公平性
言語モデルは訓練データに含まれる社会的バイアス（性別、人種、年齢などに関する偏見）を学習・増幅する問題がある。例えば、職業予測タスクで特定の性別と職業が不当に結びつくことや、有害なステレオタイプを生成することが報告されている。公平性を改善するためには、データの偏りを修正する、デバイアス手法（例えば、逆確率重み付け、敵対的訓練、事後補正）を導入する、モデル出力をフィルタリングするなどの対策が研究されている。
4.3 メモリと計算コスト
大規模言語モデルは膨大なパラメータ数（数百億から数千億）を持ち、訓練には大量のGPUメモリと計算時間が必要である。例えば、GPT-3の訓練コストは数百万ドルと見積もられている。推論時も、各トークン生成に全パラメータの順伝搬が必要であり、応答時間やサーバーコストが課題となる。モデル圧縮（蒸留、量子化、枝刈り）や効率的なアーキテクチャ（Mixture of Expertsなど）の研究が進められている。
4.4 幻覚（hallucination）とその対策
幻覚とは、言語モデルがもっともらしく見えるが事実に反する内容を生成する現象である。特に、知識が不十分なトピックや、複雑な推論が必要な場合に発生しやすい。対策としては、外部知識ベースと連携する（検索拡張生成、RAG）、ファクトチェック用のモデルを導入する、自己一致度（複数サンプル間の一貫性）を評価する、プロンプトに事実確認を促す記述を加えるなどの方法がある。完全な解決には至っていないが、重要な研究課題である。
4.5 倫理的・社会的課題（軽い話題として：AIが作った「ラブレター」の信頼性問題など）
言語モデルの普及に伴い、倫理的・社会的な課題が顕在化している。例えば、AIが生成した恋愛文書（ラブレター）は文法的に完璧だが、真実の感情を欠くため、受け手の信頼を損なう可能性がある。また、フェイクニュースの大量生成、著作権問題、プライバシー侵害なども懸念される。軽い話題としては、ネット上で「AIが書いたラブレターで告白したら失敗した」といったユーモアのある体験談が共有されることもあり、人間らしさと機械らしさの境界が議論の対象となっている。
5.1 テキスト生成（チャットボット、創作支援）
言語モデルは、チャットボット（顧客対応、メンタルヘルス支援など）や創作支援ツール（小説の執筆補助、詩の生成、シナリオ作成）に広く応用されている。ユーザーの入力に応じて自然で文脈に合った続きを生成し、創造性を刺激する。特にGPTシリーズやClaudeなどのモデルは、多様なスタイルやジャンルに対応できる。
5.2 機械翻訳
Transformerアーキテクチャは、最初に機械翻訳タスクで提案された。エンコーダ・デコーダ構造を持つシーケンス・ツー・シーケンスモデルは、現在のGoogle翻訳やDeepLの中核技術である。事前学習済み言語モデル（mBART, M2M-100など）は、多数の言語ペア間の翻訳を単一モデルで実現し、低リソース言語への適用も進んでいる。
5.3 音声認識・手書き文字認識の補完
音声認識や手書き文字認識では、認識結果の候補に対して言語モデルが最も確からしい単語列を選択する役割を果たす。例えば、音声認識のデコード時に言語モデルを用いて音響モデルの出力を補正し、文法や文脈に合ったテキストを出力する。近年では、エンド・ツー・エンドのニューラルモデルにも言語モデルの知識が統合されている。
5.4 情報検索と質問応答
言語モデルは、検索クエリと文書の関連性評価、あるいは質問に対する直接的な回答生成に利用される。BERTベースのモデルは、質問応答データセット（SQuADなど）で高精度を達成した。また、大規模言語モデルは、検索拡張生成（RAG）により、外部知識を動的に取り込んで正確な回答を生成するシステムに応用されている。
5.5 コード生成と補完（GitHub Copilot等）
コード生成は、自然言語の指示からプログラムを自動生成するタスクである。GitHub Copilot（OpenAI Codexベース）やAmazon CodeWhisperer、StarCoderなどのモデルは、開発者のコーディングを支援する。これらのモデルは、大規模な公開コードコーパスで事前学習されており、関数の補完、バグ修正、ドキュメント生成などに利用される。ユーザーはコメントや関数名を書くだけで、残りの実装を提案してもらえる。
6.1 マルチモーダル言語モデル
将来の言語モデルは、テキストだけでなく画像、音声、動画などの複数のモダリティを統合的に扱うマルチモーダルモデルへと進化すると期待される。例えば、GPT-4VやGeminiは、画像を入力として受け取り、画像の内容に関する説明や質問応答が可能である。今後は、音声対話や動画理解、実世界の物理的操作との連携（ロボティクス）など、より豊かなインタラクションが実現されるだろう。
6.2 より効率的な学習手法
大規模モデルの訓練コストを削減するため、効率的な学習手法の研究が活発である。具体的には、疎な活性化を用いるMoE（Mixture of Experts）、低ランク適応（LoRA）によるファインチューニングの高速化、量子化や蒸留によるモデル圧縮、データ効率的な事前学習（例：カリキュラム学習、データフィルタリング）などが挙げられる。また、自己教師あり学習以外の新しい目的関数の探索も行われている。
6.3 言語モデルと人間のインタラクション（ネットミームの自動生成など軽い話題を含む）
言語モデルと人間の関わり方はさらに多様化する。例えば、ネットミーム（画像とテキストの組み合わせ）を自動生成するシステムや、ユーザーの好みに合わせてジョークやパロディを創作するツールが登場するだろう。また、AIとの共同創作（共進化）や、対話エージェントが人間の心理状態に合わせて応答を調整するなど、より自然で親しみやすいインタラクションが模索されている。軽い話題としては、AIが生成した「ダジャレ」や「大喜利」がSNSでバズるといった現象が起こるかもしれない。