1 定義と基本原理
1.1 分布仮説
分布仮説は、「同じような文脈に現れる単語は意味が似ている」という言語学上の原理である。この仮説に基づき、単語の意味は周辺語の分布パターンから推定可能となる。Zellig Harris（1954）が提唱し、John Firth（1957）が「語の意味はその共起関係によって定義される」と定式化した。語彙意味論や統計的自然言語処理の基礎をなし、後の分布意味論の出発点となった。
1.2 ベクトル空間モデル
ベクトル空間モデルは、単語を連続値の高次元ベクトルで表現する枠組みである。各次元が潜在的な意味特徴に対応し、ベクトル間の距離（ユークリッド距離）や角度（余弦類似度）が単語間の意味的類似度を定量化する。次元数は通常50～300程度で、one-hotベクトル（語彙数分の次元）と比較して次元の呪いを緩和し、意味関係の計算を効率化する。
2 主要な実装手法
2.1 Word2Vec
Word2Vecは、GoogleのMikolovら（2013）が提案したニューラルネットワークベースの単語埋め込み手法である。大規模コーパスから高品質なベクトルを効率的に学習でき、単語間の線形関係（例：king − man + woman ≈ queen）を捉える能力で知られる。学習にはCBOWとSkip-gramの2つのモデルが用いられる。
2.1.1 CBOWモデル
CBOW（Continuous Bag-of-Words）モデルは、周辺文脈の単語（窓内の単語群）から中心単語を予測するタスクを解く。入力層に文脈単語のone-hotベクトルを平均化したものを与え、出力層でソフトマックスにより中心単語の確率分布を推定する。計算が高速で、頻出単語の学習に適する。
2.1.2 Skip-gramモデル
Skip-gramモデルは、中心単語から周辺文脈の単語を予測する逆方向のタスクを解く。CBOWよりも学習が遅いが、低頻出単語に対する表現の質が高く、小規模コーパスでも良好な結果が得られる。負例サンプリング（Negative Sampling）や階層的ソフトマックス（Hierarchical Softmax）などの高速化技法が併用される。
2.2 GloVe
GloVe（Global Vectors）は、Penningtonら（2014）が提案した手法で、単語の共起行列の統計情報を活用する。共起確率の対数比（例：iceとsteamの文脈におけるsolidやgasの現れ方）が意味関係を反映するという観察に基づき、行列分解の枠組みでベクトルを学習する。Word2Vecが局所的な文脈情報のみを用いるのに対し、GloVeは大域的な共起統計を取り入れることで安定した表現を得る。
2.3 FastText
FastTextは、Bojanowskiら（2016）がFacebook AI Researchで開発した手法で、単語を文字n-gram（サブワード情報）の和として表現する。未知語や低頻出語に対しても、その構成文字列からベクトルを合成できるため、形態的に豊かな言語（ドイツ語、トルコ語など）やスペルミスに強い。学習にはWord2VecのSkip-gramモデルを拡張した方式が用いられる。
3 応用と評価
3.1 類似度計算
単語ベクトル間の余弦類似度（cosine similarity）を用いて、意味的・文法的に類似した単語を発見する。WordSim-353やSimLex-999などのベンチマークデータセットで評価され、人間の類似度判断との相関（スピアマン順位相関係数）が指標となる。情報検索におけるクエリ拡張や類義語辞書の自動構築に応用される。
3.2 アナロジータスク
アナロジータスク（類推タスク）は、「AはBに、CはDに」という比例関係（語彙意味的アナロジー）をベクトル演算で解く。代表例として「king − man + woman = queen」が知られる。Mikolovら（2013）が提案したアナロジーテストセット（Googleアナロジーデータセット）では、意味的関係（国と首都）や文法的関係（動詞の過去形）を網羅し、モデルの表現力を評価する。
3.3 ダウンストリームタスクでの利用
学習済み単語ベクトルは、機械翻訳、感情分析、固有表現抽出、文書分類など様々な自然言語処理タスクの入力特徴量として使用される。固定されたベクトルをそのまま用いる静的埋め込み（static embedding）のほか、タスクデータで微調整（ファインチューニング）することで性能を向上させる手法も一般的である。近年は文脈化表現が主流となったが、ベースラインとして依然重要な役割を果たす。
4 限界と発展
4.1 静的表現の制約
伝統的な単語ベクトルは、単語ごとに一つの固定ベクトルを持つため、文脈の変化に応じた意味の調整ができない。例えば「bank」が「銀行」と「河岸」のどちらの意味かを文脈から区別する能力を持たない。また、学習に使用したコーパスのバイアス（性別や人種に関する偏見）がそのまま反映される問題も指摘されている。
4.2 多義語問題
多義語（同一表記で複数の意味を持つ単語）に対して、一つのベクトルがすべての意味を混在させて表現するため、異なる用法間の類似度が過大または過小に評価される。例えば「bat」が「野球のバット」と「コウモリ」の両方の意味を持つ場合、ベクトル空間上では両者の中間点に位置し、どちらの意味でも適切な近傍語が得られにくい。
4.3 文脈化表現（BERTなど）
ELMo（Peters et al., 2018）やBERT（Devlin et al., 2019）に代表される文脈化表現（contextualized embeddings）は、入力文中の各単語に対して動的なベクトルを生成する。双方向のTransformerアーキテクチャを用い、周囲の全単語との依存関係を考慮することで、多義語問題を解決し、文脈に応じた柔軟な意味表現を実現した。これにより、静的埋め込みを上回る性能が様々なタスクで達成されている。
4.4 大規模言語モデルにおける位置づけ
GPTシリーズやLLaMAなどの大規模言語モデル（LLM）は、単語レベルの埋め込み層を持ちながらも、単語埋め込みを単独で取り出して利用することは稀である。LLM内の隠れ層表現は文脈化されており、タスクに応じて出力層や注意機構を介して動的に変化する。一方で、単語埋め込みの研究で培われた分布仮説やベクトル演算の知見は、LLMの解釈可能性や転移学習の理論的基盤として依然として重要である。静的埋め込みは、計算資源が限られる環境や、オフラインでの高速推論を要する応用において現在も使用されている。