1 句法分析の基礎
1.1 定義と目的
句法分析とは、自然言語の文を構成する単語列から、その統語構造を自動的に同定・解析する処理である。言語学における統語論の知見を計算機上で実装し、文の構成要素間の階層的・依存的な関係を明らかにすることを目的とする。解析結果は、後続の意味解析や文生成の基盤情報として利用される。
1.2 言語学的背景
1.2.1 統語論と句構造
統語論は、単語がどのように組み合わさって句や文を形成するかを研究する分野である。句構造文法では、文を名詞句や動詞句といった構成素に再帰的に分解し、木構造で表現する。例えば「彼が本を読む」は、S（文）→NP（名詞句）+VP（動詞句）のように展開される。
1.2.2 依存文法と関係
依存文法は、文中の単語間の依存関係（主語-述語、修飾-被修飾など）に着目する。各単語は一つの親（支配語）を持ち、ラベル付きの有向枝で結ばれる。例えば「彼が本を読む」では「読む」が根となり、「彼」と「本」がそれぞれ主格と対格の依存関係で結ばれる。
1.3 解析の入力と出力
入力は分かち書き済みの単語列（トークン列）である。出力は、句構造解析では木構造（例：Penn Treebank形式）、依存構造解析では依存関係の集合（例：CoNLL-U形式）となる。解析結果には、統語ラベル（NP, VP, 主語, 目的語など）が付与される。
2 句法分析の種類
2.1 句構造解析
句構造解析は、文を階層的な構成素に分割し、各構成素の範疇（名詞句、動詞句、前置詞句など）をラベル付けする手法である。結果は二分木または多分木で表現され、文法規則に基づく導出過程を反映する。代表的な例としてPenn Treebank形式の括弧付き表記がある。
2.2 依存構造解析
依存構造解析は、文中の単語間の双方向的な依存関係を同定する手法である。各単語が持つ意味的な役割（主語、目的語、修飾語など）をラベルとして付与し、有向非巡回グラフ（多くの場合木）を出力する。多言語対応が比較的容易であり、近年の自然言語処理で広く用いられる。
2.3 その他の解析方式
2.3.1 浅い解析（チャンキング）
浅い解析は、文の完全な構造解析を行わず、主要な句（基底名詞句、動詞句など）のみを抽出する手法である。チャンキングとも呼ばれ、高速かつ頑健な処理が可能だが、句間の階層関係や修飾構造は得られない。情報抽出や質問応答の前処理として利用される。
2.3.2 深層解析
深層解析は、文の統語構造だけでなく、意味役割や論理形式までを含めた包括的な解析手法である。述語-項構造や数量表現のスコープなどを扱い、高度な意味理解を目指す。計算負荷が高く、実用的には限定されたドメインで用いられる。
3 主要な解析アルゴリズム
3.1 文脈自由文法に基づく手法
3.1.1 CKYアルゴリズム
CKY（Cocke-Younger-Kasami）アルゴリズムは、文脈自由文法をチョムスキー標準形に変換した上で、動的計画法により最適な構文木を導出する手法である。解析表を用いて部分解析結果を結合し、文全体の構造を効率的に求める。計算量はO(n³)で、句構造解析の基本アルゴリズムとして知られる。
3.1.2 アーリー法
アーリー法は、文脈自由文法に基づく解析アルゴリズムで、上向きと下向きの両方の情報を活用する。状態集合を管理しながら、入力を左から右へ走査し、解析可能性を高い効率で判定する。CKYと異なり、任意の文脈自由文法を直接扱える利点がある。
3.2 遷移ベース解析
3.2.1 アークスタンダード
アークスタンダードは、依存構造解析のための遷移ベース手法の一つである。スタック、バッファ、アーク集合の3つのデータ構造を用い、シフト、左アーク、右アークの3つの遷移操作を逐次適用して解析を行う。決定論的な動作により高速な解析が可能で、訓練データから遷移規則を学習する。
3.2.2 グラフベース解析
グラフベース解析は、文中の全単語対に対して依存関係のスコアを計算し、最大全域木を求める手法である。エッジファクタリングとスパンファクタリングの二つに大別され、前者は単一の依存関係のスコアを独立に計算し、後者は部分構造のスコアを考慮する。精度の高い解析が可能だが、計算コストが高い。
3.3 ニューラルネットワークによる解析
3.3.1 系列ラベリングモデル
系列ラベリングモデルは、各単語に統語ラベルや親単語との相対位置を割り当てることで解析を行う手法である。双方向LSTMやCRF層を組み合わせ、文脈情報を活用してラベル系列を予測する。依存構造解析においては、遷移ベースやグラフベースのニューラル化が行われ、従来手法を凌駕する性能を示す。
3.3.2 Transformerベースの手法
Transformerアーキテクチャを基盤とし、自己注意機構を用いて文中の全単語間の関係を直接モデル化する手法である。BERTやGPTなどの事前学習モデルを利用し、微調整によって句構造解析や依存構造解析を行う。近年のベンチマークで最高性能を達成し、特に多言語や少数データ環境での頑健性が高い。
4 学習データと評価
4.1 代表的なツリーバンク
ツリーバンクは、人間がアノテーションした統語構造付きコーパスである。代表的なものに、英語のPenn Treebank（WSJコーパスに句構造アノテーション）、Universal Dependencies（多言語依存構造アノテーション）、日本語の京都大学コーパスやNINJAL-LWPがある。これらは解析器の訓練と評価の標準データセットとして利用される。
4.2 評価指標
4.2.1 適合率・再現率・F値
句構造解析では、解析結果の木と正解木の構成素（括弧構造）の一致度を測る。適合率は解析器が出力した構成素のうち正解に含まれる割合、再現率は正解構成素のうち解析器が正しく出力した割合である。F値はこれらの調和平均で、総合的な性能指標として広く用いられる。
4.2.2 ラベルの付与精度
ラベル付与精度は、正しく同定された依存関係や構成素ラベルの割合を評価する。ラベルなしの単純な構造一致に加え、ラベルも含めた完全一致の精度（LAS: Labeled Attachment Score）が依存構造解析の標準指標となる。
4.3 ベンチマークと競技会
国際的なワークショップや競技会（CoNLL、SemEval、IWPTなど）では、統一されたデータセットと評価指標を用いて解析器の性能比較が行われる。近年では、多言語セットアップや低リソース設定での課題も増えており、新手法の有効性検証の場となっている。
5 応用と課題
5.1 応用分野
5.1.1 機械翻訳
機械翻訳システムでは、原文の統語構造を解析することで、語順の変換や構文的な対応関係を適切に扱う。統計的機械翻訳では構文規則に基づく変換が行われ、ニューラル機械翻訳でも解析結果を補助情報として活用する手法が研究されている。
5.1.2 情報抽出と質問応答
情報抽出では、文中から固有表現や事実関係を抽出する際に、統語構造が手がかりとなる。質問応答では、質問文の解析結果と知識ベースの構造を照合することで、正確な回答を導く。依存関係の情報は、述語-項構造の同定に特に有効である。
5.1.3 対話システム
対話システムでは、ユーザ発話の統語解析に基づいて意図理解や応答生成を行う。解析結果は、照応解決や省略補完などの文脈処理にも利用される。近年のニューラル対話モデルでも、陽的な解析情報を組み込むことで応答の一貫性が向上することが報告されている。
5.2 現在の課題
5.2.1 曖昧性解消
自然言語には統語的曖昧性（例：「古い本と新聞」が「(古い本)と新聞」か「古い(本と新聞)」か）が多く存在する。適切な曖昧性解消には、語彙的・意味的・文脈的な情報の統合が必要であり、特に複雑な修飾構造や量化表現で課題が残る。
5.2.2 低リソース言語への対応
多くのツリーバンクは英語など少数の高リソース言語に偏っており、低リソース言語では訓練データが不足する。教師なし学習や転移学習、多言語事前学習モデルの活用が進められているが、十分な精度に達していない言語も多い。
5.2.3 ドメイン適応
ツリーバンクが構築されたドメイン（例：新聞記事）と実際の適用ドメイン（例：医療文書、SNS）では、文体や構文パターンが異なる。ドメイン適応のためのデータ拡張やFine-tuningの手法が研究されているが、大規模なドメイン間の差異には対応が困難である。