篇章级建模（Document-level Modeling）は、自然言語処理（NLP）および深層学習の一分野であり、単一の文や短文を超えて、段落、節、あるいは文書全体にわたる長文の意味構造と文脈依存関係を捉えるための技術的手法を指します。従来の文単位のモデルが局所的な文法や語彙の一貫性に重点を置くのに対し、篇章级建模は、物語の流れ、論理的な首尾一貫性、主題の遷移、照応関係（特に代名詞や省略表現の解決）、およびドキュメント全体にわたる情報の集約を統一的に扱います。この分野は、機械翻訳、自動要約、質問応答、ストーリー生成などの応用において、より人間らしい推論と生成を実現するための基盤技術として発展してきました。
1 基礎概念
1.1 文書レベルの文脈定義
文書レベルの文脈とは、単一の文を超えて、隣接する文や段落、さらには文書全体から得られる情報の集合を指します。これには、時系列的なイベントの順序、因果関係、登場人物やエンティティ間の関係、主題の一貫性が含まれます。各文は独立した単位ではなく、文書全体の意味ネットワークの一部として捉えられ、後続の文の解釈は先行する文脈に強く依存します。例えば、代名詞「彼」が指す人物は、複数の文にわたる言及の履歴から決定される必要があります。
1.2 文中モデルとの差異
文中モデルは、単一文内の局所的な文法構造と意味関係（例：係り受け解析、感情極性）の抽出に特化しており、入力を文単位で区切ります。これに対し、篇章级建模は以下の点で異なります：
- 処理単位：単一文ではなく、複数文からなる連続テキストブロックを入力とする。
- 依存関係の範囲：文間の照応、時制の一致、主題の遷移など、文をまたぐ長距離依存を扱う。
- 表現の目的：文書全体の意味的・論理的一貫性を保持した表現を学習する。
- 計算課題：入力長の増大に伴う計算コストの管理が必須となる。
2 モデルアーキテクチャ
2.1 トランスフォーマー型モデル
トランスフォーマー型モデルは、自己注意機構を利用して文書内の任意の位置間の依存関係を直接モデル化します。その並列計算性能と長距離依存捕捉能力により、篇章级建模の主流アーキテクチャとなっています。
2.1.1 長期依存性の処理
文書全体にわたる長距離依存性の処理には、標準的な自己注意機構が入力長の二乗に比例する計算量を持つという課題があります。対策として、スライディングウィンドウ注意（固定長の局所周辺のみに注目）、スパース注意（情報量の多い位置にのみ注目）、あるいはLongformerやBigBirdに代表される拡張注意パターンが開発されています。これらの手法は、計算効率を保ちながら数千トークン規模の文書を扱うことを可能にします。
2.1.2 Segment-Level Encoding
文書を複数のセグメント（段落や節）に分割し、各セグメントを独立にエンコードした後、セグメント間の関係を統合する手法です。Transformer-XLやXLNetでは、セグメント間で隠れ状態をリカレントに伝播させることで、固定長のコンテキストを超えた情報を保持します。また、セグメントレベルの位置エンコーディングを導入することで、セグメントの順序関係をモデルに明示的に与えます。
2.2 階層型ネットワーク
階層型ネットワークは、文書の自然な階層構造（単語→文→段落→文書）を反映し、各レベルで異なる粒度の情報をエンコードします。
2.2.1 階層的注意機構
階層的注意機構は、まず文内の単語に注意を向けて文表現を生成し、次に文表現に注意を向けて文書表現を構築します。この二段階の注意は、情報の粗視化と圧縮を実現し、計算効率を向上させるとともに、各階層における重要情報の選択を可能にします。例えば、自動要約では、文書内のどの文が主要な内容を含むかを段落レベルの注意で判別できます。
2.2.2 再帰型エンコーダ
再帰型エンコーダ（RNN、LSTM、GRU）は、文の系列を逐次的に処理し、時間経過に伴う文脈の変化を捉えます。階層型の再帰型ネットワークでは、上部のRNNが文表現の系列を入力とし、下部のRNNが単語系列を処理することで、文書全体の情報を集約します。この構造は特に物語性のあるテキスト（ストーリー生成、対話システム）において、時系列的な因果関係を自然にモデル化できる利点があります。
3 主要技術と手法
3.1 照応解決とコア参照
照応解決は、テキスト内の代名詞（「彼」「それ」）や名詞句（「その会社」）が指し示す実体を、文書内の先行する言及から特定するタスクです。コア参照解決はこれをさらに拡張し、同一実体を指すすべての表現（例：「リンゴ社」「Apple」「同社」）をクラスタリングします。篇章级建模では、文書全体の言及履歴を保持する動的なエンティティ表現（メモリネットワークやエンティティアテンション）を用いて、これらの照応関係を解消します。
3.2 文書首尾一貫性モデリング
3.2.1 局所的一貫性
局所的一貫性は、隣接する文間の意味的・統語的な滑らかな遷移を評価します。典型的な手法は、遷移確率行列（各文から次の文への流暢さのスコア）や、隣接文間の意味的類似度・因果関係の強度を学習します。この層は、文の並び替えや不要文の検出に応用されます。
3.2.2 大域的一貫性
大域的一貫性は、文書全体のテーマの統一性、論理構造の整合性、情報の冗長性の欠如を評価します。グラフベースの手法（文をノード、関連性をエッジとする）や、文書レベルの埋め込みを用いた一貫性スコアリングが用いられます。大域的一貫性を損なう文（主題から逸脱した文や矛盾する情報）は、自動要約や文書編集において削除・修正の対象となります。
3.3 文書レベルの表現学習
3.3.1 事前学習戦略
大規模コーパスを用いた文書レベルの事前学習では、以下のタスクが一般的です：順序予測（文の正しい順序を当てる）、次の文予測（文脈に続く文を識別する）、マスキング（複数文にわたるマスク単語の予測）。BERTやRoBERTaの文書レベル拡張（SpanBERT、Longformer）は、これらのタスクで文書全体の文脈を利用します。
3.3.2 教師あり適応
事前学習モデルを特定の下流タスクに適応させる際、文書レベルの教師信号（例えば、文書全体の要約、複数文にまたがる質問への回答）を用いてファインチューニングを行います。これにより、モデルは文書全体の情報集約と推論に特化した表現を獲得します。例えば、マルチホップ質問応答では、複数の文から断片的な情報を集めて論理チェーンを構築する能力が強化されます。
4 応用分野
4.1 自動要約
4.1.1 抽出型要約
抽出型要約は、原文から重要な文を選択して要約を構成します。篇章级建模は、文書全体の文脈を考慮して各文の重要度を判定し、冗長性を抑制しつつ主題を網羅する文集合を選びます。文間の依存関係（例：因果関係や対比関係）を参照することで、要約内での情報の齟齬を防止します。
4.1.2 生成型要約
生成型要約は、原文の内容を理解した上で新たな文を生成します。文書レベルのモデルは、入力文書全体から主要エンティティとイベント系列を抽出し、それらを自然な物語の流れに沿って再編成します。特に長文書の要約では、セグメントレベルの注意機構が重要な段落に焦点を当て、要約の長さ制限に適応します。
4.2 機械翻訳
4.2.1 文書翻訳の一貫性
文単位の翻訳では、用語の統一性（例：一貫して「software」を「ソフトウェア」と訳すか「ソフト」とするか）、代名詞の性・数の一致、文間の時制の整合が保証されない問題があります。篇章级建模は、文書全体の翻訳コンテキストを保持し、同一エンティティの訳語を統一するとともに、先行文の時制を後続文に伝播させることで、一貫した翻訳出力を実現します。
4.2.2 対訳アライメント
対訳アライメントは、原文と訳文の文・句レベルの対応を単語アライメントより上位の単位で決定します。文書レベルのモデルは、パラグラフや節単位での大域的なアライメントを学習し、長い文や文脈に依存する表現の翻訳精度を向上させます。また、逆翻訳（back-translation）によるデータ拡張においても、文書レベルの一貫性が維持されます。
4.3 質問応答
4.3.1 複数文にまたがる読解
複数文にまたがる読解タスク（例：物語理解、科学論文の読解）では、質問への回答が一つの文に限らず、複数の文に分散した情報を統合する必要があります。篇章级建模は、質問に関連する複数の文を跨って注意を分配し、部分情報を結合して完全な回答を導出します。これには、文間の因果関係や時間的順序を考慮するエンティティ追跡機構が有効です。
4.3.2 推論チェーンの構築
マルチホップ質問応答では、質問から最終回答に到達するまでに複数の中間推論ステップが必要です。篇章级建模は、文書内の複数の事実を一貫した推論チェーンに組み立てるために、グラフ注意ネットワーク（各文をノードとする知識グラフ上で情報伝播を行う）や、段階的な注意積み上げ（質問から関連文を順次選択）を使用します。これにより、人間の多段階推論プロセスを模倣した回答生成が可能になります。
5 課題と展望
5.1 計算効率の問題
文書レベルのモデルは、入力長の増大に伴いメモリ消費と計算時間が急増します。標準的な自己注意機構の二次複雑性は、数万トークンを超える文書では実行不可能です。スパース注意や線形注意などの近似手法の精度向上と、量子化や知識蒸留によるモデル軽量化が今後の課題です。また、長文書の推論速度を低下させずに、文脈の完全性を維持する効率的なアーキテクチャ設計が求められます。
5.2 評価指標の限界
既存の評価指標（ROUGE、BLEU、F1スコア）は、文書レベルの一貫性や照応適切性を十分に反映しません。例えば、代名詞の誤使用や主題の急な遷移を検出できないため、人間による評価との乖離が生じます。今後は、文書全体の意味的一貫性を自動的に測定する指標（例：エンティティ追跡の精度、論理矛盾検出率）や、注釈データの効率的な収集手法の開発が必要です。
5.3 マルチモーダルな拡張
現在の篇章级建模はテキストのみを対象としていますが、実世界の文書は画像、表、図、動画などのマルチモーダル情報を含みます。テキストと非テキストモダリティの間での照応関係（例：「図3に示されるように」）や、モダリティ間の情報補完を統一的にモデル化する拡張が期待されます。マルチモーダルな文書レベルの表現学習は、より人間の認知に即したドキュメント理解と生成を可能にするでしょう。