1 歴史と背景
1.1 自動要約評価の必要性
1990年代以降、文書要約技術の発展に伴い、自動生成された要約の品質を定量的に評価する手法が求められた。人手評価はコストが高く再現性に欠けるため、参照要約との自動比較による指標が望まれた。これにより、情報検索や自然言語処理の分野で、評価の標準化と効率化が進められた。
1.2 ROUGEの開発と発表（2004年）
ROUGEは2004年に米国情報技術研究所（ISI）のChin-Yew Linらによって提案された。当初は文書要約評価のためのDUBLINタスク向けに設計され、その後機械翻訳評価にも応用された。名称は「Recall-Oriented Understudy for Gisting Evaluation」の頭字語で、再現率重視のアプローチを象徴する。
2 定義と計算方法
2.1 再現率と適合率の基本概念
ROUGEは情報検索の評価尺度を基礎とする。再現率（Recall）は、生成テキスト中に参照テキストの内容がどの程度含まれているかを示す。適合率（Precision）は、生成テキスト中のうち参照テキストと一致する割合である。ROUGEは主に再現率を用いるが、バリエーションによってF値も計算される。
2.2 n-gramベースの評価
2.2.1 ROUGE-Nの定義
ROUGE-Nは、生成テキストと参照テキストの間で共有されるn-gramの数を、参照テキスト中のn-gram総数で割った値を再現率として算出する。nは1（ユニグラム）、2（バイグラム）など任意の数値である。式は以下の通り。
\[ ROUGE\text{-}N = \frac{\sum_{S\in Reference}\sum_{gram_n\in S}Count_{match}(gram_n)}{\sum_{S\in Reference}\sum_{gram_n\in S}Count(gram_n)} \]
2.2.2 重み付きn-gram
重み付きn-gramでは、出現頻度の低いn-gramに高い重みを与える。これにより、一般的な語句より特殊な語句の一致を重視する。代表的な手法にTF-IDF重み付けがある。ただしROUGE標準では通常均等重みが用いられる。
3 主要なバリエーション
3.1 ROUGE-N
3.1.1 ユニグラム（ROUGE-1）
ROUGE-1は単語単位の重なりを評価する。最も基本的な指標で、語彙の網羅性を測るのに適する。要約全体の内容充実度を大まかに捉える。
3.1.2 バイグラム（ROUGE-2）
ROUGE-2は隣接する2単語の連鎖の一致を評価する。単語順序の適切さを反映し、文法的正確性やフレーズの継続性を測定できる。高次のn-gramほど厳密な一致が求められる。
3.2 ROUGE-L
3.2.1 最長共通部分列（LCS）に基づく評価
ROUGE-Lは、生成テキストと参照テキストの最長共通部分列（Longest Common Subsequence）の長さを用いる。順序を維持しつつ出現する単語の一致を捉え、連続性を要求しない。再現率と適合率の両方を計算し、その調和平均（F値）を指標とする。
\[
| R_{lcs} = \frac{LCS(X,Y)}{ | Y | }, \quad P_{lcs} = \frac{LCS(X,Y)}{ | X | }, \quad F_{lcs} = \frac{(1+\beta^2)R_{lcs}P_{lcs}}{R_{lcs}+\beta^2 P_{lcs}} |
|---|
\]
通常\(\beta=1\)でF1値が用いられる。
3.2.2 文書レベルのLCS
複数の参照要約が存在する場合、各参照とのLCSの平均または最大値を評価に用いる。文書全体の構造類似度を捉えるため、長文要約の評価に有効。
3.3 ROUGE-S
3.3.1 スキップバイグラム
スキップバイグラム（Skip-bigram）とは、文中で最大2単語までのギャップ（スキップ）を許容するバイグラムのこと。順序は維持される。ROUGE-Sは、すべてのスキップバイグラムの一致率を計算する。
3.3.2 最大一致数
ROUGE-Sでは、生成テキスト内のスキップバイグラムと参照テキスト内のスキップバイグラムの一致数を、参照中の総スキップバイグラム数で除して再現率を得る。適合率も同様に計算可能であり、F値評価も行われる。
4 応用と限界
4.1 自動要約システムの評価
ROUGEは、異なる要約手法の性能比較やシステム開発におけるベンチマークとして広く利用される。複数参照要約を用いることで、評価の安定性が向上する。文書要約の国際ワークショップ（DUC, TAC）で標準指標として採用された。
4.2 機械翻訳における利用
機械翻訳の評価にも応用される。翻訳文と参照訳の間のn-gram一致を測ることで、翻訳の忠実性を評価する。ただし、翻訳には同義語や言い換えが多く、ROUGE単独では不十分とされる。
4.3 人間評価との相関
複数の研究で、ROUGEスコアは人間の主観評価と中程度から高い相関を示すことが確認されている。特にROUGE-1とROUGE-Lは、内容の網羅性評価とよく一致する。しかしタスクやドメインによって相関度は変動する。
4.4 限界と批判
4.4.1 語彙の多様性への対応
ROUGEは表層的なn-gram一致に依存するため、同義語や言い換えを評価できない。例えば「car」と「automobile」は異なる単語として扱われる。語彙的正規化（ステミングや類義語辞書）の追加が試みられているが、完全な解決には至らない。
4.4.2 意味的類似度の欠如
文全体の意味的類似度を直接測ることができない。同じ意味でも表現が異なる要約は低スコアになりやすい。近年はニューラルネットワークによる埋め込みベースの指標（BERTScoreなど）が補完的に用いられる。
5 関連指標との比較
5.1 BLEUとの違い
BLEU（Bilingual Evaluation Understudy）は機械翻訳用に開発され、適合率を重視する。n-gramの適合率に加え、短い翻訳を罰するブレベティペナルティを導入する。ROUGEは再現率重視であり、要約の網羅性評価に適する。両者は相補的関係にある。
5.2 METEORとの違い
METEOR（Metric for Evaluation of Translation with Explicit ORdering）は、n-gramに加えて、同義語マッチングや語幹一致を考慮する。また、順序ペナルティや複数参照への対応も行う。ROUGEより意味的柔軟性が高く、翻訳評価で好まれる。
5.3 情報検索における位置づけ
情報検索の評価では、適合率と再現率が基本的指標である。ROUGEは生成テキスト評価に特化しており、検索結果のランキング評価（MAPやNDCG）とは異なる用途で使われる。ただし、文章の内容一致度を測る点では、情報検索におけるトピック網羅性評価と類似する。