1 概要と背景
1.1 従来の評価指標の限界
自然言語処理におけるテキスト生成モデルの評価では、BLEU（Bilingual Evaluation Understudy）やROUGE（Recall-Oriented Understudy for Gisting Evaluation）などのn-gramベースの指標が広く用いられてきた。これらの指標は生成文と参照文の間で単語やフレーズの一致度を測るが、厳密な文字列一致に依存するため、同義語や言い換え、語順の違いに対して脆弱である。例えば「猫が魚を食べる」と「魚は猫に食べられる」のように意味が同じでもn-gramの一致が少ない場合、スコアが低くなる。また、人間の評価との相関が十分でないことも指摘されている。
1.2 BERTScoreの開発動機
上記の限界を克服するため、BERT（Bidirectional Encoder Representations from Transformers）の文脈化された単語埋め込みを利用した評価指標としてBERTScoreが提案された（Zhang et al., 2020）。BERTScoreは、生成文と参照文の各トークンをBERTでベクトル化し、その意味的類似度を計算することで、言い換えや語順の変動を柔軟に扱う。目的は、人間の評価により近い自動評価を実現することにある。
2 基本原理
2.1 BERT埋め込みと類似度計算
BERTScoreでは、まず生成文と参照文をそれぞれBERTモデルに入力し、各トークンの文脈埋め込みベクトルを取得する。次に、生成文の各トークンと参照文の全トークンとの間でコサイン類似度を計算する。この類似度行列を基に、各トークンに対して最も類似度の高い相手トークンをマッチングする。コサイン類似度は0から1の値をとり、ベクトルが近いほど高い値となる。
2.2 適合率、再現率、F1スコアの定義
2.2.1 トークンレベルのマッチング
BERTScoreは評価尺度として、適合率（Precision）、再現率（Recall）、F1スコアの三つを定義する。適合率は生成文の各トークンに対して最も類似度の高い参照文トークンとの類似度を平均した値であり、生成文の情報の過不足を測る。再現率は参照文の各トークンに対して最も類似度の高い生成文トークンとの類似度を平均した値であり、参照文の情報が生成文にどの程度含まれているかを測る。F1スコアは適合率と再現率の調和平均である。
2.2.2 重み付けと重要度の調整
さらにBERTScoreでは、IDF（Inverse Document Frequency）重みを導入することで、文書中でまれに出現する単語（重要語）の影響を強めることができる。IDF重みは外部コーパスから事前に計算される。これにより、一般的な単語よりも意味的により重要な単語の一致を重視した評価が可能となる。
3 実装と応用
3.1 計算手順
3.1.1 モデル選択と前処理
BERTScoreの実装では、使用するBERTモデルを選択する。一般的には「bert-base-uncased」や「bert-large-uncased」などが用いられる。入力文はまずトークナイズされ、BERTに入力可能な形式に変換される。なお、大文字小文字の扱いや句読点の処理はモデルごとに異なるため、事前に適切な前処理が必要である。
3.1.2 スコア算出の流れ
- 生成文と参照文のペアをBERTモデルに入力し、各トークンの埋め込みを取得する。
- 全トークン間のコサイン類似度行列を計算する。
- 適合率、再現率を計算する（必要に応じてIDF重みを適用）。
- F1スコアを算出する。これらをスコアとして出力する。
3.2 ハイパーパラメータとチューニング
3.2.1 層の選択とIDF重み
BERTモデルは多層構造であり、各層から埋め込みを取得できる。通常は最終層あるいは最終数層の平均を使用する。IDF重みの有無やIDF計算に用いるコーパスもスコアに影響する。タスクに応じてこれらのハイパーパラメータを調整することで、人間評価との相関が向上する場合がある。
3.2.2 バッチ処理とパフォーマンス
BERTScoreはトークン間の類似度計算にO(n*m)の計算量を要する（n、mはそれぞれ生成文と参照文のトークン長）。そのため、大量の文ペアを評価する際にはGPUを用いたバッチ処理が推奨される。実装によっては、類似度計算をバッチ内でまとめて行うことで効率化が図られている。
3.3 活用事例
3.3.1 機械翻訳の評価
機械翻訳では、生成文（翻訳結果）と参照文（人手翻訳）の意味的な一致度を測る。BERTScoreは同義語や文法変種を許容するため、BLEUが過小評価するような良い翻訳を適切に評価できる。
3.3.2 テキスト要約の評価
抽象的要約では、生成文が参照文と異なる表現で重要な情報を含むことが多い。BERTScoreは意味的類似度に基づくため、ROUGEでは捉えにくい言い換えを評価できる。
3.3.3 画像キャプションの評価
画像キャプション生成では、生成された文と複数の参照キャプションとの類似度を測る。BERTScoreは複数参照とのマッチングにも適用され、人手評価との相関が高いことが報告されている。
4 評価と特性
4.1 人間評価との相関
BERTScoreは、機械翻訳や要約などのタスクにおいて、既存の自動評価指標と比較して人間評価との相関が高いことが示されている。特に、システムレベルの相関よりも文レベルの相関で優れる傾向がある。
4.2 他の指標（BLEU、ROUGE、METEORなど）との比較
4.2.1 長所
- 言い換えや語順の変動に頑健で、表現の多様性を評価できる。
- 事前学習済みモデルを用いるため、追加の学習データが不要。
- 異なる言語やドメインにも比較的容易に適用可能。
4.2.2 短所と限界
- BERTモデルの計算コストが高く、大規模評価には時間がかかる。
- 意味的類似度が高い文であっても、事実の誤り（hallucination）を適切に検出できない場合がある。
- BERTの訓練データに依存するため、特定のドメインや専門用語に対する感度が低下することがある。
4.3 多言語対応とその課題
BERTScoreは多言語BERTモデル（例：mBERT、XLM-R）を使用することで多言語に拡張できる。しかし、言語間の語彙や文法構造の違いにより、単一言語向けにチューニングされた場合と比べて性能が低下することがある。また、低リソース言語ではBERTモデルの品質が不十分なため、スコアの信頼性が低下するという課題がある。
5 関連手法と発展
5.1 BERTScoreから派生した指標
BERTScoreの考え方を基に、BERT埋め込みの代わりに他の文脈化埋め込み（RoBERTa、ELECTRAなど）を用いる派生手法や、重み付け方法を改良した変種が提案されている。また、BERTScoreの計算を効率化するための近似手法も研究されている。
5.2 他の埋め込みベース評価手法（MoverScore、BLEURTなど）
MoverScoreは、単語埋め込みの移動距離（Earth Mover's Distance）を用いた評価指標であり、BERTScoreと類似した目的を持つ。BLEURTは、BERTをベースにした評価モデルを追加でファインチューニングした指標であり、より高い人間評価相関を目指す。これらはBERTScoreと比較して、異なるトレードオフを持つ。
5.3 今後の展望
BERTScoreは生成的テキスト評価の標準的な指標の一つとして定着しつつある。今後は、大規模言語モデル（LLM）の評価への適用、事実性チェックとの統合、より高速な推論手法の開発などが期待される。また、評価指標自体のバイアスや公平性に関する研究も進むと見られる。