1 概要
1.1 定義と背景
BART（Bidirectional and Auto-Regressive Transformers）は、Facebook AIが開発したエンコーダ‑デコーダ構造を持つTransformerベースの事前学習モデルである。テキストのノイズ除去自動エンコーダとして設計され、テキストに様々なノイズを加えた後、元のテキストを復元するように学習される。この手法により、テキスト補完、要約、翻訳、質問応答など多様な自然言語処理タスクで高い性能を発揮する。
1.2 Transformerアーキテクチャの基礎
Transformerは、自己注意機構（Self-Attention）を中心としたニューラルネットワークアーキテクチャである。エンコーダとデコーダから構成され、エンコーダは入力系列を双方向に処理し、デコーダは自己回帰的に出力系列を生成する。BARTはこの基本構造を継承しつつ、ノイズ除去目的に特化した事前学習を行う。
2 モデル構造
2.1 エンコーダ
エンコーダは双方向Transformerから構成され、入力テキストの各トークンを周囲の文脈全体を考慮して表現する。標準的なTransformerエンコーダと同一の構造を持ち、複数の自己注意層とフィードフォワード層を積み重ねる。
2.1.1 双方向自己注意機構
各位置のトークンが、シーケンス内の全トークンに対して注意を計算する。これにより、左右両方向の文脈情報を同時に捉えることができ、BERTと同様の双方向表現が得られる。
2.2 デコーダ
デコーダは自己回帰的なTransformerから構成され、エンコーダから得た文脈表現を基に、トークンを左から右へ逐次的に生成する。標準的なTransformerデコーダと同一の構造で、マスク付き自己注意とクロスアテンションを持つ。
2.2.1 自己回帰生成機構
デコーダは、既に生成したトークンのみを参照して次のトークンを予測する。これにより、因果的な言語モデルとして動作し、テキスト生成タスクに適している。
2.3 エンコーダ‑デコーダ間のクロスアテンション
デコーダの各層では、自己注意の出力を元にエンコーダの全出力に対してクロスアテンションを計算する。これにより、デコーダは入力文の情報を参照しながらテキストを生成できる。BARTの基盤として、この機構が要約や翻訳など入力‑出力間の変換タスクを可能にする。
3 事前学習方法
3.1 ノイズ付与戦略
BARTは、元のテキストに意図的に様々なノイズを加えた「破損テキスト」を入力とし、元のテキストを復元するように学習される。このノイズ付与は複数の戦略を組み合わせて行われる。
3.1.1 トークンマスキング
一部のトークンを[MASK]トークンに置き換える。これはBERTと同様のマスク言語モデル方式であるが、BARTではデコーダを用いて系列全体を復元する点が異なる。
3.1.2 テキスト順序入れ替え
文内のトークンや文章の順序をランダムにシャッフルする。これにより、モデルは元の正しい順序を復元する能力を学習する。
3.1.3 トークン削除と文章回転
トークン削除は、一部のトークンを単純に取り除く操作である。文章回転は、文章をランダムな位置で分割し、後半部分を前に移動させる。これらのノイズは、欠落や断片化に対処する頑健性をモデルに付与する。
3.2 復元目的関数
事前学習では、ノイズ付与後のテキストを入力として、デコーダが生成する系列と元の系列との間の交差エントロピー損失を最小化する。この目的関数により、モデルは様々な種類のテキスト破損に対して元の文章を復元する能力を獲得する。
4 ファインチューニングと応用
4.1 テキスト要約
BARTを要約タスクに適用する場合、入力文書に対してノイズを加えず、出力として要約文を生成するようにファインチューニングする。エンコーダ‑デコーダ構造が文書圧縮に適しており、CNN/DailyMailなどのベンチマークで高いROUGEスコアを達成する。
4.2 機械翻訳
入力言語の文章をエンコーダで符号化し、デコーダで目的言語の文章を自己回帰的に生成する。事前学習で得られた言語理解能力が翻訳性能の向上に寄与する。
4.3 質問応答
質問とコンテキストを連結してエンコーダに入力し、デコーダで回答を生成する。抽出型および生成型の両方の質問応答タスクに適用可能である。
4.4 テキスト生成タスク
対話生成、ストーリー生成、コード生成など、入力から自由形式のテキストを生成するタスクに広く利用される。デコーダの自己回帰生成機構により、流暢で文脈に即したテキストを出力できる。
5 類似モデルとの比較
5.1 BERTとの違い
BERTはエンコーダのみのモデルであり、双方向表現の獲得に特化するが、テキスト生成は苦手である。BARTはエンコーダ‑デコーダ構造を持ち、生成タスクにも対応する。また、BARTはノイズ除去事前学習を実施する点がBERTのマスク言語モデルと異なる。
5.2 GPTとの違い
GPTはデコーダのみの自己回帰モデルであり、一方向の文脈しか利用できない。BARTはエンコーダで双方向文脈を捉え、デコーダで自己回帰生成を行うため、文脈理解と生成のバランスが良い。GPTは大規模な言語モデルとしてテキスト生成に特化する。
5.3 T5との違い
T5もエンコーダ‑デコーダ構造を持ち、テキスト間変換を統一的な枠組みで扱う。T5はSpan Corruption（スパン破損）を用いた事前学習を行うが、BARTはより多様なノイズ戦略を用いる。T5は全てのタスクを「テキストを入力としてテキストを出力」という形式に変換する点でBARTと似ているが、具体的なノイズ手法とモデルサイズのスケーリング戦略に差異がある。
6 実装とライブラリ
6.1 Hugging Face Transformers
BARTはHugging FaceのTransformersライブラリで実装されており、BartForConditionalGenerationというクラスで利用可能である。事前学習済みモデルの重みが提供され、簡単にファインチューニングや推論を行うことができる。
6.2 学習済みモデルの利用例
Transformersライブラリを用いて、from_pretrained('facebook/bart-base')やfrom_pretrained('facebook/bart-large')のようにモデルをロードする。入力テキストをトークナイズし、generateメソッドでテキスト生成を実行する。この例はHugging Faceの公式ドキュメントで広く紹介されている。
7 評価ベンチマーク
7.1 GLUE・SuperGLUE
BARTはGLUE（General Language Understanding Evaluation）およびSuperGLUEベンチマークで評価される。テキスト含意、感情分析、文の類似性などの分類タスクにおいて、BERTと同等以上の性能を示すことが報告されている。
7.2 SQuAD・CNN/DailyMail
SQuAD（Stanford Question Answering Dataset）は抽出型質問応答のベンチマークである。BARTは生成型の回答出力も可能であり、多くのタスクで最先端の精度を達成している。CNN/DailyMailはテキスト要約のベンチマークであり、BARTはROUGEスコアで高い水準を記録している。
8 発展と限界
8.1 長所
BARTはエンコーダ‑デコーダ構造により、双方向の文脈理解と自己回帰生成を両立する点が最大の長所である。多様なノイズ付与戦略による事前学習が、ノイズに対する頑健性と汎用的な言語能力をもたらす。要約、翻訳、質問応答など幅広いタスクにファインチューニング可能であり、特にテキスト生成タスクで強力な性能を発揮する。
8.2 短所と今後の課題
BARTはモデルサイズが大きく（ベースで約1.4億パラメータ、ラージで約4億パラメータ）、推論に時間がかかる。また、GPTシリーズのような超巨大モデルに比べると、生成の多様性や創造性で劣る場合がある。事前学習のノイズ戦略がタスクによって最適とは限らず、特定のタスクには別のノイズ手法が有効な可能性がある。今後の課題として、計算効率の改善、タスク特化型ノイズ戦略の開発、さらなるスケーリングによる性能向上が挙げられる。