1 DistilBERTの背景と目的
1.1 大規模言語モデルの課題
自然言語処理（NLP）分野では、BERTに代表されるTransformerベースの大規模言語モデルが高い性能を示す一方で、膨大なパラメータ数（BERT Baseで1億1000万、BERT Largeで3億4000万）に起因する計算コストとメモリ消費が実用上の障壁となっていた。特に、モバイル端末や組み込みシステムなどのリソース制約環境では、モデルの推論に要する時間やメモリ容量が深刻な問題となる。また、クラウドサーバー上でも処理遅延が生じやすく、リアルタイム性が求められるアプリケーションには不向きであった。
1.2 知識蒸留の概念
知識蒸留（Knowledge Distillation）は、大規模で高性能な教師モデル（Teacher Model）の知識を、より小さな生徒モデル（Student Model）に転移する学習手法である。教師モデルの出力確率分布（ソフトターゲット）を模倣するように生徒モデルを訓練することで、生徒モデルは教師の汎化能力の一部を継承する。この手法は、モデルサイズを削減しながら元の性能の大部分を維持することを可能にし、モデル圧縮の有効な手段として広く用いられている。
1.3 DistilBERTの開発動機
DistilBERTは、Hugging Face社が2019年に発表したBERTの軽量版である。開発の主な動機は、BERTの性能を極力損なわずにモデルサイズと推論時間を劇的に削減し、実用的なデプロイを容易にすることであった。具体的には、知識蒸留を用いてBERT Baseから学習することで、パラメータ数を40%削減し、推論速度を約60%向上させながら、元のBERTの性能の97%を維持することを目標とした。これにより、大規模モデルでは非現実的だったエッジ環境や低レイテンシ要求のタスクへの応用が可能となった。
2 DistilBERTのアーキテクチャ
2.1 元のBERTとの構造的差異
DistilBERTは、BERT Baseのアーキテクチャを基盤としつつ、主要な相違点としてTransformerエンコーダのレイヤー数が半分に削減されている。また、トークン型埋め込み（segment embeddings）とプーリング（pooling）層が除去され、学習時のバッチ正規化や活性化関数の変更は行われていない。アテンション機構やフィードフォワードネットワークの基本設計はBERTと同一である。
2.2 レイヤー数の削減とモデルサイズ
BERT Baseは12層のTransformerエンコーダを持つが、DistilBERTは6層に減らされている。この結果、総パラメータ数は約6600万となり、BERT Baseの1億1000万から約40%削減された。レイヤー数の削減はモデルサイズの縮小に直接寄与し、メモリ使用量と計算量の低減をもたらす。一方で、各レイヤーの隠れ次元数（768）やアテンションヘッド数（12）は維持されている。
2.3 トークン化と入力表現
DistilBERTはBERTと同じWordPieceトークン化方式を使用し、30,000語彙の語彙表を持つ。入力表現もBERTと同様に、トークン埋め込み、位置埋め込み、そして（トークン型埋め込みを除く）セグメント情報を組み合わせたベクトルで構成される。特殊トークン（[CLS]、[SEP]）もそのまま利用されるため、BERT用に作成された既存の前処理パイプラインを変更せずに適用できる。
3 学習方法
3.1 教師モデルとしてのBERT
DistilBERTの学習では、事前学習済みのBERT Base（教師モデル）の重みを固定し、生徒モデルであるDistilBERTが教師の出力分布と中間表現を模倣するように訓練される。教師モデルにはBERT Baseが採用され、その知識を蒸留するために、生徒モデルは教師と同じデータセット（BookCorpusおよびEnglish Wikipedia）を用いてマスク言語モデル（MLM）の目的関数とともに学習を行う。
3.2 蒸留損失関数
DistilBERTの学習では、以下の3つの損失関数を組み合わせて用いる。
3.2.1 ソフトターゲット損失
教師モデルのソフトマックス出力（温度パラメータTを使用）と生徒モデルの出力との間のクロスエントロピー損失。これにより、生徒は教師の予測確率分布を学習し、クラス間の類似性や不確実性を継承する。温度Tは蒸留の強度を調整し、通常はT=1またはT=2が用いられる。
3.2.2 マスク言語モデル損失
BERTと同様のマスク言語モデル（MLM）の損失。入力トークンの一部をマスクし、その元のトークンを予測する自己教師あり学習の目的関数である。この損失は、生徒モデルが言語の文脈理解能力を獲得するために重要であり、ソフトターゲット損失と同時に最小化される。
3.2.3 コサイン類似度損失
教師モデルと生徒モデルの各Transformer層の隠れ状態ベクトル間のコサイン類似度を最大化する損失。これにより、生徒モデルは教師モデルと同様の内部表現を獲得し、深い知識の転移が促進される。特に、最終層の隠れ状態に加えて、中間層の表現も対象とすることで、より豊かな知識蒸留を実現する。
3.3 学習プロセスとデータセット
DistilBERTの学習は、教師モデルを固定した状態で、生徒モデルをゼロから初期化して行われる。データセットはBERTの事前学習と同一のBookCorpus（約800M単語）およびEnglish Wikipedia（約2.5B単語）が使用される。学習は大規模な分散環境で行われ、バッチサイズや学習率などのハイパーパラメータはBERT Baseの設定を参考に調整される。蒸留損失の重みは、ソフトターゲット損失、MLM損失、コサイン類似度損失の間で適切にバランスが取られ（例えば、それぞれの係数は実験的に決定）、約3日間のトレーニングで完了する。
4 性能評価
4.1 GLUEベンチマークでのスコア
DistilBERTは、自然言語理解の代表的なベンチマークであるGLUE（General Language Understanding Evaluation）において、BERT Baseのスコア（平均約82.2）に対して約97%の性能（平均約79.8）を達成した。特に、CoLAやMRPCなど一部のタスクでは若干の低下が見られるものの、SST-2やQQPでは高いスコアを維持しており、軽量化による性能劣化は限定的である。
4.2 推論速度とメモリ効率
DistilBERTは、BERT Baseと比較して推論速度が約60%向上し、メモリ消費量は約40%削減される。具体的には、CPU環境でベンチマークを行った場合、BERT Baseの1回の推論に要する時間が約100msであるのに対し、DistilBERTは約60msで処理可能となる。また、GPUメモリ使用量も削減され、より小さなバッチサイズでの運用が可能になる。
4.3 他の軽量モデルとの比較
DistilBERTは、同時期に発表された他の軽量モデル（例：ALBERT、TinyBERT、MobileBERT）と比較して、性能と速度のバランスに優れる。TinyBERTはDistilBERTよりもさらに小さなモデルサイズを持つが、GLUEスコアではDistilBERTに劣る。一方、MobileBERTはモバイル向けに最適化された設計であるが、学習に特殊な手順を要する。DistilBERTは、単純な知識蒸留のみで実用的な性能と軽量化を両立しており、導入の容易さから広く採用されている。
5 応用と実装
5.1 テキスト分類
DistilBERTは、感情分析、トピック分類、スパム検出などのテキスト分類タスクで広く利用される。BERTから微調整（fine-tuning）する際と同様の手順で、[CLS]トークンの出力を分類ヘッドに入力することで、高速かつ高精度な分類が可能となる。特に、大量のテキストを短時間で処理する必要がある業務システムに適している。
5.2 質問応答
SQuAD（Stanford Question Answering Dataset）などの質問応答タスクにおいて、DistilBERTはBERTの約95%以上の性能を発揮する。エンドツーエンドの抽出型QAモデルとして、質問とコンテキストから答えの開始位置と終了位置を予測する。推論速度の向上により、対話システムやカスタマーサポートのリアルタイム応答に活用される。
5.3 感情分析
感情分析はDistilBERTの代表的な応用分野である。製品レビューやソーシャルメディアの投稿からポジティブ・ネガティブ・ニュートラルの感情を分類するタスクで、BERTと同等の精度を維持しつつ、メモリ制約のある環境でも動作する。例えば、モバイルアプリ内でユーザーのフィードバックを即時分析する用途に適している。
5.4 モバイル・エッジ環境での利用
DistilBERTの軽量性は、スマートフォンやIoTデバイスなどのエッジ環境でのNLP推論を現実化した。Hugging FaceのTransformersライブラリを通じて、ONNX RuntimeやTensorFlow Liteへの変換も可能であり、ローカルデバイス上で動作するオフライン対応のアプリケーション構築に貢献している。例えば、キーワード検出や音声アシスタントのテキスト解析に組み込まれている。
6 限界と今後の展望
6.1 性能維持に関するトレードオフ
DistilBERTはBERT Baseの性能の約97%を維持するが、残りの3%の低下はタスクによっては無視できない。特に、文法的判断を要するCoLAや、意味的類似性を測るMRPCなどで顕著な低下が見られる。また、極めて高い精度が要求される医療・法律分野では、性能劣化がリスクとなる場合がある。軽量化と性能のトレードオフは本質的な課題であり、ユースケースに応じた選択が必要である。
6.2 ドメイン特化タスクへの適応
DistilBERTは汎用的な言語モデルとして設計されているため、特定のドメイン（医学、法律、金融など）に特化したタスクでは、ドメイン固有の語彙や構文を十分に捉えられない可能性がある。これに対しては、ドメインコーパスを用いた追加の事前学習（ドメイン適応蒸留）や、教師モデルをドメイン特化版に変更する手法が研究されているが、まだ標準化されていない。
6.3 さらなる軽量化手法との統合
DistilBERTの知識蒸留は、量子化（quantization）やプルーニング（pruning）などの他の軽量化手法と組み合わせることで、さらなるモデル圧縮が可能である。例えば、DistilBERTをINT8量子化すると、追加の性能低下を抑えつつ推論速度とメモリ効率をさらに向上できる。今後の方向性として、蒸留と構造的圧縮の統合や、ハードウェアに特化した最適化が期待される。また、近年の大規模言語モデル（GPTシリーズなど）への蒸留適用も研究が進んでいる。