1 マスク学習の概要
1.1 定義と基本概念
1.1.1 マスク（欠損）と復元の考え方
マスク学習とは、入力データの一部を意図的に見えなくする（欠損させる）ことで、モデルに「欠けた要素を周囲から推定し復元する」能力を学習させる手法の総称である。ここでのマスクは、欠けた部分の位置や割合が事前に決まる場合もあれば、確率的に変化する場合もある。復元は、失われた要素を分類・回帰・生成として再現する形で実装され、入力全体の整合性を保つ方向へモデルを誘導する。
1.1.2 学習目標（自己教師あり・教師ありとの関係）
学習目標は、欠損部分の予測誤差を最小化することに置かれることが多い。自己教師ありではラベルを明示的に用いず、入力自身から作った欠損の復元を教師信号として扱う。教師ありでは、復元が補助目的（マルチタスク）として組み込まれることがある。例えば、分類精度の向上に加えて、表現の汎化性を高める目的で、復元損失を併用する構成が採られる場合がある。
1.2 関連する学習枠組み
1.2.1 自己教師あり学習との位置づけ
自己教師あり学習の代表的な系統として、入力の一部を隠し、その情報を再獲得させる考え方は重要な位置を占める。マスク学習は、対照学習のように「似ている／異なる」を比較する代替として、復元という直接的な推定課題を通じて表現を獲得する。結果として、欠損が生じたときに成立する因果的・統計的手がかりをモデルが学びやすくなり、下流タスクでの転移に有利とされる。
1.2.2 注意機構・表現学習との関係
注意機構（Attention）を用いるモデルでは、欠損位置に対して有効な周辺情報へ重み付けすることで復元性能が左右される。マスク学習は、モデルが「どの範囲の文脈を参照すべきか」を内部的に学習する圧力を与えるため、表現学習の観点でも相性がよい。エンコーダが文脈を集約し、デコーダが欠損を補う構造では、意味的整合性と局所性の両立が取りやすい。
1.3 なぜ有効なのか（直観）
1.3.1 文脈依存の学習
欠損がある環境では、モデルは自己完結的な手がかりだけでなく、近傍や遠方の文脈から情報を引き出す必要がある。これにより、入力全体の関係性を捉える表現が形成されやすい。特に、欠損位置の周辺特徴と、欠損が属する単位（単語、パッチ、時間フレームなど）の整合を取る方向に学習が進むため、局所パターンの記憶に偏りにくい。
1.3.2 正則化としての効果
入力を一部遮断すると、モデルは「見えている情報のみ」では復元できず、汎化に必要な頑健な特徴を要求される。これは、入力摂動に対する安定性を高める正則化に近い働きを持つ。さらに、マスク位置や形が確率的に変わる設計では、同一の欠損形に過度適応する余地が小さくなり、過学習の抑制につながることがある。
2 マスキング戦略
2.1 マスク対象の選び方
2.1.1 トークン・パッチ・フレームの指定
マスク対象はデータ種別に応じて定義される。テキストでは語彙単位（トークン）やサブワード単位を隠す設計が多い。画像では空間的に分割したパッチを単位に欠損させる場合がある。音声や時系列では時間方向のフレームや区間特徴を隠し、動的変化の復元を促す。単位の選択は、モデルが学習すべき「意味の粒度」を決めるため、設計の起点となる。
2.1.2 特徴量単位でのマスク
入力が埋め込み表現へ変換された後の特徴量（中間表現）をマスクする方法もある。たとえば、埋め込みベクトルの特定次元や特定トークン位置の隠蔽を行うと、モデルは表現空間内で欠損を埋める学習を行う。これは、前処理での粒度定義と比べて、表現の内部整合性に焦点を当てる設計となりやすい。
2.2 マスク割合とスケジューリング
2.2.1 一定割合マスク
訓練全体を通して同一割合で欠損を入れる方式である。実装が単純で比較しやすい一方、マスクが多すぎると難度が急増して学習が停滞することがある。逆に少なすぎると復元課題が弱くなり、表現学習の効果が十分に表れない場合がある。したがって、データの冗長性やモデル容量に合わせた割合調整が重要になる。
2.2.2 逐次的な割合変更（カリキュラム）
学習の進行に応じてマスク割合を変える設計である。初期は欠損を控えめにして安定した特徴を形成し、後半で難度を上げることで表現の到達度を高める狙いがある。逆方向（難度を徐々に下げる）も可能だが、一般には学習安定性と課題の有効性のバランスを取るために、カリキュラムを慎重に設計する。
2.3 マスク形状・粒度
2.3.1 ランダムマスクと構造化マスク
ランダムマスクは欠損位置を確率的に選ぶ方法で、データの多様な関係を学ばせやすい。構造化マスクは、特定のパターンや領域をまとまって隠す方式で、現実の欠損状況（例えばセンサ遮蔽や欠落領域）に似せられる利点がある。構造化は学習課題の性質を明確に変えるため、モデルが過度に特定形状へ適応しないかを確認する必要がある。
2.3.2 隣接ブロック／スパンのマスク
連続する単位（隣接トークン、隣接パッチ、連続フレーム）をまとめて隠す方式である。局所的な推測だけではなく、欠損区間の両端や中間の統計構造を利用する圧力が強まる。特に、文章や音声のように時間的・語順的な依存が強いデータでは、連続スパンのマスクが文脈整合の学習を促しやすい。
2.4 ドメイン別の設計指針
2.4.1 テキスト向けの粒度
テキストでは、文法や意味の単位が混在するため、単語・サブワードのどちらをマスクするかで学習の性質が変わる。一般に、細かい粒度では復元対象が増える一方、意味の統合が難しくなる場合がある。粗い粒度では意味的な整合性を学びやすいが、復元の難度が上がりやすい。さらに、文またぎの文脈利用をどこまで許すか（マスク範囲の文境界設定）が、転移性能に影響しうる。
2.4.2 画像・音声向けの粒度
画像では空間の相関が強いので、パッチサイズや欠損領域の大きさが復元難度を決める。大きすぎる欠損は推定不確実性を増し、小さすぎる欠損は学習信号が弱くなる。音声では時間解像度と特徴抽出の設定が重要で、フレーム単位の隠蔽だけでなく、周波数成分を含む特徴表現の扱いも絡む。欠損が周波数・時間のどちらに強く偏るかは、モデルが捉える音響手がかりの形を左右する。
3 復元タスクと損失関数
3.1 復元の種類
3.1.1 欠損要素の分類・予測
欠損部分が離散的なラベルを持つ場合、復元は分類問題として定式化される。テキストの欠損トークン予測や、離散化した画像特徴の復元では、カテゴリ分布を出力しその確率に基づいて学習する。モデルは、欠損箇所に対応する正解カテゴリの確率を高める方向へ更新されるため、表現には情報の識別能力が反映されやすい。
3.1.2 回帰による復元
欠損部分が連続値で表される場合、回帰として復元を行う。音声のスペクトル成分の再構成や、画像特徴ベクトルの連続表現の補完などが該当する。回帰の設計では、ターゲットのスケールや正規化手順が損失の挙動を左右する。回帰損失は誤差の大きさに敏感であるため、極端値に引っ張られない工夫（損失関数の選択や頑健化）が有効になることがある。
3.2 よく用いられる損失
3.2.1 クロスエントロピー系
離散的な復元では、カテゴリ間の距離としてクロスエントロピーがよく使われる。欠損位置ごとに出力分布と正解カテゴリの整合を測り、復元精度を直接反映しやすい。クラス不均衡がある場合は重み付けやサンプル選択が検討される。学習の安定性を高めるために、ラベル平滑化などの技術が併用されることもある。
3.2.2 平均二乗誤差など回帰系
回帰タスクでは、平均二乗誤差（MSE）や平均絶対誤差（MAE）が広く利用される。MSEは大きな誤差に強くペナルティを与えるため、復元品質を高めたい場合に適することがある。一方、外れ値の影響を受けにくい指標が望まれる状況では、より頑健な回帰損失が選ばれる。どの損失を採用するかは、復元対象の性質とデータ分布に依存する。
3.3 予測範囲の設計
3.3.1 ローカル復元
ローカル復元は、欠損した領域そのもの、あるいは近傍のみに焦点を当てる設計である。対象範囲が狭いほど学習課題は単純化されることがあり、細かな整合性を獲得しやすい。反面、長距離の文脈利用が十分に要求されない場合もあるため、データの依存構造と整合するように範囲を決める必要がある。
3.3.2 グローバル復元
グローバル復元は、欠損の補完がより広い文脈や全体整合へ依存する設計である。例えば、欠損領域の周辺だけでなく、全体の整合性を支える要素まで復元対象に含める場合がある。長距離依存を利用する圧力が強まる一方、学習難度と計算コストも増える可能性があるため、モデル容量や学習データ量とのバランスが重要となる。
4 モデル構成と実装
4.1 代表的なアーキテクチャ
4.1.1 トランスフォーマ系との相性
マスク学習は、トークンやパッチといった系列・集合構造を扱えるトランスフォーマ系と相性がよいとされる。注意機構により、欠損箇所が参照すべき手がかりを学習できるためである。さらに、エンコーダ側でマスク前後の文脈を統合し、デコーダ側で復元を行う分担が明確に作れる。計算量の観点では、入力長やパッチ数の設計が重要になる。
4.1.2 エンコーダ・デコーダの使い分け
エンコーダのみで復元を行う構成もあれば、エンコーダとデコーダを分けて欠損部分の再構成能力を担わせる構成もある。エンコーダ・デコーダ分離では、復元用の表現を復元目的に特化して形成しやすい。エンコーダ単体では実装が簡素になりやすいが、復元の表現能力が不足する場合に調整が必要となる。設計選択は、復元タスクの難度と計算制約に依存する。
4.2 学習手順（データ準備から学習まで）
4.2.1 マスク生成パイプライン
実装では、まず入力を単位へ分割し、マスク候補の集合から欠損位置を選ぶ。選択には乱数によるサンプリングやルールベースの制約（連続スパンの確保、文境界の扱いなど）が含まれる。次に、マスク位置の入力表現を特殊トークンや学習可能な埋め込みに置き換える設計が一般的である。欠損情報の追跡（どこが欠損か）は損失計算や復元出力の対応付けに不可欠になる。
4.2.2 バッチ内の欠損整合性
バッチ処理では、各サンプルごとに異なるマスクが入るのが自然である一方、テンソルの形状やマスクの位置対応を崩さない配慮が必要となる。欠損位置のインデックス管理を適切に行わないと、復元損失が意図しない箇所で計算される恐れがある。さらに、データ並列環境では乱数の再現性や同期も課題となるため、シード管理やマスク生成の決定性が検討される。
4.3 計算効率と安定性
4.3.1 マスクによるバッチ構造の工夫
マスク学習は、欠損位置のみに損失を計算する設計により、計算負荷を削減できる場合がある。例えば、復元ヘッドの出力を欠損箇所へ限定することで、全トークンの損失計算を避けられることがある。加えて、マスク率や欠損ブロック構造に応じて、必要な計算量の見積もりを行い、学習速度と性能の両立を図ることが多い。
4.3.2 ハイパーパラメータの調整
主要な調整項目として、マスク割合、学習率、損失重み、復元ヘッドの次元数、正則化係数などが挙げられる。マスク割合が変わると損失のスケールや学習の難度が変化し、学習率の最適値も連動して変わりうる。安定性の面では、勾配爆発や収束停滞を避けるためにウォームアップや勾配クリッピングが用いられることがある。
4.4 評価と検証
4.4.1 復元精度での評価
復元課題そのものの性能（欠損位置の予測正解率、誤差指標など）を評価指標として用いる。テキストならトークン予測の精度、画像なら再構成誤差や分布一致度、音声ならスペクトル復元の誤差などが該当する。単純な復元誤差だけでなく、欠損率やスパン長に対する頑健性を確認すると、モデルの学習性質が見えやすい。
4.4.2 下流タスクでの性能確認
自己教師ありの特徴学習としての有用性は、分類、検索、生成、予測といった下流タスクで測定される。通常は、事前学習済み表現を固定して線形評価する方法や、微調整（ファインチューニング）で最終性能を測る方法がある。復元精度が同程度でも下流での挙動が異なる場合があるため、複数条件で検証することが望ましい。
5 応用例と活用シナリオ
5.1 テキスト処理
5.1.1 用語・語彙の補完
テキストで欠損した語を復元させることで、語彙の補完能力を獲得できる。文脈から自然な語を選ぶ能力は、検索補助、誤字訂正、編集支援などで利用されることがある。マスク設計を変えると、短い語彙の補完から、より長い情報の欠落を埋める能力まで段階的に学習できる可能性がある。
5.1.2 文脈理解の強化
欠落した箇所を推定する過程は、文の意味関係を捉える訓練になる。例えば、前後の語句関係、依存構造、話題の流れといった要素が復元に寄与するため、文脈理解を強化する方向へ働く。結果として、意味検索や要約のように文脈の整合性が重要なタスクで効果が現れやすい。
5.2 画像・視覚
5.2.1 パッチ欠損の復元
画像をパッチに分割し、部分的に欠けた領域を復元させることで、視覚的特徴の表現学習に役立つ。復元は画素そのものの生成として行われる場合もあれば、潜在特徴の補完として行われる場合もある。欠損位置の空間的な文脈を利用するため、エッジ、質感、形状のような基礎的な特徴から、より抽象的な構造まで学習が進むことがある。
5.2.2 表現学習としての利用
復元が目的であっても、評価の中心は最終的に得られる表現に置かれることが多い。例えば、分類や検出の下流タスクで、事前学習表現が少量データでも性能を引き上げる場合がある。欠損補完によって学習された特徴は、観測条件の変動や部分的な欠落に対して頑健になりやすいとされる。
5.3 音声・時系列
5.3.1 フレーム欠損の補完
音声やセンサ信号を時間方向の区間に分け、欠損フレームを復元させると、連続性のある特徴の学習が進む。欠損が局所に留まる場合は短期依存、広いスパンを隠す場合はより長期の変化を捉える方向へ学習が移りやすい。復元精度の向上は、欠落耐性を持つ前処理表現の獲得として解釈できる。
5.3.2 動的特徴の学習
時系列では状態の遷移やリズムが重要であり、復元課題はそれらの手がかりを内在化させる契機になる。単純な静的パターンの記憶ではなく、観測間の関係を再構成する必要があるため、動的な特徴が形成されやすい。結果として、異常検知やイベント分類など、時間依存が本質となるタスクで有効になりうる。
6 限界・課題・失敗パターン
6.1 マスク設計ミス
6.1.1 情報を隠しすぎる問題
マスク割合やスパン長が過大だと、復元可能性が下がり、損失が下がりにくくなる。モデルは推測に依存し過ぎ、真に文脈から復元する能力ではなく、統計的な平均像に寄ることがある。学習曲線の停滞や、下流タスクでの性能頭打ちとして現れることが多い。
6.1.2 隠し方が偏る問題
欠損位置の分布が偏ると、モデルは特定パターンの復元に強く適応する一方で、別の欠損形に弱くなる。たとえば、常に特定領域が欠けるような設計では、その領域に特化した手がかりが学習される可能性がある。ランダム化やバランスの取れたサンプリング、検証用のマスク分布変更による点検が必要になる。
6.2 学習の崩れ
6.2.1 モデルが都合の良い推測に寄る
復元対象が曖昧であると、モデルは最尤カテゴリのような「外れにくい選択」を繰り返すことで損失を下げようとする。回帰でも平均値への収束が起こりうる。これは欠損が多様であるはずなのに学習が単一のパターンへ収束することに起因し、損失だけでは気づきにくい場合があるため、欠損条件ごとの性能分析が有効である。
6.2.2 学習不安定性（勾配・損失の挙動）
マスクによって損失計算の対象数が変動すると、勾配スケールが揺れ、学習が不安定になる場合がある。さらに、損失関数が外れ値に強いと、まれな復元困難ケースで勾配が跳ねる。対策として、ターゲット正規化、損失集約の仕方の見直し、勾配クリッピングなどが用いられることがある。
6.3 解釈可能性
6.3.1 何を手がかりに学んだかの確認
復元が上手くいっても、モデルがどの情報に依存しているかは明確でないことがある。注意重みの分布や、欠損位置を変えたときの感度分析により、参照されている文脈の傾向を調べられる場合がある。加えて、意図的に入力の一部を変えたときの復元結果の変化を見ることで、モデルの手がかりの性質を推定できる。
6.3.2 可視化・分析の考え方
評価と同時に分析を行うことで、学習が期待した方向へ進んでいるかを確認できる。例として、復元対象の難易度別の誤差分布、マスク位置別の性能差、埋め込みのクラスタ構造などが挙げられる。可視化は万能ではないが、失敗パターンの早期発見や設計改善につながるため、継続的なモニタリングが望ましい。