1 グループ交差検証の概要
1.1 目的：リーク抑制と汎化評価の改善
1.1.1 ランダム分割が招く情報混入
従来型の交差検証では、観測点をランダムに学習・検証用へ振り分けることが多い。しかし、観測が同一個体や同一条件に由来する場合、同じグループに属するデータ同士の間には強い類似性が生じやすい。たとえば同一人物の特徴、同一患者の生理状態、同一ユーザーの行動嗜好、連続区間の時系列変動などは、学習側と評価側に同時に現れると、モデルが本来推定できないはずの“個体固有の手掛かり”を評価で参照してしまう。これがデータリークによる過大評価であり、実運用での性能低下につながることがある。
1.1.2 グループ単位保持の考え方
グループ交差検証は、観測点そのものではなく、それらを生成した単位（グループ）を基準に分割する。具体的には、同一グループに含まれる観測は同一のフォールドにまとめ、学習と評価の境界をグループの境界に合わせる。これにより、評価時に学習側で見た個体・条件の情報が混入する可能性を下げ、汎化性能の見積もりを現実に近づける。結果として、未知の個体や新しい条件に対するモデル挙動を、より妥当な手続きで検証できる。
1.2 通常の交差検証との違い
1.2.1 観測単位とグループ単位の分割
通常の交差検証では「1行（1観測）」を分割単位とするのが基本であるのに対し、グループ交差検証では「グループID」を分割単位にする点が中心となる。したがって、分割設計は観測数ではなくグループ数を意識して行う必要がある。さらに、グループサイズが不均一な場合、あるフォールドに大量の観測が集まりやすく、学習データや評価データの性質がフォールド間で変わる。設計ではこの偏りを把握し、評価の解釈可能性を保つ工夫が求められる。
1.2.2 評価指標への影響
分割の単位が変わると、評価指標の統計性質も変化する。観測点数を均等に割り付ける発想が弱まるため、同一グループに強く相関する特徴を“丸ごと未知扱い”にできる反面、フォールドごとのサンプル構成の違いが指標のばらつきに反映されやすい。平均値は従来より控えめになり得るが、その理由が情報混入の除去にあるのか、あるいはグループ構造による難易度上昇にあるのかを切り分けて理解することが重要になる。
2 分割設計の基本原則
2.1 グループ定義と粒度の選択
2.1.1 同一人物・同一対象・同一条件の扱い
グループ交差検証の成否は、グループ定義に強く依存する。たとえば医療では患者ID、実験では実験ロットや被験者ID、行動データではユーザーID、認識課題では撮影セッションや対象個体、時系列では連続区間（ある開始条件から終了まで）などが候補となる。粒度は“リークを起こすほど近い関係”をまとめる方向で設定する必要がある一方、過度に細かくするとグループ間の独立性が十分に確保できず、過度に粗くすると評価可能な分割数が減って統計的な不確実性が増す。実データの生成過程と運用上の遭遇条件の対応関係を踏まえて決めるのが基本である。
2.2 分割の制約条件
2.2.1 学習・検証・テストの重なり禁止
グループ交差検証を“評価の一貫性”として機能させるには、学習・検証・テストの境界でグループの重なりが起きないよう制約する必要がある。たとえばハイパーパラメータ選択のための検証データと、最終報告のためのテストデータで同一人物のデータが混ざると、リークは再び生じる。したがって運用では、グループIDを用いて領域を分け、同一グループが複数の役割に跨らないように設計する。これにより、モデル選定から最終評価までの因果的な切り分けが保たれる。
2.2.2 クラス分布の偏りへの対処
グループがラベルと相関する場合、各フォールドのクラス分布は均等にならない可能性がある。典型例として、陽性例が特定の患者や特定ロットに偏っている状況では、グループ単位で分割するとあるフォールドで陽性が欠けることさえ起こりうる。これに対処するには、グループ層化に相当する発想でラベル偏りを抑える、あるいは許容範囲を定めて評価の信頼性を明示する、といった戦略が必要になる。なお、過度に均等化を狙いすぎると、グループ独立性の前提を損なう設計になり得るため、両立のためのバランス設計が要点となる。
3 実装パターンと手法バリエーション
3.1 グループK分割（グループ単位のK分割）
3.1.1 グループを単位として折り分ける流れ
グループK分割では、K個のフォールドが得られるようにグループを割り当てる。実装上は、まず全グループIDの集合を作り、次に各グループをどのフォールドへ割り当てるかを決める。割当が終われば、フォールドkを検証（あるいはテスト）とし、残りを学習に用いる、という通常の交差検証の枠組みへ接続できる。ポイントは、観測単位で切らずにグループを丸ごと移動させるため、割当の自由度が観測数ではなくグループ数に依存する点にある。
3.1.2 ランダム性と再現性の管理
グループの割当は、単純な貪欲法や近似探索を用いる場合、実行ごとに異なる割当が生まれることがある。すると評価指標のばらつきが、データ由来の不確実性に加えて分割由来の不確実性も含んでしまう。これを避けるために、乱数の固定（シード設定）や、複数回の分割試行により分割安定性を確認する、といった再現性管理が重要になる。また、割当アルゴリズムの条件（停止条件、同点処理の規則）も結果に影響するため、手順の記録が求められる。
3.2 グループの時間整合（時系列との併用）
3.2.1 将来情報の混入防止
時系列データでは、同一グループの内部でも“未来から過去への情報”が混ざることがある。グループ交差検証に時間整合の制約を加えることで、学習に用いる時点より後の観測が検証側に入らないように制御する。たとえば患者の時系列記録であれば、ある時点以降の情報を学習側に含めない設計、ユーザー行動ログであれば観測窓の順序を保つ設計などが該当する。これにより、リークの原因をグループ相関だけでなく時間方向にも拡張して扱える。
3.2.2 ウォークフォワード評価の考え方
ウォークフォワード評価は、時間を前へ進めながら段階的に学習と評価を行う考え方である。グループの時間整合と組み合わせると、たとえば過去の期間で学習し、直近の期間で検証するステップを複数回実施できる。これにより、モデルが新しい状況に適応できるか、性能が時間とともにどう変化するかを追跡できる。単一の平均精度だけでなく、時間軸上の性能変化を読み取れる点が利点となる。
3.3 グループ層化（層化をグループで行う発想）
3.3.1 分割時のラベル偏り最小化
層化（stratification）は、ラベル比率の偏りを抑える目的で使われる。グループ層化では、個々の観測ではなくグループ単位で“ラベルの構成”が近くなるように割り当てを行う。例えば各グループ内の陽性率や、クラスごとの出現の有無を特徴として扱い、フォールド間でそれらの集計が近くなるよう調整する。これにより、フォールドごとの評価が特定クラスの欠如によって不安定になる事態を減らせる。
3.3.2 極端な小グループへの対応
小さなグループが多い場合、層化を厳密にしようとすると割当が破綻しやすい。極端に小さいグループは、特定フォールドに吸収されると評価指標が大きく揺れる要因になり得る。対処としては、最小グループサイズの閾値を設けて統合する、層化目標に許容誤差を導入する、あるいは小規模フォールドの結果を不確実性とともに報告するなどの方法がある。重要なのは、厳密さよりも“評価が実務的に解釈可能であること”を優先する点である。
4 運用上の注意点と評価の読み方
4.1 グループ数・グループサイズの問題
4.1.1 小さすぎるグループの不安定性
グループ数が少ないと、交差検証による学習・評価の組み合わせが限定され、指標の推定誤差が大きくなる。さらに、グループサイズが極端に小さい場合、あるフォールドで統計的に特徴を学習する量が足りず、検証側の結果が偶然に左右される可能性が高まる。したがって、設計段階でグループ数とサイズ分布を確認し、フォールド数を過剰に増やさない選択が現実的となる。
4.1.2 大きいグループが支配するバイアス
一部のグループが非常に大きいと、そのグループを含むフォールドの学習データや検証データの性質が極端に変わる。結果として、平均精度が“最大級グループの出来”に強く引っ張られることがある。これを緩和するには、フォールド数の調整や、割当の目的関数に“観測数の偏り”も含める設計が有効である場合がある。ただし、グループの完全独立性を崩さない範囲で最適化する必要がある。
4.2 交差検証結果の解釈
4.2.1 平均と分散（ばらつき）の扱い
グループ交差検証では、平均値に加えて分散（ばらつき）を重視する解釈が有用である。理由は、フォールド間のグループ構成の違いが指標に反映されやすいためである。ばらつきが大きい場合、モデルが特定グループの性質に依存している可能性、あるいはデータの難易度がフォールド間で大きく異なる可能性が考えられる。したがって単なる上位スコアの採用ではなく、分布の形や外れ値の有無を観察し、評価結果を報告書で説明可能にすることが重要になる。
4.2.2 失敗例：見かけ上の高精度の原因分析
失敗例として、グループ分割を行ったにもかかわらず精度が過度に高いと見える場合がある。考えられる原因として、グループ定義が不適切で同一個体が別グループとして扱われている、時系列の境界が守られておらず将来情報が混入している、あるいは前処理（正規化や特徴量生成）でリークが残っていることが挙げられる。特に前処理は、分割前に統計量を計算すると情報が混ざるため注意が必要である。原因分析では、分割設計だけでなくデータ処理パイプライン全体の境界設定を点検することが中心となる。
4.3 ハイパーパラメータ最適化との関係
4.3.1 検証とテストの役割分離
ハイパーパラメータ最適化では、検証データを用いて設定を決め、最終性能はテストデータで評価するのが基本である。グループ交差検証でもこの原則は同様で、テスト側のグループが最適化過程に関与しないようにする必要がある。つまり、検証とテストの役割分離は“観測の分割”ではなく“グループの分割”として保証されるべきである。これにより、最適化の探索による過学習を抑え、最終評価の信頼性を確保できる。
4.3.2 ネストした評価（ネスト交差検証）の考え方
ネスト交差検証は、外側で最終評価用の分割を行い、その内側でハイパーパラメータ選択用の交差検証を実施する枠組みである。グループ交差検証に適用すると、外側のテストフォールドのグループが内側の学習・選択過程に一切現れない状態を保てる。これにより、最適化過程の探索が評価指標を引き上げてしまうバイアスをより低減できる。計算コストは増えるものの、厳密な性能推定が必要な場面では有力な選択肢となる。