1 ランダム予測の概要
1.1 定義と考え方
ランダム予測とは、入力データや学習済みモデルの推論結果に依存せず、事前に定めた確率分布、あるいは一様な乱数に基づいて、予測対象（数値、分類ラベル、確率など）を生成する方式を指す。ここでいう「ランダム」は、モデル推定の情報を用いないという意味での独立性を中心に据え、出力の生成規則としては確率的手続きを明示する。
分類問題ではラベルを確率的に選ぶこと、回帰問題では実数値を確率分布からサンプルすることが典型である。確率を直接出力する場合でも、分布仮定に従って確率を生成し、評価指標に照らして性能を測る。
1.2 目的（基準モデル・統制・検証）
ランダム予測は、性能比較のための基準（ベースライン）や、検証過程の統制（コントロール）として利用される。たとえば、ある学習モデルが有意な改善をもたらしたと主張する際、少なくとも「入力に関係なく出力した場合に期待される水準」を知っておく必要がある。
また、実験の実装が妥当であるかを点検する用途もある。乱数による出力であっても評価指標が一定の挙動を示すことから、データの取り扱いや評価手順に誤りが混入していないかを切り分けやすくなる。
1.3 「ランダム」の範囲の整理
ランダム性には段階があり、「完全に無作為」だけが該当するわけではない。たとえば、クラスの事前確率を反映してラベルを選ぶ場合、入力との独立性は保つが、出力分布は実データのクラス頻度に合わせて設計される。このときランダム予測は「不偏な無作為」よりも「事前分布に基づく条件付き抽出」に近い性格を持つ。
したがって、実験で指定すべきは次の観点である。(1) 何がランダムか（ラベル、確率、実数）(2) どの分布から生成するか（一様か、事前確率か）(3) 生成は何に独立か（入力特徴、学習結果、検証ラベル）という三点である。これらが明確でないと、比較の意味が崩れやすい。
2 代表的なランダム予測手法
2.1 分布に基づくランダム予測
2.1.1 クラス事前確率を用いる手法
分類タスクで最も広く用いられるランダム予測の一つが、クラス事前確率に従った抽出である。各クラス \(c\) について事前確率 \(p(c)\) を定め、入力ごとに独立に \(c\) を確率 \(p(c)\) で選ぶ。事前確率は学習データのクラス比率、あるいは検証データの頻度から見積もることがあるが、検証ラベルに依存する作り方はリークにあたり得るため注意が必要である。
この手法は「入力に関係しないが、ラベルの出現しやすさは反映する」という性質を持つ。そのため、不均衡データでは単純な一様ランダムよりも見かけ上の性能が高くなることがある。基準として適切かどうかは、比較したい仮説（例えば事前のみを知っている状況）に依存する。
2.1.2 一様分布で選ぶ手法
一様ランダム予測では、クラスが \(K\) 個あるとき、各ラベルを \(1/K\) の確率で選ぶ。入力特徴や既知情報が一切考慮されないため、最も単純で、分布仮定がないという利点がある。
一方で、クラス不均衡が大きい問題では、実データのクラス頻度と大きく乖離しやすく、期待性能が極端に低くなりがちである。そのため、実務のベースラインとして採用するなら、事前確率ベースラインとの比較で位置づけを明確にするのが一般的である。
2.2 乱数生成の具体方式
2.2.1 乱数の種（シード）と再現性
ランダム予測は乱数に依存するため、結果を再現するには乱数生成器の「種（シード）」を固定する必要がある。シードを同一にすれば、同じ生成規則の下で同じ出力列が得られる。実験ログや評価レポートでは、シード値、生成器の種類、ライブラリのバージョンなどが再現性を左右する。
再現性がない場合、観測される性能差が偶然のばらつきによるものなのか、設計の違いによるものなのかを判別しにくくなる。したがって、ランダム予測を基準として用いる場合ほど、シードの管理が重要となる。
2.2.2 サンプリング方式（独立抽出・条件付き抽出）
抽出の設計にも複数の形がある。典型は「各入力に対して独立抽出する」方式である。独立性を仮定すると、サンプルごとの出力のばらつきは同じ分布に従い、統計量は理論的に扱いやすくなる。
一方、条件付き抽出では、たとえば一定の割合で各クラスを出すように全体を調整する、あるいは制約（出力数の合計、順位の整合）を満たすようにサンプルすることがある。この場合、出力間の依存関係が生じ、単純な期待値計算の仮定が破れる可能性がある。ベースラインとしては、どの依存構造を採用したかを明記することが望ましい。
2.3 回帰と分類での違い
2.3.1 回帰向けのランダム出力
回帰では、数値を出力するため、乱数の分布設計が性能を大きく左右する。たとえば目的変数 \(y\) の平均と分散を使った正規分布 \( \mathcal{N}(\mu,\sigma^2)\) からサンプルする方法が考えられる。このとき、予測は入力に無関係であっても、分布の中心や散らばりが適切であれば、ある種の損失指標では比較的良好に見えることがある。
ただし、損失がどの形か（平均二乗誤差、絶対誤差、対数尤度など）により最適なランダム分布が異なる。よって回帰向けランダム予測は、分布と損失の整合を意識して設計しないと、基準として解釈が難しくなる。
2.3.2 分類向けのランダムラベル出力
分類ではラベル選択が中心となるが、確率付き出力として扱う場合もある。例えば「ラベルを選ぶ」だけでなく「各クラス確率ベクトルを出力する」形式では、確率分布をどのように生成するかが鍵になる。クラス事前確率に基づき確率ベクトルを一定にするのか、サンプルしたラベルに応じて確率を変えるのかで、対数損失などの評価値が変わる。
さらに、トップ1のみ評価する指標（正答率）と、確率の質まで見る指標（対数損失等）の違いに注意が必要である。ランダムであっても、確率の割り当て方法は「どの情報を仮定しているか」を反映するため、比較の前提を揃えることが望ましい。
3 評価と統計的解釈
3.1 評価指標との関係
3.1.1 正答率・正解率
正答率（精度）は、各サンプルで予測ラベルが正解かどうかを数え、割合として算出される。ランダム予測では、期待正答率はクラス分布と選択規則で決まる。たとえば一様ランダムでクラス数が \(K\) の場合、期待正答率はおおむね \(1/K\) になる。
クラス事前確率ベースのランダム予測では、期待値は「正解クラスの事前確率の取り方」に依存する。現実の不均衡により、単純な比較では「改善した」のか「基準が適切に現実を反映している」のかが混同されることがあるため、別途期待値の導出やベースライン同士の比較で解釈を整えることが推奨される。
1.3 損失関数（例：対数損失）
（注）目次表記に従い見出し番号は保持する。
損失関数では、確率の割り当てが直接評価に反映されるため、ランダム予測でも確率生成の設計が性能を左右する。対数損失（対数損失、対数損失関数として一般に扱われる形式）では、正解クラスに対して高い確率が割り当てられているほど損失が小さくなる。ランダムが一様に近いほど、正解ラベルに割り当てる確率の平均が一定になり、期待損失が決まる。
また、損失の期待値は「出力確率と真のラベル分布のズレ」によって定まりやすい。ランダム予測を基準として用いる場合、指標が確率の質をどの程度重視するかを把握しておかないと、正答率と損失の関係が直感と異なることがある。
3.2 ランダム予測の期待値
3.2.1 期待性能とばらつき
ランダム予測の評価値は、理論上の期待値（平均）と、有限サンプルに起因するばらつき（分散）で捉えるのが基本である。期待値が同じでも、データ数が少ないと観測される性能が大きく振れる。特に確率抽出を伴う基準では、個々のサンプルに対する偶然の割当が影響するため、同一設計でも結果にブレが生じる。
評価値を比較する際には、平均だけでなく、複数回の乱数実行（複数シード）や信頼区間を用いて、違いが偶然を超えるかを確認することが実務上有効である。
3.2.2 サンプルサイズの影響
サンプル数が増えると、評価値のブレは概ね小さくなる。正答率のように二値の正誤を集計する場合、比率の推定誤差はデータ量に反比例する傾向を持つ。一方で、損失関数は分布に依存するため、外れ値や確率割当の極端さが尾の振る舞いに影響しうる。
このため、少数データの検証では「モデルが良い」か「偶然に基準を下回った」かの切り分けが難しくなる。サンプルサイズに応じて比較の頑健性を設計する必要がある。
3.3 偽の改善を避ける考え方
3.3.1 データ漏えいのない検証
ランダム予測が基準として機能するには、評価に入る前に情報が混ざっていないことが前提である。たとえばクラス事前確率を検証データの頻度から計算すると、基準側が検証ラベルの統計を参照してしまい、妥当な比較にならない可能性がある。学習と評価の分離が保たれているか、ベースライン作成に使った統計の出所が適切かを確認することが重要である。
また、前処理（標準化、欠損補完など）が教師データに依存していないかも同様である。ランダム予測自体は単純でも、実験パイプライン全体でリークが起きると、結果の解釈は崩れる。
3.3.2 ランダム性の誤解（見かけの相関）
ランダム出力は入力との独立性を意図するが、実験設計が不適切だと見かけの相関が生じることがある。例えば、データの順序、集計単位、層化の仕方が原因で、乱数が特定のサブセットに有利な結果をもたらすように見える場合がある。
対策として、評価は層（クラス、群、日時など）を考慮した分割で行い、比較対象も同一分割に置くことが望ましい。さらに、複数シードでの再実行により、特定の乱数列に依存しない結論を確認できる。
4 実務での使いどころ
4.1 ベースライン設定の手順
ランダム予測を基準にする際は、まず目的（比較の仮説）を明確化する。次に、出力の型（ラベルか確率ベクトルか、連続値か）を決め、生成分布を定義する。分類なら一様か事前確率か、回帰なら平均・分散や分布族をどう置くかが該当する。
最後に、生成時の乱数条件（シード、独立抽出か、全体制約付きか）と、評価計算（損失か精度か）を固定する。これらを揃えて初めて、他のモデルとの比較が「設計の差」に帰せられる。
4.2 実験計画（比較の設計）
比較設計では、ランダム予測を「最低限の基準」として置き、学習モデルの改善量を読み取りやすくする。一般に、同じデータ分割、同じ評価指標、同じ前処理手順を共有し、基準側だけが確率生成規則の違いに限定されるようにする。
加えて、複数回の乱数実行で基準の分布を把握し、モデル性能との差がどの程度の確度で有意といえるかを検討する。必要に応じて、統計的検定や信頼区間の提示を計画に含めると、説明可能性が高まる。
4.3 よくある落とし穴
4.3.1 不均衡データでの評価ミス
不均衡が大きい場合、正答率だけでは状況を誤認しやすい。ランダム基準が事前確率に従うなら、頻出クラスをそれなりに当てるため、精度が見かけ上高くなることがある。その結果、「改善した」と判断したが、実際には指標の選び方が不適切であったというケースが起きる。
このため、追加の指標（適合率、再現率、F値など）や、層別評価を導入し、基準の解釈を補うことが重要である。
4.3.2 乱数設定と再現性の欠如
乱数の種を固定しないまま単発の結果だけを報告すると、偶然の上下が結論に混ざりやすい。さらに、乱数生成器の実装差やバージョン変更で挙動が変わることもある。
対策として、シードの固定、複数シードでの平均と分散の報告、実験の完全な設定情報（ライブラリ、設定ファイル、実行条件）を記録することが求められる。
4.4 改善との対比（ランダムを超える意味）
ランダム予測を超える改善は、「入力と出力に関係が存在する」こと、あるいは「モデルがその関係を捉える能力を持つ」ことを示す手掛かりになる。ただし、改善が統計的に偶然か、実装やデータの偏りに起因するものかを判断するには、基準設計と検証の厳密さが不可欠である。
また、どの指標で改善しているかが意味を変える。精度のみが上がっても確率品質が伴わない場合、確率ベースの意思決定では価値が小さいことがある。逆に、損失が下がっていてもトップ1の一致率が伸びないことも起こり得る。したがって、ランダム予測との対比は「何が改善されたか」を指標ごとに読み分ける作業として位置づけるべきである。