1 統計的検定の基本
1.1 仮説の枠組み
1.1.1 帰無仮説と対立仮説
統計的検定では、ある主張を直接に確かめるのではなく、その否定側に当たる仮説を基準として設定する。これが帰無仮説であり、例えば「平均に差はない」「効果はゼロ」「群間に独立性が成り立つ」といった形になる。これに対して、帰無仮説を否定したい方向の主張を対立仮説として置く。両者の関係は排反かつ合成の有無を含めて設計され、以後の手続き（棄却の判定基準や確率計算）の前提になる。
1.1.2 片側検定と両側検定
検定の設計では、対立仮説をどの方向に絞るかが重要になる。片側検定は「ある方向にだけ差や効果がある」を扱い、両側検定は「差はどちらの方向でもよい」とする。たとえば平均が増える可能性だけを問うのか、減る可能性も含めるのかで棄却域の位置が変わり、得られるp値や有意性の判断も変わり得る。対立仮説の向きを事後に都合よく動かすと解釈が崩れるため、設計段階での明確化が求められる。
1.1.3 棄却・採択の考え方
検定の手続きは通常「帰無仮説を棄却する／しない」の二択であり、棄却しないことは帰無仮説が真であることの証明ではない。統計的には、限られた標本情報しかないため、観測結果が帰無仮説の下で起こり得るかどうかを基準に判定するからである。これに対し「採択」という言い方は誤解を招きやすい。実務では、棄却の可否と、その判断に至った前提（検定の種類、設定した仮説、条件）をセットで説明するのが一般的である。
1.2 検定の意思決定指標
1.2.1 有意水準（有意確率）
有意水準は、帰無仮説が真である状況を想定したときに、棄却してしまう確率の上限として定められる。記号で表されることが多く、慣習的に0.05や0.01などが用いられる場合があるが、値の選択は目的とリスクの性質に左右される。数理的には「棄却域に入る確率」を管理する役割を持ち、以後の臨界値や有意判定の基準を決める中心的なパラメータになる。
1.2.2 p値の解釈
p値は、帰無仮説が正しいと仮定したときに、観測された統計量の値（またはそれ以上に極端な値）が得られる確率として定義される。重要なのは、p値が「帰無仮説が真である確率」ではない点である。p値はデータと仮定（帰無仮説、分布の仮定、検定統計量の定義）に条件付けられた量として理解されるべきである。したがって、p値が小さいほど帰無仮説の下で当該データが不自然であることを示し、有意水準と比較して棄却の可否を決める材料になる。
1.2.3 臨界値と棄却域
臨界値は、棄却域の境界を与える値であり、検定統計量の理論分布に基づいて決められる。棄却域とは、臨界値を超えた場合に帰無仮説を棄却する領域である。片側検定では片側に、両側検定では両側に棄却域が設定されるのが一般的である。ここでの要点は、臨界値が「有意水準を満たす」ように設計されており、結果として有意判定のルールが定まることである。
1.3 誤りの種類
1.3.1 第一種の誤り（偽陽性）
第一種の誤りは、帰無仮説が真であるにもかかわらず棄却してしまうことに対応する。これは上で述べた有意水準によって確率的に制御されるのが基本であり、対外的に「誤って異常と判断してしまう確率」と捉えることができる。研究の影響（誤った効果の採用がもたらす損失）が大きい場合には、第一種の誤りの確率を抑える設計が重視される。
1.3.2 第二種の誤り（偽陰性）
第二種の誤りは、帰無仮説が真ではない（すなわち実際には効果があるなど）にもかかわらず棄却しないことである。これは「見逃し」に相当し、第一種の誤りとは独立に決められるわけではない。現実には、標本サイズやばらつき、効果量の大きさが変わると第二種の誤りの確率も変化するため、検出のしやすさを高める設計が必要になる。
1.3.3 検出力とその意味
検出力は、対立仮説側の状況（具体的には「ある効果が存在する」条件）で帰無仮説を棄却できる確率として定義される。言い換えると第二種の誤りの補集合に当たり、「適切に異常を検出できる確率」として理解できる。検出力は検定の設計、有意水準、データの分散、サンプルサイズ、効果量の仮定によって変わる。したがって、検出力を事前に評価することは、研究計画の妥当性を確かめる上で重要になる。
2 検定の理論的基礎
2.1 検定統計量と分布
2.1.1 検定統計量の役割
検定統計量は、観測データから計算される数値であり、棄却域を判定するための基準になる。目的は、帰無仮説の下では小さい値になりやすく、対立仮説の下では大きく（あるいは別の方向に）なりやすいように設計する点にある。適切な検定統計量を選ぶことは、検出力に直結するため理論面でも実務面でも中心的な論点となる。
1仮定下での分布（理論分布）
帰無仮説の下で検定統計量が従う分布が理論的に導かれる場合がある。これにより臨界値やp値が計算可能になる。分布が既知であれば、検定の誤り確率を理想化した条件下で管理できる。実データでは分布の仮定が近似的に成り立つかどうかが問題になり、後のセクションで取り上げる適用範囲や前提確認につながる。
2.1.2 正規近似・漸近性
理論分布が複雑である場合や厳密導出が難しい場合には、標本サイズが十分大きいという条件の下での近似が用いられる。中心極限定理などに基づく正規近似や、漸近的な分布収束により、検定統計量の挙動を近似できる。これにより計算が可能になる一方、標本が小さいと近似精度が落ちることもあるため、適用時の妥当性評価が重要になる。
2.1.3 近似誤差の扱い
近似により得られるp値や臨界値には誤差が含まれる。近似誤差の評価は、形式的には精度保証（誤差の上界や収束速度）や、経験的にはシミュレーションによる確認などで行われることがある。近似が適切でないと、有意水準からのずれが生じ、誤判定の確率が意図した値から逸脱する可能性がある。従って、近似法を使う検定では前提と性能の整合を取ることが不可欠である。
2.2 検定の設計原理
2.2.1 有意水準一定の方針
多くの検定は、有意水準を固定し、その範囲で最も棄却されやすい（すなわち検出力が高い）設計を目指す。これは第一種の誤りの確率を一定に保つという考え方であり、目的に応じて有意水準値自体を選び直すことはあり得るが、決定ルールの一貫性が重要になる。理論上は「有意水準一定」の制約下で最適化を行う枠組みが整備されている。
2.2.2 最尤法・尤度比検定の考え方
尤度に基づく検定は、仮説それぞれで計算される尤度（観測データがそのモデルで起きやすい度合い）を比較する。とくに尤度比検定は、帰無仮説に従う最尤推定と、それを自由度のある形で拡張した場合の尤度の比を利用する。対立仮説がどのような形で入るかに応じて統計量の構成が変わるが、「どちらのモデルがデータをよりよく説明するか」という発想を数理に落とし込んでいる点が特徴である。
2.2.3 一様最強検定などの概念
検定設計の理論では、特定のクラスの状況に対して常に検出力が高い検定を探す発想がある。そこで使われるのが一様最強という概念で、ある対立仮説の範囲で他の検定よりも棄却確率が常に高い（少なくとも同等である）ことを意味する。もっとも、現実の多くの設定ではそのような強い最適性が成立しない場合もあり、そこで目的関数や許容誤差、あるいは近似的最適性という考え方が現れる。概念理解は、適切な手法選択の限界を見極める助けになる。
2.3 多重検定との関連（概要）
2.3.1 複数比較の問題設定
複数の仮説を同時に検定すると、どれか一つを誤って棄却する確率が上がりやすい。個別には有意水準を満たしていても、検定回数が増えるほど全体としての誤判定リスクが増えるからである。これを複数比較問題と呼び、研究計画や実務解析で無視すると過剰な「有意」報告につながる。
2.3.2 補正の基本方針
多重検定では、全体の誤り率を抑える目的で補正が行われる。具体的には、個々の検定の基準を厳しくする方法や、偽発見の期待割合を抑える枠組みなどがある。どの指標（家族内誤差率、偽発見率など）を抑えるかで結果が変わるため、研究の優先順位に応じた方針選択が必要になる。ここでは体系の概略に留め、詳細は個別の手法解説に委ねる。
3 よく用いられる検定手法
3.1 平均の検定
3.1.1 一標本t検定
一標本t検定は、ある集団の平均が特定の値と等しいかを調べるために用いられる。母分散が未知であることを考慮し、標本から得たばらつきの推定を用いて検定統計量を構成するのが特徴である。正規性や独立性などの前提が成り立つ範囲で、帰無仮説の下のt分布に基づいてp値を算出できる。
3.1.2 二標本t検定
二標本t検定は、二つの独立な群の平均が等しいかを検討する手続きである。群間のばらつきの扱い方により、分散を等しいとみなす設計と、別々に推定する設計が使い分けられる。標本が独立であることや、分布の仮定が概ね妥当であることが結果の解釈に影響する。
3.1.3 対応のあるt検定
対応のあるt検定は、同一対象を時点や条件だけ変えて測定するなど、観測に対応関係がある場合に用いる。差分を計算して一標本の形に落とし込むため、独立な二群比較とは前提が異なる。個体差が差分で相殺される設計である点が利点になり得るが、差分の分布に関する仮定の妥当性が重要になる。
3.2 分散・比率の検定
3.2.1 分散に関する検定（概要）
分散の検定は、ばらつきの大きさが特定の値に等しいか、あるいは群間で異なるかを評価する。代表例としては、正規分布を仮定したときに分散比が既知の分布に従うという枠組みがある。分散は外れ値や分布の歪みの影響を受けやすいため、検定前にデータの質や前提を確認する必要がある。
3.2.2 比率の差の検定（概要）
比率の差の検定は、成功/失敗のような二値結果に対して、割合が群間で異なるかを調べる。サンプルサイズが大きい場合には正規近似を使って検定統計量を構成することが多い。少数データでは近似精度が落ちることがあるため、適切な方法選択や条件確認が必要になる。
3.3 分割表と関連検定
3.3.1 カイ二乗検定（独立性など）
カイ二乗検定は、分割表（カテゴリ×カテゴリ）の度数を用いて、独立性や適合度などを検定する枠組みである。期待度数と観測度数の乖離の程度を統計量にまとめ、帰無仮説の下でカイ二乗分布による近似から判定する。期待度数が小さいと近似が不安定になるため、前処理や別手法の検討が必要になることがある。
3.3.2 フィッシャーの正確確率検定（概要）
フィッシャーの正確確率検定は、分割表の度数が与えられた条件下での確率を直接用い、特に2×2の表で利用されることが多い。カイ二乗近似に頼らないため、小標本でも理論的に妥当な判定が得やすい利点がある。検定の計算は条件付けにより組み合わせ計算を必要とするが、対象が小さい場合には実行可能である。
3.4 ノンパラメトリック検定
3.4.1 ウィルコクソン検定（概要）
ウィルコクソン検定は、対応の有無や比較対象に応じた形で用いられ、順位情報に基づく検定として位置づけられる。正規性などの強い分布仮定を置きにくい場合に選択されることがある。元の尺度に対する具体的な分布モデルを前提にしないぶん、外れ値や歪みの影響を相対的に受けにくいことがある。
3.4.2 クラスカル・ウォリス検定（概要）
クラスカル・ウォリス検定は、複数群の位置（中心傾向）に差があるかを、順位の考え方で評価する手続きである。対応のない複数群比較で使われることが多い。帰無仮説の下では順位の分布が群に依存しないという考え方に基づき、検定統計量を構成するため、分布形の仮定を弱められる。
3.4.3 順序統計に基づく考え方
ノンパラメトリック手法の共通点として、観測値の大小関係を順位に変換し、その情報を利用する点が挙げられる。順位はスケール変換に頑健であり、分布の尾の形状や分散の影響を受けにくい場合がある。その反面、情報量が減りやすく、真に正規性などの仮定が正しい場合には、パラメトリック検定よりも効率が落ちることがある。
4 検定の実践
4.1 前提条件と適用範囲
4.1.1 独立性の確認
多くの検定は観測間の独立性を前提にする。独立でない場合、標準誤差の評価が崩れたり、検定統計量の分布が理論通りにならない可能性がある。時系列や階層構造を含むデータでは特に注意が必要であり、必要に応じてモデル化や再サンプリングの工夫が求められる。
4.1.2 分布仮定の妥当性
正規性や対称性などの仮定が明示される場合には、残差の分布、歪度や尖度、ヒストグラム、Q-Q図などで妥当性を点検する。完全一致を期待するよりも、検定統計量に対して仮定がどの程度の影響を与えるかを見積もる姿勢が実務的である。仮定が強いほど、違反時の挙動も読みづらくなる。
4.1.3 外れ値とロバスト性
外れ値は平均や分散の推定を歪め、結果として棄却判定に影響を与える。頑健性を高めるための方法として、データの品質確認、変換、ロバストな推定量の導入、順位ベースの検定への切替などが考えられる。どの対応が適切かは目的やデータ生成過程に依存するため、単にp値の変化だけで判断しないことが重要になる。
4.2 効果量と推定との関係
4.2.1 p値と効果量の違い
p値は帰無仮説の下での「極端さ」を測る指標であり、効果の大きさそのものを直接表すものではない。たとえばサンプルが大きいと小さな差でもp値が小さくなり得る一方、サンプルが小さいと大きな効果でも有意にならないことがある。効果量は実際の差のスケール（どれほどの大きさで意味があるか）を捉えるもので、意思決定では両者を切り分けて解釈する必要がある。
4.2.2 信頼区間の役割
信頼区間は、あるパラメータ（平均差、比率差など）が取り得る範囲を、データと前提に基づいて提示する。一般に、対応する検定で棄却されない領域（または境界）と関係があるため、推定の観点から解釈の補助になる。幅が広い場合は不確実性が大きいことを意味し、追加データの必要性を示唆する材料になる。
4.2.3 推定に基づく解釈
検定は「有意か否か」を強調しがちだが、実務では推定値や不確実性（区間の幅）と併せて解釈する方が意思決定に結びつきやすい。たとえば「差が統計的に有意」でも、効果量が実用上小さければ意思決定上は採用しない場合がある。逆に有意でなくても区間が実用的に大きい効果を十分否定できない場合には、追加研究の優先順位が変わる。
4.3 実務での落とし穴
4.3.1 検定のやり直し（データ見てからの設計）
データを見た後に検定の形や閾値、有意水準の扱いを変えると、前提に基づく誤判定確率の管理が崩れる。いわゆる恣意的な修正は、見かけ上の有意性を過大にしやすい。これを避けるためには、事前に分析計画を定め、探索的解析と確認的解析を区別する運用が望ましい。
4.3.2 片側・両側の恣意性
片側と両側の選択は、同じデータでも判定が変わり得る。事後に都合のよい方向へ寄せると、実際以上に「検出できた」ように見せる危険がある。対立仮説の方向性は理論や実験設計に基づいて定めるべきであり、そこから逸脱しないことが信頼性の確保につながる。
4.3.3 サンプルサイズと検出力の設計
サンプルサイズは検出力に強く影響する。十分でない設計では第二種の誤りが増え、重要な差を見逃すリスクが高まる。逆に過大な規模では、実用上は微小な差が統計的に目立つ可能性がある。研究の目的（探索か検証か、意思決定上の最小関心効果）に基づき、検出力を目標にした計画を行うことが実務的である。
4.4 レポートの書き方
4.4.1 使用した検定名・統計量・自由度
レポートでは、どの検定を使ったかを明示し、検定統計量の定義と自由度（該当する場合）も記載する。これにより第三者が同じデータから再計算できるか、あるいは前提がどこまで妥当かを評価しやすくなる。検定名だけでなく、手続きの細部（対応の有無、分散の仮定など）が重要になる。
4.4.2 p値、効果量、信頼区間の提示
p値に加えて効果量と信頼区間を提示すると、統計的判断と実質的意味の双方を読者が評価できる。効果量は差や関連の大きさを示し、信頼区間はその不確実性を伝える。最小限として、これら三者（p値・効果量・区間）を揃えることで、単なる「有意でした」という報告から一歩進んだ解釈が可能になる。
4.4.3 結論文の安全な表現方法
結論文は、棄却されたかどうかと、効果の方向や規模を区別して書くのが安全である。たとえば「差があると証明した」という断定は通常の検定の射程を超えやすい。代わりに「帰無仮説が棄却された」「観測された効果は～程度で、不確実性を伴う」といった表現が、誤解を減らす。特に因果を直接言う必要がない場合は、関連や整合性の表現に留めることで論点のすり替えを防げる。