1 仮説検定の基本
1.1 仮説の考え方
1.1.1 帰無仮説と対立仮説
仮説検定では、まず「帰無仮説（H0）」と「対立仮説（H1）」を対にして設定する。帰無仮説は、対象に差や効果がない、あるいは特定の数値・性質が成り立つ、という形で置かれることが多い。一方、対立仮説はそれを否定する方向、または効果や相違が存在することを表す。 検定の目的は「H0が真であるか」を直接決めることではなく、観測されたデータが、H0の下でどれほど起こりにくいかを基準に判断する点に特徴がある。判断は、統計モデルと前提（独立性、分布形など）を通じてデータの確率構造を定めた上で行う。
1.1.2 一般的な主張の形（母数・分布・独立性など）
主張は、母数に関するもの、分布の形に関するもの、独立性や関連の有無に関するものなど、いくつかの類型に整理できる。母数の例としては平均が特定値に等しい、分散が一定である、回帰係数がゼロである、といった形式が挙げられる。分布の形としては正規性の仮定が妥当か、あるいは分布の位置・尺度が変化したか等が検討対象となる。 また独立性や関連の有無は、カテゴリーデータでの関連、連続変数同士の相関がゼロか、などの形で表現される。どの類型であっても、対立仮説を「何が変わったら棄却するか」という設計に落とし込めるように、パラメータや性質を明確に文章化することが重要である。
1.2 検定統計量と意思決定
1.2.1 検定統計量の役割
検定統計量は、観測データから計算される数値であり、帰無仮説の下でどのような分布をとるかが理論的に扱われる。典型的には、母数の想定値からのずれの大きさ、グループ間の差、観測された頻度のずれ、といった量が選ばれる。統計量の選択は、モデルの前提（正規性、等分散、分布族など）と整合している必要がある。 検定の「強さ」は、同じ検定統計量を用いる場合でも、代替となる仮説（対立側）で統計量がどれだけ大きく変化するかに依存する。したがって実務では、理論的妥当性と実装可能性を踏まえて統計量を選び、必要に応じてロバストな手法へ置き換える判断が行われる。
1.2.2 臨界値・棄却域の考え方
意思決定は、検定統計量の値が「棄却域」に入るかどうかで行う。棄却域は、帰無仮説が成り立つ世界では、統計量がある範囲に入る確率があらかじめ小さくなるように定められる。境界となる値が臨界値である。 有意水準をαとすると、通常は「帰無仮説が正しいのに棄却してしまう確率（第一種の誤り）」がαに一致するように臨界値を調整する。片側検定では片側の尾を用いるのに対し、両側検定では両側の尾を考えるため、棄却域の形が異なる。要点は、観測値がどれほど「H0のもとでは説明しにくいか」を数値化した上で、あらかじめ定めた基準と照合することにある。
1.3 誤りと確率
1.3.1 第一種の誤り（有意水準）
第一種の誤りは、帰無仮説が真であるにもかかわらず、それを棄却してしまうことを指す。この頻度的な意味は「長期にわたって同じ手続きを繰り返したとき、棄却してしまう割合がどれほどになるか」という観点で理解される。有意水準αは、この誤り確率に相当する。 重要なのは、有意水準が「その一回の確率」を意味するのではなく、規定した手続きの性質としての誤り率を表す点である。αを小さくすると第一種の誤りは減るが、その反面で第二種の誤りが増えやすくなり、検出の難しさが高まることがある。
1.3.2 第二種の誤りと検出力
第二種の誤りは、帰無仮説が偽であるにもかかわらず、棄却できないことを指す。第二種の誤り率は、対立がどの程度強いか（効果量）と、サンプルサイズ、ばらつきなどによって決まる。これに対応して、検出力（power）は「真に差や効果があるときに、棄却できる確率」として定義される。 検出力を高めるには、効果量を大きくする（現象がよりはっきり現れる設計をする）、データのばらつきを小さくする、観測数を増やす、あるいは統計量や検定の選択を目的に適合させる、といった方策が一般に検討される。結果として、同じαでも得られる判断の質が変わるため、検定だけでなく研究設計全体の見直しが重要になる。
2 検定の手順
2.1 仮説設定から結論まで
2.1.1 仮説・仮定・前提条件の明確化
最初に行うべきは、H0とH1を明確にし、併せて検定が依拠する前提条件を列挙することである。検定ごとに仮定（母集団の分布、分散の等質性、独立性、観測の生成過程など）の要求水準が異なる。前提が満たされない場合、理論的な分布に基づく推論が崩れるため、結果の解釈は慎重さを要する。 この段階で、除外基準、欠測の扱い、観測単位（どれを独立とみなすか）も整理しておくと、後工程での矛盾が減る。良い実務では、検定の計算方法だけでなく「なぜその検定が選べるのか」を説明できる形にしておく。
2.1.2 データ収集と前処理
データ収集は、検定の前提を満たすように設計する必要がある。例えばランダム化が可能か、測定の再現性はどうか、計測誤差や検出限界の影響はどう扱うか、といった点が結果に直結する。前処理では、欠測値の処理、外れ値の扱い、変数の変換（必要なら対数化など）、カテゴリ化の基準などが問題になる。 前処理の変更は、統計的特性を変え得るため、事後的な調整にならないよう方針を決め、説明可能な手順として記録することが望ましい。
2.1.3 有意水準の設定
有意水準αは、棄却域の設定に直結し、誤りの取り扱い方針を決める。研究の目的により、第一種の誤りを強く抑えたいのか、あるいは見逃し（第二種）を減らしたいのかが変わり得る。結果としてαの選択は、単なる計算上の係数ではなく、意思決定の優先順位を反映する。 一般的な慣行としてα=0.05が用いられることが多いが、前提条件の妥当性や複数検定の有無、研究分野の慣習も踏まえ、設定理由を明示することが望ましい。
2.1.4 検定の実行とp値の解釈
検定を実行し、p値を算出する。p値は「帰無仮説が真だと仮定した場合に、観測された結果以上に極端なことが起こる確率」として定義される。値が小さいほど、H0の下ではそのデータが起こりにくいと解釈される。 ただしp値そのものは、効果が存在する確率、あるいはH0が真である確率を直接表すものではない。解釈を誤ると、結論の意味がずれるため、「棄却基準（α）との比較」という目的に沿って読解する必要がある。実務では、p値だけでなく検定統計量や自由度、前提条件の評価も併記し、説明可能性を高める。
2.1.5 結果の報告（統計量・自由度・p値・結論）
報告では、統計量の値、自由度(該当する場合)、p値、用いた検定の種類、前提に関する要点を含める。結論は「有意である／ない」といった二値表現に留めず、方向性（差の向き、効果の方向）や規模の情報を併記するのが望ましい。 また、どの仮説を棄却したのか、あるいは棄却しなかったのかを明確化し、対応する文脈（研究目的との関係）で述べる。統計的有意性は意思決定の一要素であり、実用上の意味を別途評価できるような書き方が求められる。
2.2 p値と信頼区間の関係
2.2.1 p値の意味と誤解されやすい点
p値は「帰無仮説の下でのデータの稀らしさ」を表す指標であり、仮説の真偽そのものを確率的に言い当てるものではない。誤解として、p値が小さいほど対立仮説が真である確率が高いと直結させる読み方がある。これは解釈の枠組みが異なるため不適切である。 さらに「p値が0.049なら根本的に確実」という見方も誤りになりやすい。有意水準の境界での分類は手続き上の整理に過ぎず、データのばらつきや効果量の不確実性は別途評価が必要である。
2.2.2 信頼区間からの示唆
信頼区間は、パラメータの値が取り得る範囲を、確率的ではなく推論手続きの性質として示す。たとえば95%信頼区間は、繰り返しサンプリングの文脈で「区間が真の値を覆う割合が高い」ことを意味する。p値と対応関係を持つ場合があるが、読み取りは同じではない。 信頼区間は、推定量の方向性と不確実性の幅を視覚化できるため、実用的な解釈に役立つことが多い。区間がある基準値を含まないかどうかは、検定の棄却と関連するが、効果の大きさや精度の情報は区間の幅から直接汲み取れる。
2.3 多重検定の基本
2.3.1 繰り返し検定に伴う問題
複数の仮説に同時に検定を行うと、少なくとも一つは偶然に有意になってしまう確率が上昇する。これは検定を独立に行っても、誤り率が「家族単位」で増大するためである。単一検定の有意水準αをそのまま適用すると、全体の第一種誤りの頻度が意図より大きくなる。 この問題は、研究で変数が多い場合、サブグループ分析が多い場合、探索的解析から確認的解析へ移行する過程で典型化する。したがって「何を家族として扱うか」「目標とする誤りの種類」を定める必要がある。
2.3.2 補正の考え方（概要）
多重検定の補正にはいくつかの代表的発想がある。第一に、家族全体の第一種誤り率を一定に保つ方法（ファミリーワイズ制御）がある。第二に、より厳密には期待される誤検出の割合を抑える考え方（偽発見率の制御）もある。 補正手法は、検出力と制御の厳しさのトレードオフを持つ。探索領域では過度に厳格にすると候補が失われる恐れがあるため、目的（探索か確認か）に応じて方針を選ぶことが重要である。また、補正前後の解釈枠組みを報告することで、読者が適切に理解できるようにする。
3 検定の種類
3.1 平均に関する検定
3.1.1 t検定（対応あり・なし）
t検定は平均の差を扱う代表的手法であり、データの構造に応じて対応ありと対応なしに分かれる。対応あり（対応のある設計）では同一対象の前後比較など、個体内の対応関係を前提に差を評価する。対応なし（独立な二群比較）ではグループ間の独立性を仮定して平均差を検討する。 t検定では、分散の推定方法や自由度の扱いが前提によって異なり、どの変種を採用するかは設計の条件に依存する。結果の解釈では、有意性だけでなく差の推定値とばらつきの大きさ（信頼区間など）を併せて述べると理解が進む。
3.1.2 z検定と条件（概念的整理）
z検定は、正規分布に基づく推論として説明されることが多い。中心的な違いは、母標準偏差が既知、あるいは標本からの推定の影響が小さいとみなせる条件が成り立つかどうかである。実務では母分散が未知の場合が一般的であり、その場合はt検定が選ばれることが多い。 ただし、十分大きいサンプルにより近似が成立する場合には、zに近い扱いで議論できることがある。どの近似が適用できるかは、サンプルサイズや分布の条件に左右されるため、根拠を明示することが重要になる。
3.1.3 分散・分布の仮定との関係
平均に関する検定は、分布の仮定や分散の扱いに敏感である。正規性が完全に成り立たない場合でも、標本数が大きければ漸近的な近似で頑健性が改善することがある一方、小標本では歪みの影響が強くなる。等分散性（両群でばらつきが同程度）も、対応なしの差の検定では重要な要件となることがある。 仮定が疑わしい場合には、分散の扱いを調整した変種を選ぶ、あるいはノンパラメトリックな枠組みに切り替えるなどの選択肢がある。最終的な推論は、仮定の整合性評価と手法選択を合わせて判断する必要がある。
3.2 比率・カテゴリーデータの検定
3.2.1 カイ二乗検定の考え方
カイ二乗検定は、カテゴリごとの観測度数と、帰無仮説が示す期待度数との差を基に判断する。期待度数に対するずれを合計し、その大きさが大きいほど棄却しやすくなる。カテゴリへの分類が適切であること、そして期待度数が十分に大きい範囲で近似が成立することが実務上の条件となる。 また、データが小さい場合は近似の精度が落ちるため、別の手法（厳密検定に類する方法など）を検討する余地がある。結果報告では、自由度や検定統計量の値、度数表の概略が役立つことが多い。
3.2.2 独立性と適合度の枠組み
カイ二乗系の検定は、主に適合度検定と独立性検定として整理できる。適合度検定は、単一のカテゴリ分布が特定の理論分布と一致するかどうかを見たい場面で用いる。独立性検定は、二つのカテゴリ変数（例：属性と選好）の間に関連があるかを問う。 枠組みを取り違えると解釈が変わるため、何を基準として期待度数を作っているかを明確にすることが重要である。独立性の検定では、周辺分布が観測から与えられ、そのうえで同時分布が独立になるときの期待度数を作るのが一般的である。
3.3 ノンパラメトリック検定
3.3.1 仮定の弱い検証の位置づけ
ノンパラメトリック検定は、分布の形に関する仮定を弱めた設計として用いられることが多い。平均や分散のような要約量に依存し過ぎず、順位や符号など相対的な情報を用いることで、極端な外れや歪んだ分布への耐性を高める狙いがある。 ただし、万能ではなく、検出力の面で不利になることもある。目的が「特定の分布型を前提に最も効率よく検出する」なのか、「前提が怪しい状況で頑健に方向性を探る」なのかを考えたうえで選択することが重要である。
3.3.2 順序データへの適用例（概念）
順序データ（オーディナル）では、数値の差の大きさよりも、順位や順序関係が意味を持つ場合がある。例えば満足度やランク付けなどでは、間隔が等しいとは限らない。こうした状況では、順位ベースの検定が概念的に適していることがある。 順序情報だけで検定を行うため、情報の損失が起こり得る一方で、誤った間隔仮定による歪みを避けられる。結果の解釈では、中央値の差や一般の平均差というより、分布の位置関係や傾向の違いとして読み取るのが自然である。
4 実験・研究での運用
4.1 設計段階の計画
4.1.1 サンプルサイズと検出力
サンプルサイズの設計は、検出力と直結する。小さなサンプルでは本当の効果が存在しても見逃しやすく、第二種の誤りが増える。逆に過剰に大きい場合はリソースが増えるだけでなく、統計的に有意になっても実用上の重要性が乏しいことがあり得る。 実務では、想定する効果量、ばらつき、許容する誤りの大きさをもとに、必要な規模を見積もる。検出力は「どの仮説の下で」どの程度を想定するかに依存するため、検討範囲を明確にした見積もりが望ましい。
4.1.2 事前登録・分析計画（概念）
事前登録や分析計画は、どの仮説をどう検定し、どの指標を主要アウトカムとするか、解析手順をいつでも再現可能な形で定める考え方に基づく。これにより、データを見た後に都合の良い方針へ変更することを抑え、恣意性の入り込みを減らす。 計画には、除外基準、欠測処理、変数の定義、主要な解析方法、必要な補正の方針などを含める。探索的解析と確認的解析を切り分け、どの結果が主要判断に用いられるのかを区別することが重要である。
4.1.3 盲検化やバイアス対策（一般論）
観測結果に影響し得るバイアスを減らすために、盲検化が利用されることがある。評価者が割り当てを知らない形にすることで、測定や解釈における無意識の偏りが減る。実験では割付の隠蔽やランダム化が用いられ、観察研究では交絡要因を扱う設計が検討される。 いずれにせよ、統計モデルの前提が崩れる原因を、可能な範囲で事前に除くことが、検定の妥当性に直結する。
4.2 モデル・前提の妥当性
4.2.1 独立性・正規性・等分散などの確認
検定の前提は、統計量の分布を正しく扱うための土台である。独立性は特に重要で、同一対象からの複数観測をそのまま独立と扱うと推論が過度に鋭くなることがある。正規性はt検定などで頻繁に問題となり、極端な歪みがある場合には適合が難しい。等分散性も、分散が大きく異なる場合に影響が出やすい。 確認は、グラフによる視覚評価、要約統計、検定や診断指標などを組み合わせて行うことが多い。ただし診断の結果が完全な保証を与えるわけではないため、頑健な代替案も準備しておくと実務上の安全性が高まる。
4.2.2 外れ値と頑健性（考え方）
外れ値は平均や分散を大きく揺らし、検定結果を変える要因になり得る。外れ値が測定誤差によるものか、現象の一部かで扱いが変わる。除外は慎重さが必要で、恣意的に行うとバイアスを生む恐れがある。 頑健性の観点では、外れ値に強い統計手法や、変換、ロバスト推定、順位ベースの検定などが選択肢となる。どの方針でも「なぜそうしたか」を説明できる記録が重要になる。
4.3 誤った結論を避ける
4.3.1 有意差と実用的な重要性
統計的な有意性は、データが偶然に説明されにくいという意味に限られることが多い。そのため、効果が統計的には検出されても、規模が小さく意思決定に影響しない場合がある。逆にサンプルが小さく統計的には有意でなくても、実用上は価値がある可能性もある。 実務では、効果量の大きさ、コストやリスク、対象者への影響などを合わせて判断することが必要である。検定の結果だけに依存すると、意思決定の質が下がり得る。
4.3.2 「有意＝効果あり」の誤解
「有意なら効果がある」と短絡するのは誤解になりやすい。第一に、統計的有意は検定手続きに依存しており、前提条件が崩れていると意味が変わる。第二に、偶然による第一種誤りの可能性が常に残る。さらに、効果の推定値は不確実であり、信頼区間や関連する指標で幅を確認する必要がある。 また「有意でない＝効果なし」という解釈も同様に危険である。検出力が十分でない場合、第二種の誤りによって見逃している可能性がある。したがって、検定結果は推定と設計の文脈で読むことが求められる。
4.4 結果の説明と再現性
4.4.1 レポートの標準化
結果の報告を標準化すると、比較可能性が上がり、誤解が減る。最低限、検定の種類、主要な仮説、統計量、自由度、p値、主要な推定値と不確実性（信頼区間など）、前提評価の要点を記載することが望ましい。さらに、複数検定を扱った場合は補正の方式と適用範囲を示す。 また、データの前処理や欠測処理が推論に与える影響を説明し、読み手が検証しやすい形式に整えることが重要である。標準化は、研究の透明性を高め、レビューや追試を促進する。
4.4.2 再現性の確保（データ・コードの扱い）
再現性には、同じデータと手続きから同じ結果が得られること、あるいは少なくとも結論に到達する再計算が可能であることが含まれる。実務では、データの共有が難しい場合でも、解析コード、前処理手順、乱数シード、パッケージのバージョン、解析パイプラインの要点を整備することが有効である。 また、データの更新や加工があった場合は版管理と説明が必要になる。再現性は単に「公開する」だけでなく、誰が追えるかを考えた運用として実施されるべきである。こうした整備は、統計的手法の妥当性を検証可能にし、学術的・実務的な信頼を支える。