1 統計の基礎
統計は、現実の事象から得られるデータを扱い、そこに含まれる傾向や規則性を読み取るための学問である。少数の観察結果から全体像を推し量る場面でも、集団の特徴を要約する場面でも用いられ、意思決定の基盤として広く機能する。
1.1 統計の定義
統計とは、データの収集、整理、要約、分析を通じて情報を解釈する方法体系を指す。単なる数値の集積ではなく、観測結果を比較可能な形に整え、背景にある関係を明らかにする点に特徴がある。
1.2 統計の役割
統計は、事実の把握、仮説の検討、将来の見通しの作成に役立つ。医療では治療効果の評価、経済では景気動向の確認、行政では政策の検証など、判断を支える道具として幅広く使われる。
1.3 統計と関連分野
統計は単独で完結する学問ではなく、他分野と密接に結びつく。理論面では数学に支えられ、応用面では情報処理や確率論と深く関わる。
1.3.1 確率との関係
確率は、偶然に左右される現象を数量化する枠組みであり、統計の推論を支える基礎となる。観測結果のばらつきを扱う際、確率の考え方が不可欠である。
1.3.2 数学との関係
統計は、代数、解析、線形代数などの数学的手法を多用する。数式による定式化によって、推定や検定の手順が明確になり、理論的な裏づけも与えられる。
1.3.3 情報科学との関係
情報科学は、大量データの処理、保存、検索、解析を可能にする技術基盤を提供する。現代の統計は計算機の発達によって大きく拡張され、複雑なモデルの運用も容易になった。
2 統計の種類
統計は目的に応じて、データの特徴を示す記述統計と、標本から母集団を推測する推測統計に大別される。さらに、事前知識を確率として組み込むベイズ統計も重要な枠組みである。
2.1 記述統計
記述統計は、観測されたデータを分かりやすくまとめるための手法群である。中心傾向や散らばりを示す指標を用いて、分布の概観を把握する。
2.1.1 平均
平均は、データ全体の水準を示す代表的な指標である。合計を個数で割って求められ、最も基本的な中心値として用いられる。
2.1.2 分散と標準偏差
分散は、各値が平均からどれだけ離れているかを表す尺度である。標準偏差は分散の平方根で、元の単位に近いため解釈しやすい。
2.1.3 中央値と中央値との差
中央値は、値を順に並べたときの中央に位置する数である。中央値との差は、中央値を基準にした差の分布を見やすくする補助的な考え方として使われる。
2.2 推測統計
推測統計は、標本データを手がかりに母集団の性質を推定する分野である。観測の一部から全体を論じるため、誤差や不確実性の扱いが重要になる。
2.2.1 母集団と標本
母集団は関心の対象となる全体、標本はその一部である。実際の調査では全数を扱えないことが多く、標本の代表性が結論の妥当性を左右する。
2.2.2 推定
推定は、標本から母集団の特性を数値として求める操作である。点で表す方法と区間で示す方法があり、後者は不確実性を併せて表現できる。
2.2.3 仮説検定
仮説検定は、データがある仮説と両立するかを調べる手法である。帰無仮説を基準に判断し、観測結果が偶然か否かを統計的に評価する。
2.3 ベイズ統計
ベイズ統計は、事前情報と観測データを組み合わせて結論を更新する考え方である。新しい情報が得られるたびに確率を改訂できるため、逐次的な判断に向く。
3 データの収集
統計分析の精度は、元となるデータの質に大きく左右される。調査、実験、標本抽出の設計が適切でなければ、後の解釈に偏りが生じやすい。
3.1 調査
調査は、対象に関する情報を体系的に集める方法である。質問票、聞き取り、現場観察など、目的に応じて手段を選ぶ。
3.1.1 アンケート調査
アンケート調査は、多数の対象から同じ形式で回答を集める方法である。短時間で広範な情報を得やすい一方、設問の設計が結果に強く影響する。
3.1.2 面接調査
面接調査は、調査者が対象者と直接対話して情報を得る方法である。回答の背景を深く把握しやすいが、時間と労力がかかる。
3.1.3 観察調査
観察調査は、対象の行動や状態を直接記録する手法である。本人の申告に頼らず事実を捉えられる反面、観察者の影響を受ける場合がある。
3.2 実験
実験は、条件を意図的に操作して結果の変化を調べる方法である。因果関係を見極めるために、比較可能な条件を整えることが重視される。
3.2.1 実験計画
実験計画は、条件設定、対象の割り付け、測定方法を事前に構成することである。設計が整っているほど、結論の信頼性が高まりやすい。
3.2.2 対照群
対照群は、処置を受けない、または基準条件に置かれた比較対象である。介入の効果を見分ける際の基準として機能する。
3.2.3 反復測定
反復測定は、同じ対象に対して複数回データを取る方法である。個体差を抑えやすい一方、測定順序や学習の影響に注意が必要である。
3.3 標本抽出
標本抽出は、母集団から調査対象を選び出す手続きである。偏りを抑え、全体を適切に代表する標本を得ることが目的となる。
3.3.1 無作為抽出
無作為抽出は、各要素が同じ確率で選ばれるようにする方法である。選択の偏りを軽減し、統計的推論の前提を整えやすい。
3.3.2 層化抽出
層化抽出は、母集団を性質の近い層に分け、それぞれから標本を取る方法である。重要な集団が少数でも、分析に反映しやすい利点がある。
3.3.3 系統抽出
系統抽出は、一覧から一定間隔ごとに対象を選ぶ方法である。実務では扱いやすいが、並び順に規則性があると偏りを生むことがある。
4 データの整理と表現
収集したデータは、そのままでは把握しにくいことが多い。集計や図表化によって、分布の形、中心、広がりを見やすくする。
4.1 度数分布
度数分布は、値がどの範囲にどれだけ集まっているかを示す整理法である。データの偏在や山の位置を捉えるのに有効である。
4.1.1 度数表
度数表は、各階級や値ごとの個数を一覧にした表である。分布の構造を簡潔に示し、比較の土台を作る。
4.1.2 ヒストグラム
ヒストグラムは、階級ごとの度数を棒で表した図である。分布の広がりや歪みを直感的に確認しやすい。
4.2 代表値
代表値は、データ群の中心的な位置を示す指標である。平均、中央値、最頻値はそれぞれ異なる性質を持ち、用途に応じて選ばれる。
4.2.1 平均値
平均値は、総和を個数で割った値である。全体の水準を要約するのに便利だが、極端な値の影響を受けやすい。
4.2.2 中央値
中央値は、順序に基づく代表値である。外れ値が混じる場合でも変動しにくく、偏った分布の要約に向く。
4.2.3 最頻値
最頻値は、最も多く現れる値を指す。離散データやカテゴリデータで特に有用であり、典型的な選択肢を示す際にも役立つ。
4.3 散布の指標
散布の指標は、データのばらつきを表す。中心だけでは見えない違いを把握するために欠かせない。
4.3.1 範囲
範囲は、最大値と最小値の差である。計算は容易だが、端の値に左右されやすい。
4.3.2 四分位範囲
四分位範囲は、中央50％のデータが占める幅を示す。極端値の影響を受けにくく、安定したばらつきの尺度となる。
4.3.3 分散
分散は、各値の平均からのずれを二乗して平均したものである。ばらつきを数量化する基本概念として広く利用される。
4.4 データ可視化
データ可視化は、数値を図に変えてパターンを理解しやすくする方法である。複数の傾向を同時に比較できる点が利点である。
4.4.1 折れ線グラフ
折れ線グラフは、時間変化や順序に沿った推移を示す図である。増減の流れを追いやすく、系列の比較にも適する。
4.4.2 散布図
散布図は、二つの変数の関係を点で表した図である。相関の有無や外れた点の存在を把握しやすい。
4.4.3 箱ひげ図
箱ひげ図は、中央値、四分位範囲、外れ値などをまとめて表す図である。複数群の分布を並べて比べる際に便利である。
5 確率と分布
確率は、起こりうる結果の不確実性を数値で扱うための概念である。分布は、その確率がどのように配分されるかを示し、統計理論の中心をなす。
5.1 確率の基礎
確率の基礎では、起こりうる結果とその起こりやすさを整理する。試行、結果、事象の関係を明確にすることが重要である。
5.1.1 事象
事象は、試行の結果として起こる特定の出来事を意味する。単一の結果だけでなく、複数の結果の集まりとして扱うこともできる。
5.1.2 確率の法則
確率の法則には、加法や乗法の関係、条件付きの考え方などが含まれる。これらにより、複雑な場面でも起こりやすさを計算できる。
5.2 確率分布
確率分布は、各値や区間にどの程度の確率が割り当てられるかを表す。離散的な場合と連続的な場合で表現方法が異なる。
5.2.1 離散分布
離散分布は、取りうる値が限られている場合の分布である。回数や個数を数える場面でよく用いられる。
5.2.2 連続分布
連続分布は、値が区間全体に広がる場合の分布である。測定値のように細かく変化する量を表すのに適している。
5.3 代表的な分布
実務と理論の両方で、特によく使われる分布がある。これらは現象の近似やモデル化に役立つ。
5.3.1 正規分布
正規分布は、平均を中心に左右対称な釣鐘形を示す分布である。自然現象や測定誤差の近似にしばしば現れる。
5.3.2 二項分布
二項分布は、成功と失敗のような二値の試行を繰り返したときの成功回数を表す。試行回数と成功確率が定まる場合に使われる。
5.3.3 ポアソン分布
ポアソン分布は、一定の区間で起こる稀な事象の発生回数を扱う。事故件数や到着件数のモデルに利用される。
6 統計的推測
統計的推測は、観測された標本から母集団について結論を導く作業である。推定、検定、信頼区間の考え方が中心となる。
6.1 推定
推定は、未知の母数を標本にもとづいて見積もることをいう。誤差を前提にしながら、できるだけ適切な値を求める。
6.1.1 点推定
点推定は、母数を一つの数値で表す方法である。簡潔だが、不確実性の大きさは別に評価する必要がある。
6.1.2 区間推定
区間推定は、母数が含まれると考えられる範囲を示す方法である。幅を持たせることで、推定の不確かさを表現できる。
6.2 検定
検定は、仮説がデータとどの程度整合するかを判断する手順である。統計的な規準に基づいて、採否を決める。
6.2.1 帰無仮説
帰無仮説は、差や効果がないとみなす出発点の仮説である。検定では、これを棄却するかどうかを確認する。
6.2.2 有意水準
有意水準は、帰無仮説を誤って棄却する許容確率の上限である。判断基準を事前に定める役割を持つ。
6.2.3 第一種の誤りと第二種の誤り
第一種の誤りは、真の帰無仮説を誤って退けることである。第二種の誤りは、実際には差があるのに見逃すことであり、両者のバランスが重要になる。
6.3 信頼区間
信頼区間は、推定値の周辺に不確実性を含めた区間を与える考え方である。長さと信頼度の両面から、推定の妥当性を評価できる。
7 回帰分析と相関
回帰分析と相関は、変数どうしの関係を調べるための基本的な方法である。関連の強さを測るだけでなく、予測の枠組みも提供する。
7.1 相関
相関は、二つの変数がどの程度一緒に変化するかを示す。正の関係、負の関係、関係が弱い場合などがある。
7.1.1 相関係数
相関係数は、相関の強さと向きを数値で表す指標である。値が大きいほど直線的な結びつきが強いと解釈される。
7.1.2 偽相関
偽相関は、見かけ上は関連して見えても、直接の因果関係がない状態をいう。第三の要因や偶然の影響で生じることがある。
7.2 単回帰分析
単回帰分析は、一つの説明変数から一つの目的変数を予測する方法である。関係を直線で近似し、変化の傾向を捉える。
7.2.1 回帰直線
回帰直線は、データ全体に最もよく合うように定めた直線である。観測値のばらつきを踏まえつつ、平均的な傾向を示す。
7.2.2 最小二乗法
最小二乗法は、観測値と予測値の差の二乗和が最小となるように直線を決める手法である。回帰分析の標準的な計算法として広く使われる。
7.3 重回帰分析
重回帰分析は、複数の説明変数を同時に用いて目的変数を説明する方法である。要因が入り組む現象を扱うのに適している。
7.3.1 説明変数
説明変数は、結果の変化に影響を与えると考えられる変数である。複数の候補を組み合わせることで、説明力を高められる。
7.3.2 目的変数
目的変数は、予測や説明の対象となる変数である。分析の到達点を示し、モデルの評価基準にもなる。
7.3.3 モデルの評価
モデルの評価は、当てはまりや予測性能を確認する作業である。過剰適合や説明不足を見極め、実用性を判断する。
8 統計学の応用
統計は理論研究だけでなく、各分野の実務に深く入り込んでいる。観測、診断、予測、品質改善など、目的に応じて形を変えながら活用される。
8.1 医学統計
医学統計は、診断、治療、疫学研究などに統計を適用する分野である。臨床試験の解析や医療の効果判定に欠かせない。
8.2 経済統計
経済統計は、物価、雇用、所得、消費などの経済活動を数量化する。景気の把握や政策立案に利用される。
8.3 社会統計
社会統計は、人口、教育、家族、労働など社会現象を数値でとらえる。社会構造の変化を追跡する基盤となる。
8.4 工学統計
工学統計は、設計、製造、試験、保守の各段階で使われる。製品性能の評価や工程の安定化に寄与する。
8.5 品質管理
品質管理では、ばらつきの監視や不良率の低減に統計が活躍する。工程管理図や抜取検査などが代表的な手法である。
9 統計学の歴史
統計学は、行政記録や人口把握の実務から始まり、確率論や数学と結びついて発展した。近代以降は、科学的方法の一部として体系化されてきた。
9.1 古代から近代まで
古代には、課税、人口、兵站の管理のために数の記録が行われた。近代になると、国家運営や天文学、賭博研究などを通じて理論化が進んだ。
9.2 統計学の発展
19世紀から20世紀にかけて、標本理論、推測理論、実験計画法が整備された。計算機の登場後は、大規模データの解析が可能になった。
9.3 主要な研究者
統計学の発展には、多くの研究者が寄与した。確率論の基礎を築いた人々、推定や検定を発展させた人々、実験計画や多変量解析を整えた人々が含まれる。
10 統計ソフトウェア
統計ソフトウェアは、集計、計算、可視化、モデル構築を支援する。手作業では扱いにくい大量のデータを効率よく処理できる。
10.1 表計算ソフト
表計算ソフトは、身近で扱いやすい統計ツールとして広く利用される。基本的な集計やグラフ作成、簡単な分析に向いている。
10.2 統計専用ソフト
統計専用ソフトは、推定、検定、回帰、時系列解析などに対応する。専門的な機能が充実しており、研究や実務で重宝される。
10.3 プログラミング言語による分析
プログラミング言語による分析は、再現性と柔軟性に優れる。手順をコードとして記述できるため、データの更新や自動化にも適している。