1 統計学の概要
統計学は、観測や調査によって得られたデータを整理し、その特徴を読み取り、不確実な現象について判断するための学問である。単に数を集めるだけでなく、そこに含まれる傾向、変動、関係性を抽出し、比較や予測、意思決定に役立てる点に特色がある。今日では自然科学、人文社会科学、産業、行政など、多様な場面で基盤的手法として用いられている。
1.1 定義
統計学は、データの収集、分類、要約、解釈を通じて、現象の性質を明らかにする方法論の体系である。記述統計はデータそのものの特徴を示し、推測統計は標本から母集団の性質を推定する。両者は相補的であり、前者が後者の土台を与える。
1.2 統計学の目的
統計学の主な目的は、不完全な情報からも妥当な結論を導くことにある。測定誤差や偶然変動を前提としつつ、集団全体の傾向を把握し、比較対象の違いを検討し、将来の見通しを与える。実務では、製品品質の管理、医療判断、政策評価、研究設計などに広く関係する。
1.3 統計学の歴史
統計学の起源は、国家運営に必要な人口調査や財政記録にさかのぼる。やがて確率論と結びつき、観測結果から一般的な法則性を導く学問として整えられた。近代以降は数学的基礎が強化され、計算技術の発展とともに応用範囲が大きく広がった。
1.3.1 古典統計学の成立
古典統計学は、人口、死亡率、保険、天文学などの問題を背景に形成された。誤差の扱いや平均の考え方が整備され、観測値の変動を数量的に説明する試みが進んだ。この段階で、データを単に記録するだけでなく、確率的に理解する発想が定着した。
1.3.2 現代統計学の発展
現代統計学では、標本理論、仮説検定、回帰分析、多変量解析などが体系化された。さらに、ベイズ的手法、計算機を用いる数理的推定、機械学習に近い発想も取り込まれ、複雑なデータへの対応力が高まった。大規模計算の普及により、実践的な分析手法としての重要性が増している。
2 データと統計量
統計学では、まずデータの性質を理解することが重要である。データの型や尺度が異なれば、適切な要約方法や解析手法も変わる。統計量は、観測値の集合を代表する数値であり、全体像を簡潔に示す役割を担う。
2.1 データの種類
データは大きく質的データと量的データに分けられる。前者は属性や分類を表し、後者は数量や測定値を表す。分析の目的によって、どちらを主に扱うかが決まる。
2.1.1 質的データ
質的データは、性別、種類、所属、評価区分のように、数値そのものよりもカテゴリーとして意味を持つ情報である。頻度や比率でまとめられることが多く、順序がない場合とある場合で取り扱いが異なる。
2.1.2 量的データ
量的データは、身長、体重、売上、温度のように数値で測られる情報である。離散的な値を取るものと、連続的に変化するものがあり、平均や分散などの計算に適している。
2.2 統計量の種類
統計量は、データの中心、ばらつき、形状を示すために用いられる。代表値だけでは見えない特徴も、複数の統計量を組み合わせることで把握しやすくなる。
2.2.1 中心傾向を表す統計量
中心傾向を表す統計量には、平均、中央値、最頻値がある。これらはデータの「典型的な水準」を示すが、分布の形や外れ値の有無によって適切な指標が異なる。
2.2.2 散らばりを表す統計量
散らばりを表す統計量には、分散、標準偏差、中央値との差、四分位範囲などがある。値がどの程度広がっているかを示し、安定性や一様性の比較に利用される。
2.2.3 分布の形を表す統計量
分布の形を表す統計量には、歪度と尖度がある。歪度は左右非対称の程度を、尖度は山のとがり方や裾の厚さを表す。これらにより、平均や分散だけでは見えない分布の特徴を把握できる。
2.3 データの尺度
データの尺度は、数値の意味と比較の仕方を定める枠組みである。尺度の種類を誤ると、不適切な計算や解釈につながるため、分析前に確認が必要である。
2.3.1 名義尺度
名義尺度は、名称や分類だけを表す尺度である。大小関係はなく、同じか異なるかを区別するために使われる。血液型や地域区分などが例として挙げられる。
2.3.2 順序尺度
順序尺度は、並び順に意味がある尺度である。ただし、隣り合う値の差は一定とは限らない。満足度評価や順位付けがこれに当たる。
2.3.3 間隔尺度
間隔尺度は、値の差に意味があるが、絶対的な零点を持たない尺度である。温度の摂氏や華氏が典型例で、加減算は可能でも倍率の解釈には注意が必要である。
2.3.4 比例尺度
比例尺度は、絶対零点を持ち、差だけでなく比率にも意味がある尺度である。長さ、重さ、時間、人数などが該当し、四則演算を比較的自由に用いることができる。
3 記述統計
記述統計は、データを図表や代表値で簡潔に表現し、その特徴を明らかにする分野である。複雑な数列でも、分布や中心、ばらつきを示せば、全体像を把握しやすくなる。
3.1 度数分布
度数分布は、値ごと、または階級ごとに観測数を整理したものである。データの集中や散らばりを視覚的に把握しやすく、後続の図示や解析の基礎になる。
3.2 ヒストグラム
ヒストグラムは、階級ごとの度数を柱状に表した図である。分布の形、山の位置、偏り、裾の長さを直感的に読み取れるため、探索的データ分析で頻繁に使われる。
3.3 平均
平均は、複数の値を一つの代表値にまとめる指標である。日常的にも広く使われるが、データの性質によって適切な種類を選ぶ必要がある。
3.3.1 算術平均
算術平均は、値の合計を個数で割ったものである。最も基本的な平均であり、全体の水準を示すが、極端な値の影響を受けやすい。
3.3.2 加重平均
加重平均は、各値に重みを付けて求める平均である。重要度や頻度が異なる場合に用いられ、評価点、成績、指数の算出などで便利である。
3.3.3 幾何平均
幾何平均は、値の積のn乗根として定義される平均である。成長率や比率の連鎖を扱うときに適し、変化の積み重ねを表すのに向いている。
3.4 中央値
中央値は、データを小さい順に並べたときの中央の値である。外れ値の影響を受けにくく、偏った分布では算術平均より代表性が高いことがある。
3.5 最頻値
最頻値は、最も多く現れる値である。分類データにも適用しやすく、典型的な選択や集中傾向を示す際に有用である。
3.6 分散と標準偏差
分散は、各値が平均からどれだけ離れているかを二乗平均で表したものである。標準偏差はその平方根で、元の尺度に近い形で散らばりを示す。いずれも、変動の大きさを比較する基本指標である。
3.7 四分位数と中央値との差
四分位数は、データを四等分する位置の値である。中央値との差は、上位四分位数と下位四分位数の差を示し、中央付近の散らばりを表す。外れ値の影響を受けにくい点が利点である。
3.8 歪度と尖度
歪度は分布の左右非対称性を示し、尖度は山の鋭さや裾の厚さを示す。これらは、分布が正規形からどの程度ずれているかを把握する際に役立つ。
4 確率と確率分布
確率は、不確実な事象が起こる見込みを数量化する概念である。確率分布は、その見込みを値の全体にわたって表したもので、統計的推論の基礎となる。
4.1 確率の基本
確率の基本では、事象の定義、条件付き確率、独立性などを扱う。これらは、複数の出来事がどのように関連するかを理解するための出発点である。
4.1.1 事象
事象は、試行の結果として起こりうる出来事を指す。サイコロで特定の目が出ることや、検査で陽性になることなどが例である。
4.1.2 条件付き確率
条件付き確率は、ある事象が起きたという条件のもとで別の事象が起こる確率である。情報が追加されたときに見込みがどう変わるかを示す。
4.1.3 独立
独立とは、ある事象の発生が別の事象の確率に影響しない状態である。確率計算を簡潔にし、複数の現象を分けて考える基準となる。
4.2 確率分布
確率分布は、確率が各値にどのように割り当てられるかを表す。離散型と連続型があり、観測対象の性質に応じて使い分けられる。
4.2.1 離散分布
離散分布は、取りうる値が飛び飛びである場合の分布である。回数、人数、成功回数などに適しており、各値の確率を個別に扱う。
4.2.2 連続分布
連続分布は、値が連続的に変化する場合の分布である。身長や時間のような量を扱い、確率は区間に対して考えることが多い。
4.3 代表的な確率分布
代表的な分布は、実際のデータ解析で頻繁に現れる典型例である。現象の種類に応じて、適切な分布を選ぶことが推定や検定の精度に関わる。
4.3.1 二項分布
二項分布は、同じ試行を一定回数繰り返し、成功回数を扱う分布である。合否判定や割合の変動を表すのに使われる。
4.3.2 正規分布
正規分布は、釣り鐘型の連続分布として知られる。自然現象や測定誤差に広く現れ、多くの統計手法の基準となっている。
4.3.3 ポアソン分布
ポアソン分布は、一定の区間内でまれな事象が起こる回数を表す。電話の着信数や故障件数などのモデル化に用いられる。
4.3.4 t分布
t分布は、標本サイズが小さいときの平均の推定に関係する分布である。正規分布に似るが、裾がやや厚い特徴を持つ。
4.3.5 カイ二乗分布
カイ二乗分布は、独立な正規変数の二乗和から導かれる分布である。分散の推定や適合度検定、独立性の検定で現れる。
5 推測統計
推測統計は、標本から母集団の特徴を推定し、仮説を検証する分野である。限られた観測から一般的な結論を導くため、不確実性を明示的に扱う。
5.1 標本と母集団
母集団は、関心の対象となる全体集合であり、標本はその一部を取り出した観測集合である。標本の性質が母集団をどの程度代表するかが、推測の妥当性を左右する。
5.2 標本抽出
標本抽出は、母集団から調べる対象を選ぶ方法である。選び方に偏りがあると推定が歪むため、抽出手順の設計は極めて重要である。
5.2.1 単純無作為抽出
単純無作為抽出は、母集団の各要素が等しい確率で選ばれる方法である。理論的に扱いやすく、代表性を確保しやすい基本手法とされる。
5.2.2 層化抽出
層化抽出は、母集団を性質の似た層に分け、それぞれから標本を取る方法である。集団内のばらつきが大きいときに効率がよい。
5.2.3 系統抽出
系統抽出は、リストから一定間隔ごとに対象を選ぶ方法である。手順が簡単で実施しやすいが、並び順に周期性がある場合は注意が必要である。
5.3 推定
推定は、標本から母数を求める過程である。数値そのものを与える点推定と、範囲で示す区間推定がある。
5.3.1 点推定
点推定は、母数を一つの値で表す方法である。計算が簡潔である一方、推定の不確かさは別途評価する必要がある。
5.3.2 区間推定
区間推定は、母数が含まれると考えられる範囲を示す方法である。誤差の大きさを考慮でき、実務では点推定よりも有用な場合が多い。
5.4 仮説検定
仮説検定は、データがある仮定と矛盾するかどうかを判断する方法である。理論上の予想と観測結果のずれを、確率に基づいて評価する。
5.4.1 帰無仮説と対立仮説
帰無仮説は、差や効果がないとみなす基本仮説であり、対立仮説はそれに反する主張である。検定では、帰無仮説を出発点として証拠の強さを評価する。
5.4.2 有意水準
有意水準は、帰無仮説を誤って棄却する許容確率の上限である。慣例的な基準を設けることで、判断の一貫性を保つ。
5.4.3 検定統計量
検定統計量は、仮説の下でデータを要約する数値である。観測値がどの程度珍しいかを判断するための尺度として働く。
5.4.4 第一種の誤りと第二種の誤り
第一種の誤りは、真の帰無仮説を棄却することであり、第二種の誤りは、誤った帰無仮説を見逃すことである。両者のバランスは検定設計の核心である。
5.5 信頼区間
信頼区間は、推定した母数の周辺にある不確実性を含む範囲である。反復抽出を想定したとき、一定割合の区間が真の値を含むように構成される。
5.6 検定力
検定力は、対立仮説が真であるときにそれを正しく検出する確率である。標本数、効果の大きさ、ばらつきに依存し、研究計画で重要視される。
6 回帰分析
回帰分析は、目的変数と説明変数の関係を数量的に表す手法である。変数間の関連を記述し、予測や要因の把握に利用される。
6.1 単回帰分析
単回帰分析は、一つの説明変数で目的変数を説明する方法である。直線的な関係を仮定することが多く、最も基本的な回帰モデルといえる。
6.2 重回帰分析
重回帰分析は、複数の説明変数を同時に扱う手法である。各変数の影響を他の要因を考慮しながら評価できる。
6.3 最小二乗法
最小二乗法は、観測値と予測値の差の二乗和が最小になるように係数を求める方法である。計算が扱いやすく、回帰分析の標準的手段となっている。
6.4 決定係数
決定係数は、モデルが目的変数の変動をどの程度説明しているかを表す指標である。値が高いほど適合がよいと解釈されるが、過度の単純化には注意が必要である。
6.5 共線性
共線性は、説明変数どうしが強く関連している状態を指す。係数の解釈を不安定にし、推定の精度を下げることがある。
6.6 ロジスティック回帰
ロジスティック回帰は、結果が二値である場合に用いられる回帰手法である。発生確率をモデル化し、分類問題にも応用される。
7 多変量解析
多変量解析は、複数の変数を同時に扱い、構造や類似性を調べる手法の総称である。変数間の複雑な関係を整理し、潜在的な次元を見出すのに役立つ。
7.1 主成分分析
主成分分析は、多数の変数を少数の合成変数に要約する方法である。情報の重複を減らし、データの主要な変動方向を抽出する。
7.2 因子分析
因子分析は、観測変数の背後にある潜在因子を推定する手法である。見かけの相関関係を、共通の要因によって説明しようとする。
7.3 判別分析
判別分析は、既知の समूहや群に新しい観測値を分類する方法である。判別関数を用いて、どの समूहに属する可能性が高いかを判断する。
7.4 クラスター分析
クラスター分析は、似た対象をまとめて群を作る手法である。事前の分類を前提とせず、データ自身の近さから構造を見つける。
8 統計的モデリング
統計的モデリングは、観測データを確率モデルで表し、現象の仕組みを記述する考え方である。単なる要約にとどまらず、生成過程や不確実性を明示する点に特徴がある。
8.1 線形モデル
線形モデルは、目的変数を説明変数の線形結合で表す枠組みである。回帰分析の基礎となり、誤差の扱いを含めて広く応用される。
8.2 一般化線形モデル
一般化線形モデルは、線形予測子と確率分布、リンク関数を組み合わせた拡張的な枠組みである。二値データやカウントデータなど、正規分布以外の状況にも対応できる。
8.3 ベイズ統計学
ベイズ統計学は、事前の知識と観測データを統合して推定を行う立場である。確率を信念の度合いとして扱い、更新の過程を重視する。
8.4 マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法は、複雑な確率分布から標本を生成する計算手法である。ベイズ推定で現れる事後分布の近似に広く使われる。
9 統計学の応用
統計学は、理論だけでなく実社会の問題解決にも深く関わる。対象分野ごとにデータの性質は異なるが、比較、推定、検証という基本姿勢は共通している。
9.1 医学統計
医学統計は、治療効果、診断精度、疫学調査などを扱う。臨床試験や観察研究の設計に関わり、医療の根拠形成を支える。
9.2 経済統計
経済統計は、物価、所得、生産、景気動向などの指標を分析する。政策立案や市場動向の把握に用いられる。
9.3 社会統計
社会統計は、人口、教育、労働、世帯構成などの社会現象を数量的に捉える。社会構造の変化を追跡するうえで重要である。
9.4 工学統計
工学統計は、製造、信頼性、実験計画、工程管理に関連する。品質の安定化や効率改善を目的として、統計的手法が取り入れられる。
9.5 生物統計
生物統計は、生態、遺伝、実験生物学などのデータを扱う。生物現象の変動が大きい場面で、適切な解析設計を与える。
9.6 品質管理
品質管理では、製品や工程のばらつきを統計的に監視する。管理図やサンプリング検査などにより、一定の水準を維持することを目指す。
10 統計ソフトウェアと計算
計算機の普及により、統計学は手計算中心の学問から、実装と解析の両面を持つ実践的分野へと変化した。ソフトウェアの選択は、扱うデータ量や目的、再現性の要件に左右される。
10.1 統計ソフトウェア
統計ソフトウェアは、解析、図示、報告書作成を支援する専用の道具である。使いやすさや機能範囲に差があり、研究、教育、実務で使い分けられる。
10.2 表計算ソフトによる分析
表計算ソフトは、基本的な集計やグラフ作成に広く利用される。少量のデータを扱う場合には便利だが、複雑な分析では限界もある。
10.3 プログラミング言語による分析
プログラミング言語による分析は、再現可能で柔軟な処理を可能にする。自動化、大規模処理、先進的な手法の実装に適している。
10.4 データ可視化
データ可視化は、数値情報を図として表現する技法である。傾向、比較、異常値を直感的に示せるため、説明や探索の双方で重要である。
11 統計学における注意点
統計学は強力な道具である一方、使い方を誤ると結論を誤導する。データの収集方法、解析モデル、解釈の前提を吟味する姿勢が不可欠である。
11.1 偏り
偏りは、標本や測定、分析過程に系統的なずれが生じることを指す。無作為性の欠如や欠測の扱いによって結果が歪むことがある。
11.2 外れ値
外れ値は、他の観測値から大きく離れた値である。誤測定である場合もあれば、重要な例外を示すこともあり、機械的に除外せず文脈を確認する必要がある。
11.3 因果関係と相関関係
相関関係は変数の同時変動を示すにすぎず、因果関係を自動的には意味しない。第三の要因や逆方向の影響を考慮しなければ、解釈を誤るおそれがある。
11.4 再現性
再現性は、同じ方法で同様の結果が得られる性質である。解析手順、データ処理、条件設定が明確でなければ、再検証が難しくなる。
11.5 解釈上の限界
統計結果は、あくまで前提とデータに基づく結論である。モデルの仮定、測定の不完全性、サンプルの制約を踏まえ、過度な一般化を避けることが重要である。