1 基本概念
ロジスティック回帰は、説明変数から目的変数があるカテゴリに属する確率を推定する回帰モデルである。目的変数が二値のときに広く用いられるが、拡張により多値や順序付きのカテゴリにも対応できる。分類問題に適している一方で、単なる判別器ではなく、確率的な解釈を伴う点に特徴がある。
1.1 ロジスティック回帰の定義
この手法では、説明変数の線形結合をそのまま予測値とせず、ロジット変換と呼ばれる写像を介して確率に結びつける。これにより、予測結果は0から1の範囲に収まり、各観測が各カテゴリに属する見込みとして扱える。統計モデルとしては、観測データの背後にある確率構造を仮定し、そのパラメータを推定する枠組みである。
1.2 線形回帰との違い
線形回帰は連続量の平均的な変化を表すのに対し、ロジスティック回帰はカテゴリの所属確率を扱う。線形回帰では予測値が実数全体に広がるが、ロジスティック回帰では確率の制約を満たすように変換が入る。さらに、誤差の性質や推定の基準も異なり、二値データに線形回帰をそのまま適用するより適切である。
1.3 確率モデルとしての位置づけ
ロジスティック回帰は、説明変数と結果の関係を確率分布の形で記述する一般化線形モデルの一種に位置づけられる。各観測について成功確率を定め、その確率に基づいてデータが生じたと考えるため、推定値には不確実性の解釈が伴う。予測だけでなく、要因の影響を定量的に調べる道具としても重要である。
1.3.1 尤度の考え方
尤度は、観測されたデータが与えられたときに、あるパラメータ値がどれだけもっともらしいかを表す。ロジスティック回帰では、各観測の成功・失敗の確率を積み合わせた尤度を用いて、最も適合する係数を探す。これは、単純な誤差最小化とは異なる統計的な推定原理である。
1.3.2 オッズと対数オッズ
オッズは、ある事象が起こる確率を起こらない確率で割った比である。対数オッズはその対数を取った量で、説明変数との関係を直線的に表しやすくする。ロジスティック回帰は、この対数オッズが説明変数の線形結合に等しいとみなすことで、確率モデルを構成する。
2 種類
ロジスティック回帰には、目的変数の性質に応じて複数の形式がある。最も基本的なのは二値分類を扱うものだが、カテゴリ数が増えたり順序情報が含まれたりすると、別の拡張形が用いられる。いずれも、確率を推定しながら分類や説明を行う点は共通している。
2.1 二項ロジスティック回帰
二項ロジスティック回帰は、目的変数が0と1のような二つの状態を取る場合に使われる。医療での発症有無、調査での賛否、機械学習での陽性・陰性判定などに適している。最も広く知られた形式であり、解釈と実装の両面で扱いやすい。
2.2 多項ロジスティック回帰
多項ロジスティック回帰は、三つ以上のカテゴリのうちのいずれかを予測する。各カテゴリの確率を同時に求めるため、複数の基準との比較が必要になる。順序を持たない名義尺度の分類に向いており、選択肢の違いを確率的に表現できる。
2.3 順序ロジスティック回帰
順序ロジスティック回帰は、カテゴリに自然な順序がある場合に用いられる。たとえば、満足度の高低や重症度の段階などを扱う。単に別々のカテゴリとして扱うよりも、順序情報を生かせるため、効率的な説明と予測が可能になる。
3 数理的基礎
この手法の中心には、確率を0から1へ写す関数と、それに基づく推定・最適化の理論がある。数学的には比較的単純な形を持つが、データに対する適合をどのように測るかが実用上の鍵となる。数理構造を理解すると、係数の意味や学習アルゴリズムの動作が見えやすくなる。
3.1 シグモイド関数
シグモイド関数は、実数全体を0から1の範囲に滑らかに変換する。ロジスティック回帰では、この関数を使って線形予測子を確率へ変える。中間付近では変化が大きく、極端な値では変化が緩やかになるため、確率モデルとして自然な形を与える。
3.2 損失関数
損失関数は、予測と観測のずれを数量化する指標である。ロジスティック回帰では、確率予測が実際のラベルにどれだけ整合するかを基準に設計される。これにより、単に当たるか外れるかだけでなく、どれほど自信を持って予測したかも反映される。
3.2.1 最尤推定
最尤推定は、観測データが最も起こりやすくなるようにパラメータを選ぶ方法である。ロジスティック回帰では、この原理に従って係数を決めるのが標準的である。統計学では古典的かつ重要な推定法であり、解釈可能性にも優れている。
3.2.2 対数尤度
対数尤度は、尤度の対数を取った量で、計算上扱いやすい。積の形が和に変わるため、複数の観測をまとめて扱いやすくなり、最適化にも有利である。実装では、対数尤度を最大化することが、実質的にモデルを学習することに相当する。
3.3 勾配と最適化
係数の推定には、勾配を利用した反復的な最適化がよく使われる。目的関数の傾きを手がかりに、より良いパラメータへ少しずつ更新していく。データ規模が大きい場合や変数が多い場合には、この計算手順の効率が実用性を左右する。
4 モデルの評価と解釈
ロジスティック回帰では、予測精度だけでなく、係数の意味やモデル全体の妥当性を確認する必要がある。説明モデルとして使う場合には、どの変数がどの方向に影響するかが重視される。一方、分類器として使う場合には、適合度や識別能力の評価が重要になる。
4.1 係数の解釈
係数は、説明変数が一単位変化したときに対数オッズがどの程度変化するかを示す。正の係数はあるカテゴリの起こりやすさを高め、負の係数は逆方向に働く。解釈の際には、尺度や他の変数との関係を踏まえる必要がある。
4.1.1 オッズ比
オッズ比は、係数を指数変換して得られる値で、効果の大きさを直感的に表す。1より大きければ対象事象の起こりやすさが増し、1より小さければ減少を示す。医学統計や社会調査では、結果を説明する標準的な指標として広く用いられる。
4.1.2 交互作用項の解釈
交互作用項は、ある変数の効果が別の変数の水準によって変わることを表す。これが入ると、単独の係数だけでは影響を読み取れず、組み合わせ全体で解釈する必要がある。実際には、条件付きの効果を比較しながら理解するのが一般的である。
4.2 適合度の指標
適合度は、モデルが観測データにどれだけよく合っているかを示す。ロジスティック回帰では、尤度に基づく指標が中心となる。単独の指標だけで判断せず、複数の観点から総合的に評価することが望ましい。
4.2.1 尤度比検定
尤度比検定は、より単純なモデルと比較して、説明変数の追加が有意に改善をもたらすかを調べる。モデル同士の差を尤度で評価するため、変数の寄与を検討する場面で有用である。説明変数群全体の妥当性を確認する手段としても使われる。
4.2.2 情報量規準
情報量規準は、当てはまりの良さとモデルの複雑さを同時に考慮する指標である。代表的なものにAICやBICがあり、過度に複雑なモデルを避ける際に役立つ。比較対象が複数ある場合、単純さと適合の均衡を見る基準となる。
4.3 予測性能の評価
予測性能は、未知データに対してどの程度正しく分類できるかを調べる。訓練データ上の成績が良くても、汎化能力が低ければ実用上は不十分である。用途に応じて、閾値設定や評価指標を選ぶ必要がある。
4.3.1 混同行列
混同行列は、実際のクラスと予測されたクラスの対応を表にしたものである。正しく分類された件数だけでなく、誤判定の種類も把握できる。二値分類では特に、真陽性や偽陽性の違いを確認するのに便利である。
4.3.2 正解率と再現率
正解率は全体としてどれだけ当たったかを示し、再現率は実際に陽性であるものをどれだけ拾えたかを表す。データの偏りがあると、正解率だけでは性能を見誤ることがある。再現率は見逃しを抑えたい場面で重視される。
4.3.3 曲線と曲線下面積
ROC曲線は、閾値を変えたときの真陽性率と偽陽性率の関係を示す。曲線下面積は、全体的な識別能力を要約する指標として使われる。しきい値に依存しにくいため、モデル比較でよく参照される。
5 実装と応用
ロジスティック回帰は、理論的に明快でありながら、実務でも扱いやすい。変数の選び方や学習の安定化、評価方法の工夫によって、さまざまな場面に適用できる。統計ソフトウェアや機械学習ライブラリに標準実装があることも普及を支えている。
5.1 変数選択
変数選択では、予測や説明に有益な説明変数を選び、不要な項目を減らす。これにより、解釈が容易になり、計算負荷も軽くなる。実際には、理論的な背景とデータ駆動の手法を組み合わせて決めることが多い。
5.2 過学習への対策
過学習は、学習データにはよく合うが、新しいデータでは性能が落ちる状態を指す。ロジスティック回帰でも、説明変数が多い場合やサンプルが少ない場合に起こりうる。モデルの汎化性能を保つため、抑制策が必要になる。
5.2.1 正則化
正則化は、係数が過度に大きくなるのを抑える仕組みである。L1やL2のような方法があり、不要な変数を縮小したり、全体の安定性を高めたりする。推定のばらつきを抑え、実用的な予測を得るのに有効である。
5.2.2 交差検証
交差検証は、データを複数の部分に分けて学習と検証を繰り返す方法である。これにより、特定の分割に依存しない性能評価ができる。正則化の強さや変数構成を決める際にも、広く利用されている。
5.3 応用分野
このモデルは、数値とカテゴリを結ぶ問題であれば、多くの分野に応用できる。確率的な出力を持つため、単純な分類にとどまらず、意思決定支援にも使われる。学際的に利用される点が、ロジスティック回帰の大きな利点である。
5.3.1 医学統計
医学統計では、疾患の有無や治療反応の推定に使われる。リスク要因の影響をオッズ比で示せるため、臨床研究で解釈しやすい。患者背景を調整しながら効果を評価する場面でも重要である。
5.3.2 社会調査
社会調査では、回答傾向や属性差の分析に役立つ。賛否や選択行動の要因を調べる際、複数の説明変数を同時に扱える点が有用である。質問紙データとの相性もよく、広く利用されている。
5.3.3 機械学習における分類
機械学習では、基本的な分類アルゴリズムとして位置づけられる。出力が確率なので、閾値調整やランキングにも応用しやすい。特徴量が適切に整備されていれば、堅実で解釈可能なベースラインとなる。
6 注意点
便利な手法ではあるが、ロジスティック回帰には統計的・実務的な制約がある。説明変数の関係性やデータの偏りを無視すると、推定結果の信頼性が下がる。適用の前提と限界を把握することが、適切な利用には欠かせない。
6.1 多重共線性
多重共線性は、説明変数どうしが強く関連している状態である。これが強いと、係数の推定が不安定になり、解釈も難しくなる。変数の削減や統合、正則化の導入によって緩和できる場合がある。
6.2 分離問題
分離問題は、ある説明変数の組み合わせで目的変数を完全、またはほぼ完全に区別できる場合に起こる。こうした状況では、係数が極端な値へ発散しやすい。標準的な最尤推定では扱いにくく、別の推定法が必要になることがある。
6.3 欠測値と外れ値
欠測値は、分析に使う変数の一部が観測されていない状態を指す。外れ値は、他のデータから大きく離れた観測で、推定をゆがめる要因になりうる。前処理や頑健な検討を通じて、影響を確認することが望ましい。
6.4 仮定と限界
ロジスティック回帰は有用だが、すべての状況に万能ではない。説明変数と対数オッズの関係が適切に表現できない場合、精度や解釈に限界が生じる。複雑な非線形関係や高次の相互依存が強いときは、別手法との比較も必要である。
</INTERNAL_LINK_CANDIDATES> シグモイド関数（0から1へ滑らかに変換する関数） 尤度（観測データに対するパラメータのもっともらしさ） オッズ（事象の起こる確率を起こらない確率で割った比） 対数オッズ（オッズの対数変換） 二値分類（2つのクラスに分ける問題） 多項分類（3つ以上のクラスを扱う分類） 順序付きカテゴリ（自然な順序を持つカテゴリ） 最尤推定（尤度を最大にする推定法） 対数尤度（尤度の対数を取った量） 勾配降下法（勾配を使って最適化する方法） オッズ比（オッズの相対的な大きさを示す指標） 交互作用項（変数の組み合わせ効果を表す項） 尤度比検定（モデル比較のための検定） 情報量規準（適合度と複雑さを両立して比較する指標） 混同行列（予測と実測の対応を表す表） ROC曲線（閾値を変えたときの性能曲線） AUC（ROC曲線の下面積で全体性能を示す指標） 正則化（係数の大きさを抑える手法） 交差検証（汎化性能を見積もる評価法） 分離問題（説明変数で完全識別が起こる現象）