1 概要
分類問題とは、与えられた対象を複数の候補カテゴリのいずれかに割り当てる問題である。機械学習や統計学では、入力から離散的なラベルを予測する代表的な課題として位置づけられる。対象は数値データ、画像、文章、音声など多様であり、実務では判断の自動化や支援に広く用いられる。
この問題の中心には、観測された特徴から適切な区分を推定するという考え方がある。学習済みのモデルは、過去の事例に基づいて新しい事例の所属先を推定し、医療診断、文書判定、画像認識、異常検知などに応用される。
1.1 定義
分類は、入力空間の各点を有限個のクラスに対応づける予測課題である。出力は連続値ではなく、あらかじめ定められたラベルで表される点に特徴がある。単純な場合には二つの区分に分けるが、より複雑な設定では多数の候補の中から選ぶ。
統計的には、観測された特徴量に対して各クラスの所属確率や判定規則を求める問題として扱われる。実装上は、確率を直接推定する方法と、境界を構成して決定する方法の双方がある。
1.2 代表的な応用分野
分類問題は、判断基準が明確で反復処理に向く場面で特に有用である。入力の形式が異なっても、最終的に離散的な区分へ落とし込めるなら適用しやすい。実際には、専門家の判断を補助する用途から、大規模な自動判定まで幅広く使われる。
1.2.1 医療
医療分野では、検査値や画像所見から病態の有無や種類を推定する用途がある。診断支援として使われることが多く、見落としの低減や優先度付けに役立つ。もっとも、最終判断は臨床的文脈と併せて行う必要がある。
1.2.2 画像認識
画像認識では、写っている対象を人物、動物、車両などのカテゴリに分ける。写真の内容判定、部品検査、文字認識など、視覚情報を扱う場面で応用範囲が広い。深層学習の発展により、複雑な特徴を自動抽出する手法が普及した。
1.2.3 文書分類
文書分類は、記事やメール、レビューなどを話題や意図に応じて整理する処理である。迷惑メール判定、感情極性の推定、トピックの振り分けなどが代表例である。語彙の出現パターンや文脈情報が重要な手がかりとなる。
1.3 近縁概念との違い
分類と回帰はしばしば対比される。前者が離散ラベルを対象とするのに対し、後者は連続量の予測を扱う。また、クラスタリングは教師なしで似たもの同士をまとめる点で異なる。分類では、正解ラベルが与えられていることが大きな前提となる。
2 分類問題の種類
分類問題は、扱うクラス数やラベル構造によっていくつかの型に分かれる。二値、多クラス、多重ラベルの区別は、モデル設計や評価方法に直接関係する。目的に応じて適切な形式を選ぶ必要がある。
2.1 二値分類
二値分類は、対象を二つのクラスのどちらかに分ける最も基本的な形式である。判定の基準が比較的単純で、理論的整理もしやすい。医療の陽性・陰性判定や迷惑メール識別が典型例である。
2.1.1 正例と負例
二値分類では、着目する側を正例、それ以外を負例と呼ぶ。どちらを正例に置くかは問題設定によって変わる。陽性検出のように、見逃しのコストが高い場合は正例側の扱いが特に重要になる。
2.1.2 判定境界
判定境界は、二つのクラスを分ける境目である。特徴空間上の線や曲面として表現されることが多い。モデルによって境界の形は異なり、単純な線形境界から複雑な非線形境界まで存在する。
2.2 多クラス分類
多クラス分類は、三つ以上のカテゴリの中から一つを選ぶ設定である。画像の物体識別や文書の話題分類のように、候補が複数ある場合に用いられる。二値分類を組み合わせて実現する方法もある。
2.2.1 排他的分類
排他的分類では、各事例がただ一つのクラスにのみ属する。人名、種別、製品カテゴリの判定など、相互に重ならない区分に適している。出力は通常、最も高いスコアを持つクラスとして決定される。
2.2.2 複数候補の比較
多クラス設定では、各候補に対する確信度を比較して最終ラベルを選ぶ。ソフトマックス関数などを用いて確率分布として扱うことが多い。候補間の差が小さい場合には、上位候補の提示が有効なこともある。
2.3 多重ラベル分類
多重ラベル分類は、一つの事例に複数のラベルを同時に付与する形式である。画像に複数の物体が写る場合や、文書が複数の話題を含む場合に適合する。排他的な一択とは異なり、各ラベルの有無を個別に評価する。
2.3.1 同時付与される複数ラベル
この形式では、対象が複数のカテゴリに同時所属することがある。たとえば、写真に「屋外」「人物」「夜景」が共存する状況が考えられる。出力はラベルごとの真偽や確率として表されることが多い。
2.3.2 ラベル間の依存関係
多重ラベルでは、あるラベルの存在が別のラベルの出現と結びつくことがある。単純な独立仮定だけでは十分でない場合があり、ラベル同士の関係を利用する工夫が行われる。これにより、予測の整合性が高まることがある。
3 問題設定とデータ
分類の性能は、モデルだけでなくデータの質と構成に強く左右される。入力の表し方、正解の付け方、学習と評価の分割方法は、結果の信頼性を大きく左右する要素である。現場では前処理の設計が重要な位置を占める。
3.1 入力と出力
分類問題では、入力は対象の性質を表す特徴量であり、出力は対応するラベルである。両者の定義が曖昧だと、学習そのものが不安定になる。したがって、何を観測し、何を予測するかを明確に定める必要がある。
3.1.1 特徴量
特徴量は、対象を数値的に表現した情報である。年齢、画素値、語の出現回数など、形式は分野によって異なる。適切な特徴の選択や変換は、モデルの性能に直結する。
3.1.2 ラベル
ラベルは、各事例に付与された正解クラスを指す。教師あり学習では、この情報を用いてモデルを調整する。付与基準が一貫していないと、学習結果にもばらつきが生じる。
3.2 学習データと検証データ
データは通常、学習用と評価用に分けて扱う。学習で使った情報をそのまま評価に用いると、汎化性能を正しく測れない。分割の仕方は、評価の公平性を保つうえで重要である。
3.2.1 訓練用データ
訓練用データは、モデルのパラメータを推定するために用いる。事例数が十分で、対象のばらつきをある程度含むことが望ましい。偏った訓練集合では、未知データへの適用力が落ちやすい。
3.2.2 評価用データ
評価用データは、学習に直接使わず、性能確認のために保持する。未知の入力に対する一般化能力を測る役割を担う。検証方法によって、過大評価を避けることができる。
3.3 データの偏り
実際のデータには、収集条件や事象の発生頻度に由来する偏りが含まれる。これを無視すると、見かけの精度は高くても実用性に欠ける結果になりやすい。分布の偏りを把握することが、安定した分類につながる。
3.3.1 クラス不均衡
クラス不均衡は、あるカテゴリの事例数が他より大きく少ない状態を指す。多数派ばかりを当てるだけで見かけの正解率が高くなることがある。少数クラスを重視する評価や重み付けが必要になる場合がある。
3.3.2 欠損値と外れ値
欠損値は観測抜け、外れ値は通常範囲から大きく外れた値である。これらは学習を不安定にし、境界の推定をゆがめることがある。補完、除外、頑健な手法の採用などが対策として用いられる。
4 手法
分類には、確率モデル、木構造、距離に基づく方法、神経回路網を模した方法など多様な手法がある。データの性質、解釈性の要請、計算資源に応じて選択が変わる。単一の方式が常に最良とは限らない。
4.1 統計的手法
統計的手法は、確率分布や線形境界を基盤にした古典的な方法である。比較的扱いやすく、少量のデータでも有効な場合がある。理論的性質が明確で、説明性を重視する場面でも使われる。
4.1.1 ナイーブベイズ法
ナイーブベイズ法は、特徴量どうしが条件付き独立であると仮定してクラス確率を求める手法である。文書分類のように高次元で疎なデータに向くことがある。簡潔だが、独立仮定の妥当性には注意が必要である。
4.1.2 ロジスティック回帰
ロジスティック回帰は、入力の線形結合から所属確率を推定する方法である。二値分類で広く用いられ、多クラスへ拡張も可能である。結果が比較的解釈しやすく、基準モデルとしても使われる。
4.2 決定木系手法
決定木系手法は、特徴の条件分岐を重ねて分類する。人間にとって理解しやすい構造を持ち、非線形な関係も表現できる。単体では不安定なことがあるが、集成すると性能が向上しやすい。
4.2.1 決定木
決定木は、根から葉へ条件分岐をたどってクラスを決める。各分岐は特徴量のしきい値に基づくことが多い。直感的で説明しやすい反面、深くしすぎると過学習しやすい。
4.2.2 ランダムフォレスト
ランダムフォレストは、複数の決定木を集めて多数決や平均で判定する。データや特徴の一部をランダムに変えて木を作るため、安定性が増す。単独の木より頑健で、汎用性が高い。
4.2.3 勾配ブースティング
勾配ブースティングは、弱い学習器を逐次的に追加し、誤りを補正していく方法である。高い予測精度を示すことが多く、実務で強力な選択肢となる。設定次第で性能が大きく変わるため、調整が重要である。
4.3 距離・境界に基づく手法
この系統は、事例間の近さや分離境界に着目する。単純である一方、特徴空間の構造に敏感である。前処理やスケーリングの影響を受けやすい。
4.3.1 近隣法
近隣法は、近い事例のラベルを参考にして分類する。代表例として最近傍法がある。実装は容易だが、推論時の計算量が大きくなることがある。
4.3.2 支持ベクトルマシン
支持ベクトルマシンは、クラス間の間隔を広く取る境界を求める手法である。カーネルを用いることで非線形問題にも対応できる。少数の重要な点が境界を決めるため、理論的な見通しがよい。
4.4 ニューラルネットワーク
ニューラルネットワークは、多層構造を通じて複雑な関係を学習する方法である。画像や音声、自然言語の処理で大きな成果を上げてきた。大量データと計算資源を要することが多い。
4.4.1 多層パーセプトロン
多層パーセプトロンは、全結合層を重ねた基本的な構成である。非線形変換を組み合わせることで、複雑な決定関数を表現できる。表形式データにも応用される。
4.4.2 畳み込みニューラルネットワーク
畳み込みニューラルネットワークは、局所的な特徴抽出に適した構造を持つ。画像の空間的な並びを活用でき、視覚認識で広く使われる。重み共有により、計算効率にも利点がある。
4.4.3 再帰型ニューラルネットワーク
再帰型ニューラルネットワークは、系列データの時系列的な依存を扱う。文章や音声のように順序が重要な入力に向く。現在では、より新しい系列モデルに置き換えられる場面も増えている。
5 学習と最適化
分類モデルは、損失関数を最小化するように学習される。最適化の過程では、汎化性能を損なわずに訓練誤差を下げる工夫が必要である。調整項目が多く、実務では試行錯誤が避けられない。
5.1 損失関数
損失関数は、予測と正解のずれを数値化する尺度である。どの損失を採用するかは、問題の形式や望ましい出力に依存する。学習の方向を決める中心要素である。
5.1.1 交差エントロピー誤差
交差エントロピー誤差は、予測確率と正解分布の差を表す損失である。分類で最も広く使われる指標の一つで、確率的な出力と相性がよい。誤ったクラスに高い確信を持つ場合、強い罰則が与えられる。
5.1.2 ヒンジ損失
ヒンジ損失は、境界からの余裕を意識した損失である。支持ベクトルマシンで典型的に用いられる。正しい分類だけでなく、十分なマージンの確保を促す。
5.2 正則化
正則化は、モデルの複雑さを抑え、過剰適合を防ぐための方法である。訓練データに合わせすぎると、未知データで性能が低下する。そこで、自由度を制約する仕組みが導入される。
5.2.1 重み減衰
重み減衰は、パラメータが大きくなりすぎないよう罰則を加える方法である。学習を安定させ、滑らかなモデルを得やすくする。L2正則化として扱われることが多い。
5.2.2 早期終了
早期終了は、検証性能が悪化し始めた時点で学習を止める手法である。訓練誤差は下がり続けても、汎化性能は途中で頭打ちになることがある。停止時期の見極めが実用上重要である。
5.3 ハイパーパラメータ調整
ハイパーパラメータは、学習率、木の深さ、正則化強度など、学習前に設定する値である。適切な組み合わせを選ぶことで性能が大きく変わる。探索と検証を通じて最適化する必要がある。
5.3.1 探索手法
探索手法には、手動調整、グリッド探索、ランダム探索などがある。近年は効率的に候補を試す方法も使われる。計算資源と時間の制約に応じて選択される。
5.3.2 検証手法
検証手法には、ホールドアウト法や交差検証がある。これらは汎化性能の推定に役立つ。データ量が少ない場合は、分割方法が結果に与える影響が大きい。
6 評価
分類モデルの評価では、単一の数値だけでなく複数の観点を見ることが重要である。対象の偏りや誤判定の代償によって、適切な指標は異なる。用途に応じて指標を使い分ける必要がある。
6.1 正解率
正解率は、全体のうち正しく分類できた割合である。直感的で理解しやすいが、クラス不均衡があると実態を反映しにくい。多数派が大きい場合には特に注意が必要である。
6.2 適合率
適合率は、陽性と判定したもののうち実際に正しかった割合を表す。誤検出を抑えたい場面で重視される。例えば、不要な警告が多いと運用上の負担が増える。
6.3 再現率
再現率は、実際の陽性をどれだけ取りこぼさずに見つけたかを示す。見逃しを避けたい場合に重要である。医療や安全確認などでは特に注目される。
6.4 Ｆ値
Ｆ値は、適合率と再現率のバランスをまとめた指標である。両者の調和的な評価を行いたいときに用いられる。片方だけが極端に高い状況を抑えて見られる。
6.5 混同行列
混同行列は、予測結果と正解の対応を表形式で整理したものである。どの種類の誤りが多いかを把握しやすい。二値だけでなく多クラスでも利用できる。
6.6 曲線指標
曲線指標は、しきい値を変えたときの性能変化を示す。単一の閾値に依存しない評価ができる点に利点がある。順位付けや比較に役立つ。
6.6.1 再現率適合率曲線
再現率適合率曲線は、適合率と再現率の関係を示す図である。少数クラスや不均衡データで有用性が高い。閾値調整の影響を確認しやすい。
6.6.2 受信者操作特性曲線
受信者操作特性曲線は、真陽性率と偽陽性率の関係を示す。判別能力を視覚的に比較しやすい。曲線下の面積を要約指標として用いることも多い。
6.7 クラス不均衡への対応指標
不均衡なデータでは、正解率だけでは性能を見誤りやすい。少数クラスを重視するため、重み付き指標やクラスごとの平均を使うことがある。評価設計自体が重要な課題となる。
7 誤差と課題
分類では、訓練性能が高くても実運用で失敗することがある。原因は学習不足、過適合、特徴の不適切さ、データ分布の変化など多岐にわたる。問題点を把握して改善することが不可欠である。
7.1 過学習
過学習は、訓練データに過度に適合し、未知データで性能が落ちる現象である。複雑なモデルやデータ不足で起こりやすい。正則化や検証の導入で緩和できる。
7.2 未学習
未学習は、モデルが十分にパターンを捉えられない状態である。単純すぎるモデルや学習不足で生じる。表現力の見直しや特徴設計の改善が必要になる。
7.3 決定境界の不適合
決定境界が問題の構造に合わないと、誤分類が増える。線形では分けにくい領域を無理に直線で区切ると、性能が制約される。モデル選択の妥当性が問われる場面である。
7.4 分類不能事例
いずれのクラスにも明確に属さない事例がある。観測情報が不十分な場合や、定義外の入力が混入した場合に起こる。拒否判定や未知クラス検出の仕組みが役立つことがある。
7.5 解釈可能性
解釈可能性は、なぜその予測に至ったかを説明できる度合いである。実務では、精度だけでなく説明のしやすさが求められることがある。医療や審査のように根拠提示が重要な場面で特に重視される。
8 応用
分類問題は、現実の判断を機械的に支援する基盤として広く使われる。入力の種類に応じて、数値・画像・文章などへ適用範囲が広がる。自動化の恩恵を受けやすい分野が多い。
8.1 医療診断支援
医療診断支援では、検査結果や画像から疾病の可能性を推定する。医師の判断を補助し、見落としや負担の軽減に寄与する。運用時には説明性と安全性が重要である。
8.2 迷惑メール判定
迷惑メール判定は、受信メッセージを望ましくない通信かどうかで分ける。特徴として、送信元、本文表現、リンク情報などが使われる。利用者の体験に直結するため、誤判定の抑制が重要である。
8.3 画像の自動タグ付け
画像の自動タグ付けは、写真内容を示すラベルを付与する処理である。人物、場所、物体、状況などの情報整理に役立つ。検索性や管理効率の向上に結びつく。
8.4 感情分析
感情分析は、文章から肯定、否定、中立などの傾向を推定する。レビュー評価、問い合わせ分類、世論調査の補助などに使われる。文脈や皮肉表現の扱いが難しいことがある。
8.5 異常検知
異常検知では、通常とは異なる事例を見つけ出す。機器監視、不正利用の兆候確認、品質管理などで重要である。異常の定義が曖昧な場合には、分類と検出の境界が近くなる。
9 関連分野
分類問題は、他の機械学習課題と密接に関係している。相互に手法を流用することも多く、理論面でも共通点がある。周辺分野を理解すると位置づけが明確になる。
9.1 回帰問題
回帰問題は、連続値を予測する課題である。分類と異なり、出力が数値の大きさを持つ。目的変数の性質によって、どちらの枠組みを使うかが決まる。
9.2 クラスタリング
クラスタリングは、ラベルなしで似た事例をまとめる方法である。分類と似て見えるが、正解ラベルの有無が大きな違いである。データ構造の探索や前処理に利用される。
9.3 確率推定
確率推定は、各クラスに属する見込みを数値として見積もる。単なる最終判定だけでなく、信頼度や順位付けにも関係する。意思決定の柔軟性を高める要素である。
9.4 パターン認識
パターン認識は、入力から規則や型を見いだして識別する広い分野である。分類問題はその中核的な課題の一つに当たる。画像、音声、文字など多様な対象を扱う枠組みとして発展してきた。