1 正解率の定義
正解率(accuracy)は、予測や判定の結果が正しい割合を表す評価指標である。多くの場合、「正解した件数(またはサンプル)を全体の件数で割った値」として定義され、0から1、または0%から100%の範囲で示される。
正解という概念はタスク仕様に依存する。たとえば分類ではクラスラベルの一致、検定や照合では帰無仮説の採択・棄却、採点では満点相当の正答など、正誤が一意に定まる前提がある。
1.1 正解の考え方
正解とは、評価対象ごとに定められた基準に適合する状態を指す。基準はデータ作成者がラベリング規約や採点基準として明文化することが多い。
正解の定め方には、厳密一致型(完全一致のみを正とする)と許容型(一定の誤差や近さを正とみなす)がある。許容型では、許容範囲の設定が評価を左右するため、正解率を解釈する際に前提を確認する必要がある。
1.2 基本式と算出手順
正解率は、正解の数を総評価数で割ることで算出される。実装上は、各サンプルについて「正しいかどうか」を判定し、その結果を集計する。
1.2.1 分母・分子の定義
分子は「正解となったサンプル数」である。分母は「評価対象の総サンプル数」で、通常は評価データセットに含まれる全件を用いる。
ただし欠測や判定不能が存在する場合、分母から除外するか、別カテゴリとして扱うかで数値が変わる。評価設計の段階で、その扱いを統一することが重要である。
1.2.2 集計単位(例:サンプル、文、ラベル)の扱い
集計単位はタスク構造によって異なる。分類なら1サンプル=1予測、シーケンス処理なら1サンプルの中の各位置、あるいは文全体の正誤など、どこを単位として数えるかで結果が変わる。
同一サンプル内で複数の判断がある場合、(1)全判断が正しいときのみサンプルを正とする方法、(2)判断ごとに正誤を数える方法などがあり、後者はデータサイズに比例して集計が変動しやすい。研究では集計単位を明記することが求められる。
1.3 正解率が適用できるタスク
正解率は、正誤が明確に定まるタスクで特に有効である。代表例として分類、正誤判定(はい・いいえ)、照合(同一人物か否か)、検定の成否などが挙げられる。
一方で、順位付けや連続値の誤差(例:回帰)では正解が定義しにくく、別指標が用いられることが多い。回帰でも閾値を設けて「誤差が許容範囲内なら正」とするなど、設計次第で適用可能になる場合がある。
2 正解率の算出と実務上の注意
実務では、単に式を適用するだけでなく、どのデータを、どの基準で、どの単位で評価するかを揃える必要がある。設計が曖昧だと、数値の比較が難しくなる。
2.1 データ分割と評価設計
評価の信頼性はデータ分割と手順に強く依存する。特に学習に用いた情報が評価に混入すると、正解率は過大評価される。
2.1.1 学習データと評価データの区別
学習データはモデルのパラメータ調整に使用し、評価データはその調整の成果を検証するために保持する。実務では独立したデータセットを確保し、評価のたびに同じ分割を用いるのが一般的である。
2.1.1.1 検証・テストの使い分け
検証(validation)は、モデル選択やハイパーパラメータ調整のために使う領域である。テスト(test)は最終的な性能の報告に用い、学習の意思決定に利用しないことが望ましい。
検証とテストを混同すると、テストでも最適化が進み、見かけ上の性能が上がる可能性がある。報告時には、どの区分で結果を出したかを明示する。
2.2 不均衡データでの解釈
クラス不均衡があると、正解率は「多数派を選ぶ戦略」でも高くなり得る。そのため、平均化の方法や補助指標の併用が重要になる。
2.2.1 多数派クラス優位の問題
多数派クラスの割合が大きい場合、モデルが常に多数派を予測しても一定の正解率を達成できる。これは少数派の取りこぼしを隠す要因となる。
結果として、実運用上重要な少数派に対する性能が低いにもかかわらず、全体の数値だけでは問題が見えにくくなる。評価では、クラスごとの成績や比率調整を行うことが望ましい。
2.2.2 望ましい補助指標の選び方
不均衡の影響を抑えるため、適合率と再現率のような指標を併用するのが一般的である。適合率は「予測が当たっている割合」、再現率は「実際の正例をどれだけ拾えているか」を示す。
どちらを重視するかは、見逃しと誤検知のコスト配分で決まる。さらに、クラスごとの集計や、重み付き平均(たとえば少数派に大きな重みを付ける)も検討対象となる。
2.3 判定基準と閾値の影響
正解率は、出力を「正」と「誤」に変換する境界条件に左右される。特に確率出力やスコア出力を持つモデルでは、閾値設定が性能を変える。
2.3.1 予測確率の扱い
確率を出すモデルでは、通常は確率が最大のクラスを選ぶ、または閾値を超えたときに正とする、という変換が行われる。この変換規則の違いが正解率の差となって表れる。
確率の較正(calibration)が不十分だと、見かけの確率に基づく閾値設定が適切にならない場合がある。したがって、確率を用いるなら、変換規則と較正状況を説明することが望ましい。
2.3.2 同点や不確実性の取り扱い
同点(たとえば複数クラスの確率が同一)や、不確実性が大きいケースをどう扱うかも重要である。タイブレークの方法(固定順で選ぶ、ランダムに選ぶ、未判定扱いにするなど)により結果が変わり得る。
また、未判定を分母から除外するか、誤りとして数えるかは定義に依存する。再現性の観点から、同点処理や除外条件は明確に記述する必要がある。
3 正解率の評価設計(研究方法として)
研究では、正解率の数値を比較可能な形で提示することが求められる。そのためにはベースライン、再現性、統計的頑健性を体系的に設計する。
3.1 ベースラインの設定
ベースラインは、得られた改善が偶然ではないことを示すための基準である。比較対象が妥当でない場合、正解率の上昇が意味を持たない可能性がある。
3.1.1 単純モデルによる比較
簡易な手法(たとえば頻度に基づく推定、ルールベース、浅い学習器)を用いることで、問題設定の難易度を把握できる。正解率がベースラインを大きく上回るなら、提案手法の有効性が示唆される。
比較は同じ分割、同じ前処理、同等のデータ条件で行うことが望ましい。手順が異なると、改善の原因がモデルでなくデータ処理にある可能性が残る。
3.1.2 ランダム予測との比較
ランダム予測は、理想的に何も学習しない場合の期待値を示す。多クラスでは、均等に割り当てたランダムの理論的正解率が得られる。
クラス不均衡がある場合、単純な均等ランダムでは現実の基線と一致しないことがある。そのため、分布を反映したランダム(事前確率に従うサンプリング)など、目的に応じた基準が適切になり得る。
3.2 学習と評価の再現性
再現性は、正解率の差が手法固有のものか、偶然や実装差によるものかを区別するために重要である。
3.2.1 ランダムシードと集計の一貫性
学習では初期化やシャッフルによって結果が揺れることがある。研究ではランダムシードを固定するか、複数シードで平均とばらつきを提示する。
また、集計時の処理(同点時の選択、閾値の扱い、除外条件)を固定し、評価コードのバージョンや設定を文書化することが望ましい。これにより、同じ条件で同様の数値が得られる可能性が高まる。
3.2.2 同一データ分割での比較
手法間の公平な比較には、同一のデータ分割が有効である。別分割では、難易度の違いが結果に混入する。
交差検証のように分割を変えて評価する場合でも、比較対象同士で同じ分割系列を用いることで差の解釈が容易になる。特に小規模データでは分割による変動が大きくなりやすい。
3.3 統計的な頑健性
正解率はサンプル数に依存して変動するため、ばらつきの把握が重要である。
3.3.1 確認すべきばらつきの要因
変動要因として、学習初期化、ミニバッチ構成、データ分割、ラベリングの揺れ、推論時の確率処理などが挙げられる。どの段階でばらつくかを整理し、実験設計に反映する。
また、同一評価データ内でも難易度の偏り(特定クラスに偏ったサンプル)によって指標が上下することがあるため、分布の確認が必要になる。
3.3.2 信頼区間や有意差の考え方
正解率には推定誤差がある。標本比率の考え方を用いて信頼区間を提示することができ、複数回の実験では分散から比較の根拠を補強できる。
有意差検定を行う場合も、検定条件(独立性、比較単位、評価の繰り返し方法)を満たしているかに注意が必要である。検定結果だけで結論を出すのではなく、効果量と実務的な意味合いも併せて判断する。
4 正解率の限界と併用指標
正解率は理解しやすい一方で、タスクの性質によっては重要な情報を欠落させる。誤りの種類や確率的性質を反映しない点が限界として現れやすい。
4.1 正解率のみで起きる誤解
正解率が高いことが、必ずしも望ましい振る舞いを意味しない場合がある。特に誤りの方向性が重要な問題で誤解が起こりやすい。
4.1.1 偽陽性・偽陰性の差を無視する問題
二値判定では、予測が誤ったときに「過剰に正と判断する」誤りと「見逃す」誤りがある。正解率はそれらを一括で数えるため、どちらが多いかが分かりにくい。
その結果、許容できない種類の誤りが増えていても、全体の割合では相殺されて見えることがある。用途によっては、誤検知と見逃しのどちらがより致命的かを先に定め、それに応じた指標へ切り替える必要がある。
4.2 併用される評価指標
正解率を補う指標として、分類や検出の文脈で広く使われるものがある。目的に合わせて指標の意味を理解して選択することが重要である。
4.2.1 適合率・再現率
適合率は、モデルが「正」と予測した集合のうち実際にも正である割合を表す。再現率は、実際に正である対象のうちモデルが「正」と判断できた割合である。
両者はしばしばトレードオフになるため、どちらを優先するべきかを問題設定から判断する必要がある。さらに、閾値を変えたときの挙動を追うことで、運用に近い評価が可能になる。
4.2.2 F値・ROC関連指標(必要に応じて)
F値は、適合率と再現率の調和平均に基づき、両者のバランスを単一値で表す。片方だけ高い状態を抑え、総合的な性能の比較に使われることがある。
ROC関連指標は、閾値を変化させた際の挙動をまとめて評価する枠組みを提供する。これにより、特定閾値に依存しすぎた評価を避けやすくなる。ただし、クラス比率が大きく異なる状況では解釈に注意が要る。
4.3 回答形式別の使い分け
正解率は回答形式の違いによって適切さが変わる。出力がクラスラベルなのか、選択肢なのか、採点に近いのかで設計が異なる。
4.3.1 多クラス分類
多クラスでは通常、各サンプルに対して最大スコアのクラスを選ぶ。正解率は全クラスをまとめて評価するため、クラスごとの性能差が隠れる可能性がある。
そのため、クラス別の正解率や、マクロ平均・重み付き平均などの集計方法を併記すると解釈が改善する。特定のクラスへの偏りがあるかを確認できる。
4.3.2 回答選択式・採点式の評価
回答選択式では、選択した選択肢が正解かどうかで正誤を定義でき、正解率が直接使えることが多い。一方、採点式では部分点や段階評価が導入されるため、単純な正誤よりも別のスコアが適切になる場合がある。
採点式を正解率に圧縮するには、基準点(例:満点のみを正とする、一定以上を正とする)を決める必要がある。基準設定が結果に与える影響が大きいため、定義の明確化が欠かせない。