1 カッパ係数の概要
1.1 定義と目的
1.1.1 偶然一致の補正の考え方
カッパ係数（κ係数）は、複数の判定者（または同一判定者の別時点）がカテゴリに分類した結果について、観測された一致が「偶然として起こりうる一致」をどれだけ上回っているかを数値化する指標である。分類では各カテゴリの出現頻度に偏りがあることが多く、その偏りだけでも判定者が同じ結果を選びやすくなる。κ係数は、この周辺条件から生じる一致を期待値として見積もり、実際の一致との差として補正する点に特徴がある。
1.1.2 一致度の評価指標としての位置づけ
κ係数は、分類ラベルの信頼性（再現性）を評価する目的で用いられる。観測一致率のように単純に一致の割合だけを見ると、データのカテゴリ分布が偏っている場合に過大評価になりやすい。一方でκ係数は、頻度による偶然一致を差し引くため、判定者間の合意が「形式的な流行カテゴリの選択」ではなく「判断の整合」に由来するかを相対的に評価しやすい。
1.2 用語と前提
1.2.1 観測一致率と期待一致率
観測一致率は、判定者が同一項目に対して同じカテゴリを付与した割合である。期待一致率は、カテゴリ頻度から独立に選んだとしても一致がどの程度起こるかを表す。κ係数は「観測一致率−期待一致率」を「期待一致率から見込まれる一致可能性」で正規化する構造になっており、偶然による一致を基準点としている。
1.2.2 検討対象（判定者・カテゴリ・時点）
κ係数の対象は、カテゴリ化されたデータである。判定者とは、分類を行う人またはモデルを指し、時点は同一判定者が異なる期間に付与したラベルを含めうる。カテゴリは名義尺度として扱われることが多いが、順序関係を反映させたい場合には重み付け版が利用される。さらに、項目（対象単位）は同一である必要があり、各項目で判定者が対応するラベルを付けている前提が置かれる。
2 数学的定式化
2.1 基本式
2.1.1 コーエンのカッパ係数の導出
コーエンのカッパ係数（一般に2者の名義カテゴリ分類を想定）は、次の形で定義される。観測一致率を \(P_o\)、期待一致率を \(P_e\) とすると、 \[ \kappa=\frac{P_o-P_e}{1-P_e} \] ここで \(P_o\) は一致行列から計算される実際の一致割合であり、\(P_e\) はカテゴリ頻度に基づく偶然一致の見込みである。\(1-P_e\) は「偶然を除いた上で一致し得る上限」を表し、κはこの上限に対する達成度として解釈される。
期待一致率 \(P_e\) は、判定者1と判定者2がそれぞれカテゴリ \(i\) を付与する確率（周辺分布）から、独立仮定で一致確率を合計して求める。すなわち、カテゴリ集合を \(i=1,\dots,K\) として、判定者1の \(i\) への周辺確率を \(p_{i\cdot}\)、判定者2の \(i\) への周辺確率を \(p_{\cdot i}\) とすると、 \[ P_e=\sum_{i=1}^{K} p_{i\cdot}p_{\cdot i} \] この仕組みにより、カテゴリ分布が偏っている場合でも、その影響を期待項として控除できる。
2.1.1.1 一致行列（クロス集計表）の使い方
一致行列は、判定者1のカテゴリを行、判定者2のカテゴリを列として並べた表である。各セルには該当する項目数（または割合）が入り、対角要素が一致を表す。計算では、対角和から \(P_o\) を得て、各行合計・各列合計から周辺分布を作り、独立仮定のもとで \(P_e\) を構成する。実務ではセルの数値が総数で割られて確率として扱えるため、作業の確認がしやすい。
2.1.2 κの解釈域（負値・0・1付近）
κは一般に−1から1の範囲で解釈されることが多い。κ=1は完全一致を意味する。κ=0は、観測一致が偶然一致の期待値に等しいことを示す。負の値は、観測された一致が偶然の期待よりも低いことを意味する。負になりうるのは、偏りやカテゴリの割り当て方によって、独立に選ぶよりもむしろ食い違いが多くなる状況が起こりうるためである。上限が1である一方、下限は状況により変動し得る。
2.2 多カテゴリへの拡張
2.2.1 カテゴリ数が増える場合の性質
カテゴリ数 \(K\) が増えるほど、単純には一致が起こりにくくなる傾向がある。κ係数はこの影響を期待一致率に内包するため、単純一致率よりは比較可能性が高い場合がある。ただし、実際にはカテゴリ定義の細分化が判定の曖昧さを増やし、不一致を誘発する可能性がある。結果として、カテゴリ数の増加はκの低下要因にもなり得る。
2.2.2 頻度偏りが与える影響
頻度偏りとは、特定カテゴリが多数を占める状況を指す。例えば多数派カテゴリだけを選ぶような判定では、観測一致が高く見えても、偶然一致の期待も高くなるため、κは相対的に伸びにくい。逆に、判定者間で少数カテゴリの選択が食い違う場合には、偶然期待との対比で大きく低下しうる。したがってκは、どのカテゴリがズレているかという情報を完全には分解しないものの、頻度構造に依存した解釈が必要になる。
3 主要な種類
3.1 コーエンのカッパ係数
3.1.1 同一母集団・同一条件の判定者間
コーエンのカッパ係数は、2名の判定者（あるいは2条件）のカテゴリ分類を対象にする。両者が同一のカテゴリ体系を共有し、同一母集団の項目を分類していることが前提になる。さらに、両者のラベル付与が同じ時点で比較されるか、少なくとも意味論的に同質な条件のもとで行われていることが望ましい。これらが満たされるほど、κの算出結果は「判定基準の一致」を比較的素直に反映しやすい。
3.2 フレ=ランドのカッパ係数
3.2.1 複数判定者の場合の考え方
フレ=ランドのカッパ係数は、多数の判定者における一致度を拡張して扱う。主眼は、判定者間の一致を同一の偶然モデルで補正する点にある。一般に、判定者数が増えると単純な一致率は複雑な要因の影響を受けるため、期待一致率の推定方法や合意の定義（同時一致、集計の仕方など）が結果に影響する。フレ=ランド版はそのための枠組みを与え、複数人のラベリング作業の信頼性評価に用いられる。
3.3 重み付きカッパ係数
3.3.1 順序尺度（序数）への対応
名義カテゴリではすべての不一致が同等に扱われるが、順序尺度では「近い誤り」と「遠い誤り」を区別したい。重み付きカッパ係数は、不一致の種類に応じて重みを付与し、距離の概念を導入する。たとえば満点から1段階違いと5段階違いでは影響の大きさが異なるため、重み設計によって測定の意味が変わる。
3.3.2 不一致の重み設計
重みは一致を最も高く、離れるほど低くなるように設定されることが多い。設計に際しては、カテゴリ間の順序が妥当であること、距離の尺度化が合理的であることが重要になる。重みが厳しすぎると評価が厳格になり、逆に甘いと判定のズレが見えにくくなる。したがって、評価目的（例えば審査の厳格さを反映するのか、粗い整合でもよいのか）に合わせて、重み付け規則を明確にする必要がある。
4 算出手順と実務上の注意
4.1 データ準備
4.1.1 アノテーションの設計とカテゴリ定義
最初に、カテゴリ体系を一貫して定義する。指示書（ガイドライン）では、境界が曖昧になりやすいカテゴリについて判断基準を明文化するのが望ましい。カテゴリが同じ概念を指しているか、用語の解釈が判定者ごとにずれていないかを確認することで、κの低下要因の多くがデータ準備段階で抑えられる。
4.1.2 欠測・判定不能の扱い
欠測（評価不能、未ラベル）をどう扱うかは、κ算出結果に直接影響する。典型的には、欠測を比較対象から除外する方法があるが、その場合、除外基準が偏りを生む可能性がある。別の方法として、判定不能を独立カテゴリとして扱うこともあるが、意味論が異なるため解釈が変わる。実務では、研究目的に照らしてどの取り扱いが妥当かを事前に決め、算出手順として明記する。
4.2 分析の進め方
4.2.1 一致行列の作成
一致行列を作り、各項目について判定者のラベルを対応づける。セルの集計が誤っていると期待一致率が崩れ、κが意味を失う。特にカテゴリ名の対応ずれ（表記ゆれ、別カテゴリへの誤マッピング）が起きやすいため、集計前の正規化と検算が重要である。
4.2.2 κ値の計算と確認（整合性チェック）
計算では、総数、対角要素の合計、周辺分布の再現などを確認する。簡単なチェックとして、観測一致率 \(P_o\) が対角割合に一致すること、周辺分布の合計が1になること、期待一致率 \(P_e\) が周辺分布の独立モデルで整合することを検証する。さらに、κが極端に大きい、または負になる場合は、データ入力やカテゴリ対応の問題を疑うのが基本である。
4.3 解釈のガイドライン
4.3.1 どの程度のκを「良い」とみなすか
κの「良否」は、分野と目的に依存する。一般論として、0より大きい値は偶然より一致が上回っていることを示すが、どこから実務上十分かは用途（医療診断の再現性、データ収集コスト、最終意思決定の危険度）によって異なる。したがって、単一の閾値で断定するよりも、対象データの難易度やラベル作業の成熟度と合わせて評価するのが妥当である。
4.3.2 前提違反がもたらす誤解の例
κは偶然一致の期待値を構成するため、独立性の仮定やカテゴリ定義の妥当性が揺らぐと解釈が歪む。例えば、判定者が互いの判断に影響されている場合や、カテゴリの境界が曖昧で判定が揺れている場合には、κが「真の合意形成」を正確に反映しないことがある。また、カテゴリの出現頻度が極端に偏っていると、偶然期待が過大になり、実際には改善があってもκの伸びが鈍く感じられる可能性がある。
4.4 代表的な落とし穴
4.4.1 有病割合や頻度偏りによる過小評価・過大評価
医学などでは、あるカテゴリ（例えば陽性）に対応する頻度が極端に低いことがある。この場合、単純一致率は高く見えるが、κは偶然期待を控除するため値が抑えられやすい。逆に、多数派カテゴリが強く一致しているだけでも、期待一致が上がることで改善が見えにくくなる。どちらの方向でも、データ分布が解釈を左右するため、分布の確認と併せて読むことが必要になる。
4.4.2 カテゴリの曖昧さと一致率の低下
カテゴリが曖昧で、判定者ごとに解釈が揺れると、不一致が増えてκが低下する。ここで重要なのは、κ低下が「判定者の能力不足」を直ちに意味するとは限らない点である。ガイドライン改善、例示の追加、訓練データの見直しなどにより、判定基準の共通化が進むとκが上がることが多い。
5 統計的推論（信頼区間・検定）
5.1 標準誤差と信頼区間の考え方
5.1.1 漸近近似による推定
κの推定には不確実性が伴うため、信頼区間を併記することが多い。標準誤差は、サンプルサイズが十分大きい場合に成り立つ漸近近似（近似的な分布理論）に基づいて算出することがある。これにより、推定されたκが偶然によるばらつきの範囲にあるのか、一定の差があるのかを判断しやすくなる。小標本では近似の妥当性が揺れるため、区間推定の方法選択に注意が必要である。
5.2 偶然一致の評価と比較
5.2.1 様々な条件下でのκの比較方法
κを異なる設定で比較する際には、比較可能性の条件が重要になる。カテゴリ体系が同じであること、対象項目が同質であること、欠測処理が揃っていることなどが前提である。加えて、サンプルサイズが異なると不確実性の大きさも変わるため、信頼区間や検定を伴って解釈するのが望ましい。比較の際は、単純な数値の大小だけで結論を出さず、推定誤差の影響を考慮する。
6 応用分野
6.1 医療・診断のアノテーション
医療分野では、画像所見や診断ラベルなどを専門家が付与することが多く、判定者間の一致度が品質保証の観点で重要になる。κ係数は、ラベル付与が偶然に左右されていないかを補正して評価できるため、プロトコルの見直しや追加教育の必要性を議論する際に利用される。さらに、複数施設や複数時期での再現性評価にも応用がある。
6.2 テキスト分類・情報抽出
テキスト分類では、カテゴリ定義や境界（どの語を根拠にすべきか）が結果に影響しやすい。κを用いることで、単純一致率では見落とされがちな偶然一致を調整し、アノテーションガイドの改善の効果を追跡しやすくなる。情報抽出でも、対象要素の有無や属性カテゴリの一致を評価する用途がある。
6.3 画像認識・ラベリング
画像ラベリングでは、検出対象の有無、クラス分類、段階評価などが扱われる。カテゴリが名義的であれば通常のκが、順序的評価があるなら重み付き版が適する。複数のアノテータが関与する場合、κは品質管理の指標として、追加アノテーション設計や合意形成ルールの整備に寄与する。
7 参考・関連指標
7.1 一致率（単純一致）との違い
7.1.1 偶然一致を含む評価との比較
一致率（単純一致）は、対角割合をそのまま用いるため、カテゴリ分布の偏りが大きいと偶然でも一致が増えやすい。κ係数はこの偶然要因を期待項として差し引くため、同じ一致率でも意味が異なる状況を区別しやすい。従って、両者を併せて提示すると、データ分布に起因する見え方の違いが理解しやすくなる。
7.2 他の一致度指標との関係
7.2.1 相関や調和指標との使い分け
相関係数は量的な関係の強さを扱うことが多く、名義カテゴリの一致を直接補正する枠組みとは異なる。調和指標（例：適合率・再現率系）も目的が異なり、分類問題の性能評価に焦点がある。κ係数は「同じ項目を同じカテゴリ集合に割り当てたときの合意度」を偶然補正込みで見ているため、アノテーションの信頼性評価と相性がよい。どの指標を選ぶかは、評価したい対象が一致そのものか、予測性能かで決めるのが一般的である。
8 よくある質問（FAQ）
8.1 κが負になるのはなぜか
負のκは、観測された一致が偶然一致の期待値よりも低いことを意味する。たとえば、判定者が互いに逆の傾向を持つ、あるカテゴリの割り当てに体系的なズレがある、あるいはカテゴリ頻度と実際の割り当てが不整合である場合に起こりうる。算出の前に一致行列とカテゴリ対応を点検し、そのうえでデータ特性や判定基準の差を検討するのが適切である。
8.2 判定者を増やすと何が変わるか
判定者数が増えると、個々のラベリングのばらつきが全体として見えやすくなる。2者用のκでは比較できないため、複数判定者向けの枠組みを使うことが多い。結果として、平均的な一致度が変化するだけでなく、合意に寄与している判定者とそうでない判定者の存在が見えてくることもある。加えて、カテゴリ定義やガイドラインの理解度差が浮かび上がる可能性がある。
8.3 順序尺度での重み付きカッパの選び方
順序尺度では、どの程度の差を「大きな不一致」とみなすかを重みで表す。選択では、カテゴリ間距離の仮定（均等間隔か、段階の重みを非線形にするか）と、重みが過度に厳しい／緩いことによる解釈の歪みを考慮する。実務では、少なくとも重み表（どの組み合わせにどの重みを割り当てるか）を明示し、意思決定上の意味が整合するように調整することが重要になる。