平均適合率（AP）の概要
適合率とランキング評価
情報検索では、検索結果が順位つきリストとして提示される。ユーザ価値は「関連文書がどの程度上位に現れるか」「どれだけの関連が回収されるか」に強く依存するため、単一の正誤判定では序列の良し悪しを表しにくい。適合率（Precision）は、ある位置までに含まれる候補のうち関連の割合を表す指標として用いられるが、順位全体の振る舞いを一つに要約するには追加の集計が必要になる。平均適合率（AP）は、その集計の代表例であり、順位依存の性能を反映するよう設計されている。
平均適合率の定義
平均適合率は、ランキング上で関連文書が出現する位置に応じて、その時点での適合率を取り出し、関連の出現回数に基づいて平均することで得る。直感的には「関連が現れるたびに、いまの順位で関連の濃度がどれほど高かったか」を積み上げる方式である。APの基本要素は、(1) 関連文書の位置、(2) その位置ごとの適合率、(3) それらの平均化であり、評価対象クエリごとに算出するのが一般的である。
関連文書が現れる位置による重み付け
APでは、関連文書が上位に現れるほど、その時点の適合率に基づく寄与が大きくなりやすい。具体的には、関連が出現するたびに算出される適合率は、それまでに現れている文書数に対する比として決まるため、序盤で関連が出れば比率が高くなり、下位での出現では比率が下がりやすい。この仕組みが結果として位置への重み付けを生む。
階段状の累積適合率の計算
ランキングを上から順に走査すると、累積適合率は「関連が出たときに更新され、非関連では変化しない」という階段状の挙動をとる。APは、その階段のうち関連出現点での値を選び、関連の総数（あるいは定義上の分母）で平均する。したがって、関連の位置の並びが同じでも、非関連の挿入が増えると階段の高さが低下し、APが下がる。
適用される場面
検索ランキングの評価
APは、順位の質を検証する目的で情報検索システムのオフライン評価に広く使われる。検索、ドキュメントリトリーバル、レコメンド、類似画像検索など、関連性が段階的にラベル付けされる場合は別指標が併用されることもあるが、二値の関連性（関連／非関連）を前提とした評価では特に解釈しやすい。順位の早期性と、関連の回収度合いの両方を同時に反映するため、ランキング改善の比較で用いられる。
情報検索と機械学習の指標としての利用
機械学習では、モデル選択やハイパーパラメータ調整のために評価指標が必要となる。APは、教師データで得た関連ラベルに基づきランキングを採点するため、学習済みモデルの比較に利用できる。さらに、損失関数を直接AP最適化に結びつける手法も研究されてきたが、実務ではまず評価指標として位置づけ、学習側は別の目的関数を用いる構成が多い。
計算方法と細部
単一クエリに対する算出
関連文書の集合と真のラベル
単一クエリでは、評価対象の候補集合と、その中の「真の関連性ラベル」が必要になる。真の関連性は、専門家の判断、ユーザの行動ログ（クリックや購買など）、あるいは合成手続きにより決められることがある。二値化された場合は関連集合（正例）と非関連集合（負例）に分けられ、APの計算は関連集合に属する文書がランキング中でどの位置に出現するかで決まる。
ランキングにおける適合率の逐次計算
ランキングは上位から順に並び、位置 i（1始まり）での適合率は「上位 i 件のうち関連が何件か」を i で割った値として定義される。走査の各ステップで適合率が更新され、関連が出現した位置ではその時点の適合率がAPの構成要素として記録される。非関連の位置では累積適合率の値は変わらないが、関連出現点では計算値が評価に寄与する。
最終的な平均（AP）の集計
関連が出現した位置を順に i1, i2, …, iR とすると、APは関連出現点での適合率の平均として表されることが多い。分母は関連の総数 R に対応し、関連がどれだけ回収されたかが自然に反映される。実装上は、ランキング全体を走査して関連出現点の適合率だけを集め、最後にそれらを関連数で割る形に整理される。定義の細部として、関連が存在しないクエリをどう扱うか（除外かゼロか等）が評価設計として決められる。
複数クエリでの集計
平均AP（mAP）の考え方
複数クエリを評価する場合、各クエリで算出したAPを平均した値が平均AP（mean Average Precision: mAP）として用いられる。mAPは、あるクエリでたまたま順位が良かっただけでは全体のスコアを押し上げにくく、クエリごとの難しさのばらつきをある程度ならして比較できる。分類や検出の文脈でmAPという呼称が定着していることもあり、実務では「mAP=平均したAP」という理解が基本になる。
クエリ数・データ分割の影響
mAPは評価データの構成に影響される。特定のクエリ群に難易度が偏っていると平均値の解釈が変わるため、通常は訓練・検証・テストの分割において同じルールで集計する。クエリ数が少ない場合は推定のばらつきが大きくなるため、ブートストラップや信頼区間を併用して安定性を確認することがある。また、時間経過や語彙の変化によりクエリ分布が変化するため、再評価の周期設計も実務上の論点になる。
評価パラメータの扱い
カットオフ（上位k）を使う場合
現実の検索では全件を提示しないことが多く、上位 k 件までに限定して評価したい要請が生まれる。そこで、関連出現点を上位kまでに制限し、残りは無視する方式が採用されることがある。カットオフの導入は、早期表示を重視する設計意図と整合する一方、下位に埋もれた関連の回収度合いを反映しにくくなる。APの定義自体は分母や平均対象により差が出るため、上位k評価を行う場合は仕様を明記することが重要になる。
関連文書数が少ない場合の注意点
あるクエリでは関連文書が極端に少ないことがある。このときAPは分母が小さいため、1件の順位変化がスコアを大きく動かしやすい。例えば、関連が1件しかない場合、APはその関連が出現した位置に強く依存し、ランキング全体の改善の影響が見えにくくなる場合がある。対策として、関連の定義やラベル収集の拡充、クエリ群の設計、あるいは補助指標との併用が検討される。
関連指標との関係
適合率（Precision）との違い
Precisionは通常、ある固定したカット（例えば上位N）に対して計算されることが多い。APは、固定点だけでなく、関連が出たタイミングごとの適合率を参照し、関連出現点をつなぐ形で平均を取る点が異なる。結果としてAPは、早期に関連が現れるほど高くなりやすく、かつ関連の散らばりにも影響されるため、単一Precisionよりも順位全体の性質を反映しやすい。
再現率（Recall）との関係
再現率（Recall）は、関連文書のうちどれだけ回収できたかを表す。APはRecall単独ではないが、関連出現点の平均化を通じて、回収の不足がスコア低下につながる。すなわち、関連が十分に見つからない場合には関連出現点が少なくなる（あるいは分母を満たせない扱いになる）ため、結果として値が伸びにくい。一方で、Recallの値が高くても関連が遅い位置に固まると適合率の寄与が下がり、APが必ずしも高くならない。
PR曲線とAPの対応
PR曲線（Precision-Recall曲線）は、閾値やカット条件を変えることでPrecisionとRecallの関係を描く概念として理解されることが多い。APはPR曲線の面積に相当する形で解釈される場合があり、離散的な関連出現点の適合率を使うため、PR曲線の要約としての性格を持つ。実務では、APが「関連が得られるまでの精度の推移」をまとめて示す指標であると捉えると理解しやすい。
nDCGやMRRとの比較観点
nDCG（正規化割引累積利得）は、関連度が複数レベルで与えられる状況でも扱いやすく、順位の割引（上位をより強く評価）を組み込む。APは二値関連を前提にした平均適合率として捉えやすいが、関連度の段階やユーザ価値の表現方法によってはnDCGの方が適合する場合がある。MRR（Mean Reciprocal Rank）は最初に関連が出た位置に着目するため、早期発見に重点を置きたい場面で有効だが、以降の関連回収には鈍感になりがちである。したがって、目的に応じてAP・nDCG・MRRのどれを主指標にするかを決める必要がある。
解釈・実務での注意点
スコアの意味と読み取り
APは0から1の範囲で解釈でき、値が高いほど関連が上位に多く現れる傾向を示す。読み取りでは「高い=早いだけでなく、関連が出るたびの適合率が保たれている」ことに注意が必要である。単に上位に1件だけ現れても、関連が複数存在する場合は平均の性格上、スコアが大きく伸びにくいことがある。逆に、下位に関連が固まる場合は適合率の寄与が下がりやすい。
データの偏りが与える影響
評価データにはクエリ難易度の偏りや、ラベル付けの網羅性の差が含まれうる。例えば、特定のドメインでラベルが多いクエリが多く含まれると平均がそのドメインの性能に引っ張られる。さらに、同一人物の行動に基づくラベルは個人嗜好を反映しやすく、関連性の定義が状況により変化することもある。偏りがあると、APの差が「モデルの真の改善」を意味しない可能性が生まれるため、分割とサンプリングの設計が重要になる。
関連性ラベルの品質管理
APは、真の関連性として扱うラベルの品質に依存する。誤ったラベル（関連を見落とした、非関連を関連とした）やラベルの粒度の不整合があると、ランキングの優劣とは無関係にスコアが振れうる。品質管理として、ラベルガイドラインの整備、複数評価者による一致度の確認、曖昧例の扱い統一などが行われる。二値化する場合も、境界的なケースの扱いを定義しておくと再現性が高まる。
仕様決定（設計）の実務ポイント
APを導入する際には、定義の細部を評価仕様として固定する必要がある。典型的な論点は、(1) 関連が存在しないクエリの扱い、(2) カットオフの有無、(3) 分母に用いる関連数の決め方、(4) 複数ラベルの統合（段階がある場合の二値化ルール）などである。これらが未定義のまま運用されると、チーム間で数値の比較が難しくなる。比較可能性を担保するため、指標の算出手順を明文化し、実装と一致させることが実務上の要点となる。