距離尺度

1 距離尺度の基礎

1.1 距離尺度の目的と位置づけ

1.1.1 「近い／遠い」を数値化する意義

距離尺度は、対象の「隔たり」を数値として扱うための取り決めである。近接度を数値化できると、試行ごとに発生する主観的な判断を、再現可能な手順に置き換えられる。特にデータ解析では、比較の量を統一することが検証や意思決定の基盤になる。 また「近い／遠い」が同じ意味になるとは限らないため、距離の定め方そのものが解釈の一部として扱われる点が重要である。

1.1.2 統計解析・機械学習での利用場面

距離尺度は、分類や回帰の前処理で用いられることがあるほか、クラスタリングや近傍探索など、相対比較が中心となる手法で頻出する。次元圧縮や埋め込み学習では、低次元空間での距離関係をどう維持するかが設計目標になる。 さらに、モデルの損失関数が距離に基づく形で表される場合、距離尺度の選択が学習挙動に直結する。実務上は、データの表現（特徴量）と距離の整合性を調べることが不可欠になる。

1.2 距離関数の基本定義

1.2.1 対象集合と距離関数の形式

距離尺度は、対象集合 \(X\) 上で定義される距離関数 \(d: X \times X \to \mathbb{R}\) として表されるのが一般的である。対象が数値ベクトルなら成分間の差から距離を計算できるが、対象がカテゴリや順序データ、集合や確率分布である場合は、表現方法や距離の定義を工夫する必要がある。 このとき、距離関数は「どの側面を隔たりとして捉えるか」を明示する装置でもある。

1.2.2 値域の解釈とスケーリング

距離関数の値域は、しばしば非負の実数に限定される。単に数が大きいほど「遠い」と解釈されるだけでなく、距離の単位やスケールは手法の挙動に影響する。 例えば、距離を一定倍すると閾値や正則化の効果が変わり得る。そこで、特徴量の標準化や、距離の再スケーリング（上限化、温度パラメータ的な調整など）により、比較の基準を整えることが行われる。

1.3 距離の公理（距離空間の性質）

1.3.1 非負性と同一性

非負性は、任意の \(x,y \in X\) に対して \(d(x,y) \ge 0\) を要求する性質である。値が負にならないため、隔たりの解釈が破綻しにくい。 同一性（同一不可識別性）は、距離がゼロのときに同じ点であることを結び付ける条件であり、通常 \(d(x,y)=0\) が成り立つのは \(x=y\) のときに限ると定義される。

1.3.2 対称性と三角不等式

対称性は、方向に依存しない隔たりを意味し、任意の \(x,y\) に対し \(d(x,y)=d(y,x)\) が成り立つことを要求する。 三角不等式は、直接の移動よりも「中継」した場合の方が距離を短縮できないことを表し、\(d(x,z)\le d(x,y)+d(y,z)\) の形で記述される。これらの性質が成り立つ距離は幾何的直観と整合しやすく、最短経路や近傍概念の扱いにも利点が生じる。

2 主要な距離尺度の種類

2.1 代表的な距離（幾何学的距離）

2.1.1 ユークリッド距離

ユークリッド距離は、成分差の二乗和の平方根として定義されることが多い。直感的には、座標空間での最短距離（直線距離）に対応しやすい。 データがベクトル \(x=(x_1,\dots,x_n)\)、\(y=(y_1,\dots,y_n)\) のとき、\(d(x,y)=\sqrt{\sum_{i=1}^n (x_i-y_i)^2}\) と表される。

2.1.1.1 二乗和に基づく計算と直感

二乗和を用いるため、成分ごとの差が大きい場合に距離への寄与が強くなる。結果として、外れた値や極端な差に対し敏感になりやすい。 一方で、ユークリッド距離は回転や並進のような幾何変換に対して扱いやすい性質を持ち、解析的な議論やアルゴリズム実装で採用されやすい。

2.1.2 マンハッタン距離

マンハッタン距離は、各成分差の絶対値の総和として与えられる。格子状の移動を考えたときの経路長に相当する直感を持ちやすい。 二乗を用いないため、極端な差の影響がユークリッド距離よりも相対的に抑えられることがある。

2.1.3 マハラノビス距離

マハラノビス距離は、相関構造と分散の大きさを考慮する距離である。単純な成分差に加え、データの共分散行列の逆行列を用いてスケールを補正する。 その結果、同じ大きさの差でも、分散が大きい方向では隔たりが小さく評価され、相関が強い方向では幾何的に整合する形で距離が決まる。

2.2 順序・成分の特性を反映する距離

2.2.1 ミンコフスキー距離

ミンコフスキー距離は、一般化された形としてユークリッド距離やマンハッタン距離を包含する。次数パラメータ \(p\) により、成分差の扱いが変わる。 典型的には \(p=2\) でユークリッド距離に、\(p=1\) でマンハッタン距離に一致する。\(p\) を調整することで「大きな差をどれだけ重視するか」を連続的に制御できる。

2.2.2 コサイン類似度からの距離化

コサイン類似度は、ベクトルのなす角の小ささを基にした指標であり、方向の一致度を捉える。距離として扱う場合は、類似度を変換して非負の隔たりにする。 例えば「角が大きいほど遠い」という解釈を維持する変換が選ばれることが多い。長さのスケールよりも向きの一致を重視したい場面で有効になり得る。

2.2.3 ハミング距離と一致・不一致の扱い

ハミング距離は、離散的な成分のうち一致しない要素数（または割合）を数える考え方に基づく。ビット列やカテゴリ列の比較に適している。 同一性や不一致の回数を直接反映するため、編集コストや逐次比較とは別の性質を持つ。成分が順序を持つかどうか、近接の定義に意味があるかはデータ特性とともに検討する。

2.3 集合・分布に対する距離

2.3.1 Jaccard距離

Jaccard距離は、集合の共通部分と和集合の関係を用いる。集合 \(A\) と \(B\) について、類似度 \( \frac{	A\cap B	}{	A\cup B	}\) を作り、それを距離へ変換する形が一般的である。

特に、出現の有無（集合としての特徴）を比較する用途で用いられやすい。

2.3.2 カーネルや埋め込みを介した距離の考え方

カーネルは「内積の形での類似」を扱う枠組みであり、そこから距離を構成できる場合がある。埋め込みは高次元の対象を別空間へ写像し、その空間での距離に意味を持たせる発想である。 つまり距離尺度は、原空間で直接定義する以外に、類似度の設計や表現学習を通じて間接的に実装されることがある。

2.3.3 分布間距離（概要としての位置づけ）

分布間距離は、確率分布同士の違いを数値化する枠組みである。どの性質を「違い」とみなすかに応じて複数の定義がある。 概要としては、サンプルから推定する手段、距離の滑らかさや計算量の扱い、学習への組み込みやすさといった観点が論点になる。

3 距離尺度の選び方と実務上の論点

3.1 スケールと正規化

3.1.1 特徴量の標準化・正規化

距離は成分の大きさに影響されるため、標準化や正規化は頻繁に行われる。標準化では平均や分散を基準化し、スケールの差を緩和する。正規化では値域を揃えることで、成分ごとの寄与が偏るのを抑える狙いがある。 どの処理が適切かは、距離の定義と特徴量の意味（量か頻度か、単位が揃っているか）に依存する。

3.1.2 単位の影響と距離の歪み

同じ数値差でも単位が異なると、距離は実質的な意味を欠くことがある。例えば長さと温度のように単位が異なる特徴量をそのまま合成すると、どちらの成分が支配的かが単純な数値スケールで決まり得る。 結果として、解析上の「重要な隔たり」が別の要因で上書きされる。これが距離の歪みとして現れるため、単位設計は距離選択と同格の工程になる。

3.2 外れ値・欠損への頑健性

3.2.1 外れ値が距離に与える影響

外れ値は距離の計算に強く影響し、近傍関係やクラスタ境界を変形させる。二乗を含む距離は特に影響が大きくなることがある。 対策としては頑健な尺度の採用、距離の前段における変換（例えばウィンスケリ処理やログ変換）、あるいは特徴量の選別が検討される。

3.2.2 欠損値を含む場合の距離設計

欠損があると、どの成分を比較したかで距離の意味が変わる。単純に欠損をゼロで埋めると、存在しない情報が実在の差として扱われる恐れがある。 設計上は、利用可能な成分だけで計算しつつ補正を入れる、欠損を別カテゴリとして扱う、または欠損を含むモデル側の学習設計を優先するなど、目的に応じた選択が求められる。

3.3 次元の呪いと距離の有効性

3.3.1 次元増加による距離の集中

高次元では、データ点同士の距離が互いに近い値へ集まりやすくなる現象が知られている。隔たりの分解能が低下すると、近傍探索やクラスタリングの根拠が弱まる。 この「差が出にくい」状況は距離尺度の良し悪しだけでなく、特徴表現と次元構造の影響も反映する。

3.3.2 次元圧縮と距離評価の関係

次元圧縮は距離の計算を軽くするだけでなく、距離が意味を持つ空間を探すことにもつながる。線形圧縮でも非線形埋め込みでも、目的はしばしば「近い関係の維持」または「判別に必要な構造の保持」である。 ただし圧縮によって距離の解釈が変わるため、評価指標に基づき、分類や検索の性能が向上しているかを確かめる必要がある。

3.4 検証方法（距離の良さの測り方）

3.4.1 教師データがある場合の評価

教師ありの場合、距離尺度を特徴量として用いる、あるいは近傍ベースの分類器を構成して性能を測ることができる。例えばk近傍法の精度、マージン、誤分類率などが距離選択の指標になる。 距離が原因で誤りが起きているかは、誤り例の分析や距離分布の可視化によって検証しやすくなる。

3.4.2 教師データがない場合の評価

教師なしでは、クラスタの安定性、近傍の一貫性、または再現性の高い部分構造の抽出といった観点で評価することがある。内部指標（凝集度と分離度のバランス）や、外部指標が使える場合は外部基準も用いる。 距離が抽出した構造が実世界の意味と対応するかは、ドメイン知識や後段タスクの結果によって補強される。

4 関連概念と応用

4.1 類似度と距離の関係

4.1.1 類似度から距離へ変換する発想

類似度は「近いほど大きい」尺度として設計されることが多い。距離はその逆で「近いほど小さい」ことが求められるため、両者は単純な関係で相互変換できる場合がある。 変換関数は単調性を保ちつつ、数値範囲や公理条件への適合を考慮して選ぶのが一般的である。

4.1.2 単調変換と順位の保持

多くの検索・近傍処理では、絶対値よりも順位が重要になることがある。距離と類似度の変換が単調であれば、近傍の順序関係は維持されやすい。 ただしクラスタリングの閾値や確率化（重み付け）の計算では、値そのものが影響するため、単調性だけで十分とは限らない。

4.2 クラスタリングへの応用

4.2.1 k近傍・階層クラスタリングの距離選択

クラスタリングでは、点間の近接関係がそのままグループ形成に反映される。k近傍に基づく方法では近傍の定義が結果を左右し、階層クラスタリングでは連結条件（結合ルール）と距離尺度の両方が重要になる。 距離選択は、クラスタの形状（球状か、帯状か、疎結合か）への適合として現れる。

4.2.2 リンク関数と距離の整合

階層クラスタリングでは、距離をどのようにグループ間へ集約するか（例えば最小、最大、平均、分散に類する集約）をリンク関数として扱う。ここで距離尺度の性質（外れ値への敏感さ、成分依存性）と集約の方法が整合しないと、直感に反する結合が起きる。 したがって、距離関数とリンクの組合せをセットで検討する必要がある。

4.3 近傍探索・検索

4.3.1 最近傍探索の基本と計算コスト

最近傍探索は、全候補に対して距離を計算し最小を探す単純な方法から始められるが、データ量が大きいと計算コストが支配的になる。距離計算の計算量だけでなく、データ構造の構築や探索手順も影響する。 距離関数の計算が高価な場合、探索戦略の選択はさらに重要になる。

4.3.2 効率化（近似最近傍の位置づけ）

効率化のために、近似最近傍が使われることが多い。近似は理想的な最短距離を必ずしも返さないが、実用上の再現率を確保しつつ速度を大幅に改善できる場合がある。 近似の品質は距離尺度とデータ表現に依存するため、ベンチマークによる評価が欠かせない。

4.4 次元圧縮・埋め込み

4.4.1 距離を保つ次元圧縮の考え方

距離を保つ次元圧縮は、元空間での近接関係を圧縮後にもなるべく維持しようとする考え方である。目的は、局所的な近傍の保持や、ある種の距離の歪みを最小化することに置かれる。 ただし「何を保存するか」が固定されていないと、保存できる性質と評価指標の対応がずれるため、設計時点で優先事項を明確にする必要がある。

4.4.2 埋め込み空間での距離設計

埋め込み空間では、距離尺度が学習目標と結び付く。埋め込みの訓練時に、類似ペアを近づけ、非類似を離すような損失を距離に基づいて設計することがある。 このとき、距離が公理を満たすかどうかよりも、目的タスクでの整合性（検索性能、分類精度、教師なし構造の妥当性）が重視されることが多い。