はじめに
機械学習で登場する確率分布について色々な角度から理解したいシリーズです。
この記事では、分散共分散行列とユークリッド距離・マハラノビス距離の関係を確認します。
【前の内容】
www.anarchive-beta.com
【実装編】
www.anarchive-beta.com
【他の記事一覧】
www.anarchive-beta.com
【この記事の内容】
分散共分散行列とユークリッド距離・マハラノビス距離の関係の導出
分散共分散行列(Variance–Covariance Matrix)とユークリッド距離(Euclidean Distance)・マハラノビス距離(Mahalanobis Dostance)の関係を導出します。
定義式の確認
まずは、ユークリッド距離とマハラノビス距離の定義式を確認します。
(確率)変数$\mathbf{x}$を$D$次元ベクトルとすると、平均ベクトル$\boldsymbol{\mu}$は$D$次元ベクトル、分散共分散行列$\boldsymbol{\Sigma}$は$D \times D$の行列になります。
$$
\mathbf{x}
= \begin{pmatrix}
x_1 \\
x_2 \\
\vdots \\
x_D
\end{pmatrix}
,\
\boldsymbol{\mu}
= \begin{pmatrix}
\mu_1 \\
\mu_2 \\
\vdots \\
\mu_D
\end{pmatrix}
,\
\boldsymbol{\Sigma}
= \begin{pmatrix}
\sigma_1^2 & \sigma_{1,2} & \cdots & \sigma_{1,D} \\
\sigma_{2,1} & \sigma_2^2 & \cdots & \sigma_{2,D} \\
\vdots & \vdots & \ddots & \vdots \\
\sigma_{D,1} & \sigma_{D,2} & \cdots & \sigma_D^2
\end{pmatrix}
$$
$\mu_d$は$x_d$の平均、$\sigma_d$は$x_d$の標準偏差、$\sigma_d^2 = \sigma_{d,d}$は$x_d$の分散、$\sigma_{i,j} = \sigma_{j,i}$は$x_i, x_j$の共分散です。
このとき、点$\mathbf{x}$と点$\boldsymbol{\mu}$のユークリッド距離は、次の式で定義されます。
$$
\Delta_{\mathrm{euclid}}
= \sqrt{
\sum_{d=1}^D
(x_d - \mu_d)^2
}
$$
$\mathbf{x}, \boldsymbol{\mu}$の各成分の差の平方和の平方根です。
また、マハラノビス距離は、次の式で定義定義されます。
$$
\Delta_{\mathrm{mahal}}
= \sqrt{
(\mathbf{x} - \boldsymbol{\mu})^{\top}
\boldsymbol{\Sigma}^{-1}
(\mathbf{x} - \boldsymbol{\mu})
}
$$
$\mathbf{x}, \boldsymbol{\mu}$と$\boldsymbol{\Sigma}$の逆行列の二次形式の平方根です。
ユークリッド距離を$\Delta_{\mathrm{euclid}}$、マハラノビス距離を$\Delta_{\mathrm{mahal}}$で表すことにします。
マハラノビス距離とユークリッド距離の関係
分散共分散行列が単位行列(変数間に依存関係がない)場合のマハラノビス距離を考えます。
分散共分散行列$\boldsymbol{\Sigma}$を単位行列$\mathbf{I}$とします。
$$
\boldsymbol{\Sigma}
= \begin{pmatrix}
\sigma_1^2 & \sigma_{1,2} & \cdots & \sigma_{1,D} \\
\sigma_{2,1} & \sigma_2^2 & \cdots & \sigma_{2,D} \\
\vdots & \vdots & \ddots & \vdots \\
\sigma_{D,1} & \sigma_{D,2} & \cdots & \sigma_D^2
\end{pmatrix}
= \begin{pmatrix}
1 & 0 & \cdots & 0 \\
0 & 1 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & 1
\end{pmatrix}
= \mathbf{I}
$$
つまり、各変数の標準偏差と分散が1で、共分散が0です。
単位行列の逆行列も単位行列なので、分散共分散行列の逆行列も単位行列になります。
$$
\boldsymbol{\Sigma}
= \boldsymbol{\Sigma}^{-1}
= \mathbf{I}
$$
マハラノビス距離の平方根の中(二次形式)に、単位行列を代入して計算します。
$$
\begin{aligned}
(\mathbf{x} - \boldsymbol{\mu})^{\top}
\boldsymbol{\Sigma}^{-1}
(\mathbf{x} - \boldsymbol{\mu})
&= \begin{pmatrix}
x_1 - \mu_1 & x_2 - \mu_2 & \cdots & x_D - \mu_D
\end{pmatrix}
\begin{pmatrix}
1 & 0 & \cdots & 0 \\
0 & 1 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & 1
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\vdots \\
x_D - \mu_D
\end{pmatrix}
\\
&= \begin{pmatrix}
x_1 - \mu_1 & x_2 - \mu_2 & \cdots & x_D - \mu_D
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\vdots \\
x_D - \mu_D
\end{pmatrix}
\\
&= (x_1 - \mu_1)^2
+ (x_2 - \mu_2)^2
+ \cdots
+ (x_D - \mu_D)^2
\\
&= \sum_{d=1}^D
(x_d - \mu_d)^2
\end{aligned}
$$
マハラノビス距離の定義式に代入します。
$$
\begin{aligned}
\Delta_{\mathrm{mahal}}
&= \sqrt{
(\mathbf{x} - \boldsymbol{\mu})^{\top}
\boldsymbol{\Sigma}^{-1}
(\mathbf{x} - \boldsymbol{\mu})
}
\\
&= \sqrt{
\sum_{d=1}^D
(x_d - \mu_d)^2
}
= \Delta_{\mathrm{euclid}}
\end{aligned}
$$
分散共分散行列が単位行列のとき、マハラノビス距離がユークリッド距離になるのが分かりました。
この記事では、分散共分散行列とユークリッド距離・マハラノビス距離の関係を導出しました。次は、固有値・固有ベクトルとの関係を導出します。
参考文献
- C.M.ビショップ著,元田 浩・他訳『パターン認識と機械学習 上』,丸善出版,2012年.
おわりに
多次元ガウス分布の本編が進まぬまま脱線シリーズがまだ続きます。
【次の内容】
www.anarchive-beta.com
