からっぽのしょこ

読んだら書く！書いたら読む！同じ事は二度調べ(たく)ない

トップ > 攻略ノート > 3.1-2：ユークリッドノルム・ユークリッド距離の性質と計算例【『スタンフォード線形代数入門』のノート】

3.1-2：ユークリッドノルム・ユークリッド距離の性質と計算例【『スタンフォード線形代数入門』のノート】

攻略ノート 攻略ノート-スタンフォード線形代数入門 線形代数

はじめに

　『スタンフォード　ベクトル・行列からはじめる最適化数学』の学習ノートです。
　「数式の行間埋め」や「Pythonを使っての再現」によって理解を目指します。本と一緒に読んでください。

　この記事は3.1節「ノルム」と3.2節「距離」の内容です。
　ユークリッドノルムとユークリッド距離の定義式を確認して、性質を導出し、内積を使った計算を確認します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

ノルムの定義

　まずは、ユークリッドノルム(euclidean norm)の定義を確認します。
　内積については、「1.4：内積の性質と計算例【『スタンフォード線形代数入門』のノート】 - からっぽのしょこ」を参照してください。

　 \mathbf{x}のユークリッドノルムは、2乗和(内積)の平方根で定義されます。

\displaystyle \|\mathbf{x}\| = \sqrt{ x_1^2 + x_2^2 + \cdots + x_n^2 } = \sqrt{\mathbf{x}^{\top} \mathbf{x}}

　ユークリッドノルム(2乗和のノルム)をL2ノルムとも呼びます。

　その他のノルム(一般化したノルム)や、ノルムのグラフについては次の記事を参照してください。

www.anarchive-beta.com


ノルムの性質

　次は、ノルムの性質を導出します。

非負同時性

　非負同時性として、次の関係が成り立ちます。

\displaystyle \|\beta \mathbf{x}\| = |\beta| \|\mathbf{x}\|

　左辺を展開して整理すると、右辺が得られます。

\displaystyle \begin{aligned} \|\beta \mathbf{x}\| &= \left\| \beta \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} \right\| \\ &= \left\| \begin{bmatrix} \beta x_1 \\ \beta x_2 \\ \vdots \\ \beta x_n \end{bmatrix} \right\| \\ &= \sqrt{ (\beta x_1)^2 + (\beta x_2)^2 + \cdots + (\beta x_n)^2 } \\ &= \sqrt{ \beta^2 x_1^2 + \beta^2 x_2^2 + \cdots + \beta^2 x_n^2 } \\ &= \sqrt{ \beta^2 \Bigl( x_1^2 + x_2^2+ \cdots + x_n^2 \Bigr) } \\ &= \sqrt{\beta^2} \sqrt{ x_1^2 + x_2^2+ \cdots + x_n^2 } \\ &= |\beta| \|\mathbf{x}\| \end{aligned}

　平方根の性質 \sqrt{a b} = \sqrt{a} \sqrt{b}、 \sqrt{a^2} = |a|を使いました。

ノルムの計算例

　続いて、ユークリッドノルムを用いた計算例を数式で確認します。

二乗平均平方根


定義

　二乗平均は、次の式で定義されました(1.4節)。

\displaystyle \mathrm{ms}(\mathbf{x}) = \frac{ x_1^2 + x_2^2 + \cdots + x_n^2 }{ n } = \frac{1}{n} \sum_{i=1}^n x_i^2 = \frac{ \mathbf{x}^{\top} \mathbf{x} }{ n }

　二乗平均平方根は、二乗平均の平方根で定義されます。

\displaystyle \begin{aligned} \mathrm{rms}(\mathbf{x}) &= \sqrt{\mathrm{ms}(\mathbf{x})} \\ &= \sqrt{ \frac{ x_1^2 + x_2^2 + \cdots + x_n^2 }{ n } } = \frac{1}{\sqrt{n}} \sqrt{ \sum_{i=1}^n x_i^2 } \end{aligned}

　 \mathbf{x}のノルムを用いて、次の式でも表せます。

\displaystyle \mathrm{rms}(\mathbf{x}) = \sqrt{ \frac{ \mathbf{x}^{\top} \mathbf{x} }{ n } } = \frac{ \|\mathbf{x}\| }{ \sqrt{n} }


性質

　 \mathbf{x}の全ての要素が同じ値 a = x_1 = \cdots = x_nのとき、 \mathbf{x}は、1ベクトルのスカラー積で表わせます。

\displaystyle \mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} = \begin{bmatrix} a \\ a \\ \vdots \\ a \end{bmatrix} = a \begin{bmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{bmatrix} = a \mathbf{1}

　このとき、 \mathbf{x}のノルムは、次の式になります。

\displaystyle \begin{aligned} \|\mathbf{x}\| &= \sqrt{ (a \mathbf{1})^{\top} (a \mathbf{1}) } \\ &= \sqrt{ a^2 \mathbf{1}^{\top} \mathbf{1} } \\ &= \sqrt{a^2 n} \\ &= \sqrt{a^2} \sqrt{n} \\ &= |a| \sqrt{n} \end{aligned}

　1ベクトルの内積は \mathbf{1}^{\top} \mathbf{1} = nです(1.4節)。
　 \mathbf{x} = \mathbf{1}のとき( a = 1のとき) \sqrt{n}になります。

　よって、 \mathbf{x}の二乗平均平方根は、次の式になります。

\displaystyle \begin{aligned} \mathrm{rms}(\mathbf{x}) &= \frac{ |a| \sqrt{n} }{ \sqrt{n} } \\ &= |a| \end{aligned}

　 \mathbf{x} = \mathbf{1}のとき( a = 1のとき) 1になります。

和のノルム

　2つのベクトルの和のノルムは、次の式になります。

\displaystyle \begin{aligned} \|\mathbf{x} + \mathbf{y}\| &= \sqrt{ (\mathbf{x} + \mathbf{y})^{\top} (\mathbf{x} + \mathbf{y}) } \\ &= \sqrt{ \mathbf{x}^{\top} \mathbf{x} + \mathbf{x}^{\top} \mathbf{y} + \mathbf{y}^{\top} \mathbf{x} + \mathbf{y}^{\top} \mathbf{y} } \\ &= \sqrt{ \mathbf{x}^{\top} \mathbf{x} + 2 \mathbf{x}^{\top} \mathbf{y} + \mathbf{y}^{\top} \mathbf{y} } \end{aligned}

　内積の性質より、 \mathbf{x}^{\top} \mathbf{y} = \mathbf{y}^{\top} \mathbf{x}です(1.4節)。

　この記事では、ユークリッドノルムの性質を確認しました。次の記事では、ユークリッド距離の性質を確認します。

距離の定義

　まずは、ユークリッド距離(euclidean distance)の定義を確認します。

　ユークリッド距離は、ベクトルの差のユークリッドノルムで定義されます。

\displaystyle \mathrm{dist}(\mathbf{a}, \mathbf{b}) = \|\mathbf{a} - \mathbf{b}\| = \sqrt{ (\mathbf{a} - \mathbf{b})^{\top} (\mathbf{a} - \mathbf{b}) } = \sqrt{ \sum_{i=1}^n (a_i - b_i)^2 }

　ユークリッド距離をL2距離とも呼びます。

距離の性質

　ユークリッド距離の性質を導出します。

対称性

　対称性として、次の関係が成り立ちます。

\displaystyle \mathrm{dist}(\mathbf{a}, \mathbf{b}) = \mathrm{dist}(\mathbf{b}, \mathbf{a})

　右辺を展開すると、次の式になります。

\displaystyle \begin{aligned} \mathrm{dist}(\mathbf{a}, \mathbf{b}) &= \sqrt{ (\mathbf{a} - \mathbf{b})^{\top} (\mathbf{a} - \mathbf{b}) } \\ &= \sqrt{ \mathbf{a}^{\top} \mathbf{a} - \mathbf{a}^{\top} \mathbf{b} - \mathbf{b}^{\top} \mathbf{a} + \mathbf{b}^{\top} \mathbf{b} } \\ &= \sqrt{ \mathbf{a}^{\top} \mathbf{a} - 2 \mathbf{a}^{\top} \mathbf{b} + \mathbf{b}^{\top} \mathbf{b} } \end{aligned}

　内積の性質より、 \mathbf{a}^{\top} \mathbf{b} = \mathbf{b}^{\top} \mathbf{a}です。
　同様に右辺を展開すると、次の式になります。

\displaystyle \begin{aligned} \mathrm{dist}(\mathbf{b}, \mathbf{a}) &= \sqrt{ (\mathbf{b} - \mathbf{a})^{\top} (\mathbf{b} - \mathbf{a}) } \\ &= \sqrt{ \mathbf{b}^{\top} \mathbf{b} - \mathbf{b}^{\top} \mathbf{a} - \mathbf{a}^{\top} \mathbf{b} + \mathbf{a}^{\top} \mathbf{a} } \\ &= \sqrt{ \mathbf{a}^{\top} \mathbf{a} - 2 \mathbf{a}^{\top} \mathbf{b} + \mathbf{b}^{\top} \mathbf{b} } \end{aligned}

　両辺が一致しました。

　この記事では、ユークリッド距離の定義と性質を確認しました。次の記事では、ユークリッドノルムを作図します。

参考書籍

  • Stephen Boyd・Lieven Vandenberghe(著),玉木 徹(訳)『スタンフォード　ベクトル・行列からはじめる最適化数学』講談社サイエンティク,2021年.

おわりに

　距離に関して書くことが少なすぎたのでくっつけました。節の区切りとしては都合が悪いですが、内容的には一緒の方が分かりやすいかもしれません。
　三角不等式についてはルートの不等式の操作がよく分からなかったので飛ばしました。読み終わる頃には導けるようになってたりしないかな。

　さてこの記事の投稿日に公開された新曲を聴きましょうか。

　まぁ可愛い。キメキメな格好良さも魅力だけど、やっぱり楽しそうな笑顔が好き。

【次の内容】

www.anarchive-beta.com