はじめに

　『Pythonで学ぶ空間データサイエンス入門』の独学ノートです。本の内容から寄り道してアレコレ考えます。
　本を読んだ上で補助的に読んでください。　

　この記事では、線形回帰モデルにて登場する冪等行列(べき等行列)について、数式を使って解説します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
3.2.2 冪等行列の性質の導出
- 定義式の確認
- 性質の導出
参考文献
おわりに

3.2.2 冪等行列の性質の導出

　冪等行列(idempotent matrix)の性質を導出します。
　ハット行列(hat matrix)については「3.2.2：ハット行列の性質の導出【空間データサイエンス入門のノート】 - からっぽのしょこ」を参照してください。

定義式の確認

　まずは、冪等行列の定義を数式で確認します。

　 $N \times M$ の行列を変数 $\mathbf{X}$ とします。

$\displaystyle \mathbf{X} = \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1M} \\ x_{21} & x_{22} & \cdots & x_{2M} \\ \vdots & \vdots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NM} \end{pmatrix}$

　冪等行列 $\mathbf{M}$ は、単位行列 $\mathbf{I}$ とハット行列 $\mathbf{S}$ の差で定義されます。

$\displaystyle \begin{align} \mathbf{M} &= \mathbf{I} - \mathbf{S} \tag{1}\\ &= \mathbf{I} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \tag{2} \end{align}$

　 $\mathbf{A}^{\top}$ は $\mathbf{A}$ の転置行列、 $\mathbf{A}^{-1}$ は $\mathbf{A}$ の逆行列を表します。
　後の項は $(N \times M)$ 、 $(M \times N)$ 、 $(N \times M)$ 、 $(M \times N)$ の行列の積なので、 $\mathbf{S}$ や $\mathbf{M}$ は $N \times N$ の正方行列になります。
　 $\mathbf{I}$ も同じ形状とします。 $n \times n$ の単位行列の形状を明示する場合は $\mathbf{I}_n$ と表記します。

性質の導出

　次は、冪等行列の性質を数式で確認します。

転置

　冪等行列 $\mathbf{M}$ の転置を考えます。

$\displaystyle \begin{aligned} \mathbf{M}^{\top} &= (\mathbf{I} - \mathbf{S})^{\top} \\ &= \mathbf{I}^{\top} - \mathbf{S}^{\top} \\ &= \mathbf{I} - \mathbf{S} \\ &= \mathbf{M} \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(1)より、 $\mathbf{M}$ の転置行列の式を立てます。
2: 転置行列の性質 $(\mathbf{A} + \mathbf{B})^{\top} = \mathbf{A}^{\top} + \mathbf{B}^{\top}$ より、転置行列を分割します。
3: 単位行列(対称行列)の性質 $\mathbf{I}^{\top} = \mathbf{I}$ より、転置行列と元の行列が一致します。
3: ハット行列の性質 $\mathbf{S}^{\top} = \mathbf{S}$ より、転置行列と元の行列が一致します。
4: 式全体が定義式(1)なので、 $\mathbf{M}$ に置き換えます。

　 $\mathbf{M}$ の転置行列は、 $\mathbf{M}$ になります。よって、 $\mathbf{M}$ は対称行列であることが分かります。

n乗

　冪等行列 $\mathbf{M}$ の2乗を考えます。

$\displaystyle \begin{aligned} \mathbf{M} \mathbf{M} &= (\mathbf{I} - \mathbf{S}) (\mathbf{I} - \mathbf{S}) \\ &= \mathbf{I} \mathbf{I} - \mathbf{I} \mathbf{S} - \mathbf{S} \mathbf{I} + \mathbf{S} \mathbf{S} \\ &= \mathbf{I} - \mathbf{S} - \mathbf{S} + \mathbf{S} \\ &= \mathbf{I} - \mathbf{S} \\ &= \mathbf{M} \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(1)より、2つの $\mathbf{M}$ の行列の積の式を立てます。
2: 括弧を展開します。
3: 単位行列の性質 $\mathbf{I} \mathbf{A} = \mathbf{A} \mathbf{I} = \mathbf{A}$ より、 $\mathbf{I}$ は消えます。
3: ハット行列の性質 $\mathbf{S} \mathbf{S} = \mathbf{S}$ より、2乗の項は1乗の項になります。
4: 式を整理します。
5: 式全体が定義式(1)なので、 $\mathbf{M}$ に置き換えます。

　 $\mathbf{M}$ の2乗は、 $\mathbf{M}$ になります。
　また、自分自身を掛けても変化しないので、n乗しても変化しません。この性質から冪等行列と呼ばれます。

　 $\mathbf{X}$ を用いた定義式(2)からも変形できるのを確認します。

$\displaystyle \begin{aligned} \mathbf{M} \mathbf{M} &= \Bigl( \mathbf{I} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \Bigr) \Bigl( \mathbf{I} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \Bigr) \\ &= \mathbf{I} \mathbf{I} - \mathbf{I} \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \\ &\qquad - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{I} + \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \\ &= \mathbf{I} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \\ &\qquad - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} + \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \\ &= \mathbf{I} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \\ &= \mathbf{M} \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(2)より、2つの $\mathbf{M}$ の行列の積の式を立てます。
2: 括弧を展開します。
3: 逆行列の性質 $\mathbf{A}^{-1} \mathbf{A} = \mathbf{A} \mathbf{A}^{-1} = \mathbf{I}$ より、 $(\mathbf{X}^{\top} \mathbf{X})$ を1つの行列とみなすと、 $(\mathbf{X}^{\top} \mathbf{X})^{-1} (\mathbf{X}^{\top} \mathbf{X})$ または $(\mathbf{X}^{\top} \mathbf{X}) (\mathbf{X}^{\top} \mathbf{X})^{-1}$ は単位行列になり消えます。
4: 式を整理します。
5: 式全体が定義式(2)なので、 $\mathbf{M}$ に置き換えます。

　同じ式になりました。

変数との積

　冪等行列 $\mathbf{M}$ と変数 $\mathbf{X}$ の積を考えます。

$\displaystyle \begin{aligned} \mathbf{M} \mathbf{X} &= (\mathbf{I} - \mathbf{S}) \mathbf{X} \\ &= \mathbf{I} \mathbf{X} - \mathbf{S} \mathbf{X} \\ &= \mathbf{X} - \mathbf{X} \\ &= \mathbf{0} \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(1)より、2つの行列 $\mathbf{M}, \mathbf{X}$ の行列の積の式を立てます。
2: 括弧を展開します。
3: ハット行列の性質 $\mathbf{S} \mathbf{X} = \mathbf{X}$ より、ハット行列と変数の積は変数になります。
4: 式を整理します。

　 $\mathbf{M}, \mathbf{X}$ の積は、 $\mathbf{0}$ になります。全ての要素が $0$ の行列をゼロ行列と呼び、 $\mathbf{0}$ で表します。

　 $\mathbf{X}$ を用いた定義式(2)からも変形できるのを確認します。

$\displaystyle \begin{aligned} \mathbf{M} \mathbf{X} &= \Bigl( \mathbf{I} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \Bigr) \mathbf{X} \\ &= \mathbf{I} \mathbf{X} - \mathbf{X} (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{X} \\ &= \mathbf{X} - \mathbf{X} \\ &= \mathbf{0} \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(2)より、2つの行列 $\mathbf{S}, \mathbf{X}$ の行列の積の式を立てます。
2: 括弧を展開します。
3: 逆行列の性質より、後の4つの行列は単位行列になり消えます。
4: 式を整理します。

　同じ式になりました。

ハット行列との積

　冪等行列 $\mathbf{M}$ とハット行列 $\mathbf{S}$ の積を考えます。

$\displaystyle \begin{aligned} \mathbf{M} \mathbf{S} &= (\mathbf{I} - \mathbf{S}) \mathbf{S} \\ &= \mathbf{I} \mathbf{S} - \mathbf{S} \mathbf{S} \\ &= \mathbf{S} - \mathbf{S} \\ &= \mathbf{0} \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(1)より、2つの行列 $\mathbf{M}, \mathbf{S}$ の行列の積の式を立てます。
2: 括弧を展開します。
3: ハット行列の性質 $\mathbf{S} \mathbf{S} = \mathbf{S}$ より、2乗の項は1乗の項になります。
4: 式を整理します。

　 $\mathbf{M}, \mathbf{S}$ の積は、 $\mathbf{0}$ になります。

トレース

　冪等行列 $\mathbf{M}$ のトレースを考えます。

$\displaystyle \begin{aligned} \mathrm{trace}(\mathbf{M}) &= \mathrm{trace}(\mathbf{I}_N - \mathbf{S}) \\ &= \mathrm{trace}(\mathbf{I}_N) - \mathrm{trace}(\mathbf{S}) \\ &= N - M \end{aligned}$

途中式の途中式(クリックで展開)

1: 定義式(1)より、 $\mathbf{M}$ のトレースの式を立てます。
2: トレースの性質 $\mathrm{tr}(\mathbf{A} + \mathbf{B}) = \mathrm{tr}(\mathbf{A}) + \mathrm{tr}(\mathbf{A})$ より、トレースの項を分割します。
3: トレースの性質 $\mathrm{tr}(\mathbf{I}_n) = n$ より、単位行列のトレースは次元数になります。
3: ハット行列の性質 $\mathrm{tr}(\mathbf{S}) = \mathrm{tr}(\mathbf{I}_M) = M$ より、変数の列数になります。

　 $\mathbf{M}$ のトレースは、 $\mathbf{X}$ の行数と列数の差になります。

　ここまでの記事では、線形回帰モデルにて登場する特殊な行列を確認しました。次からの記事では、線形回帰モデルの最小二乗法を確認します。

参考文献

Pythonで学ぶ空間データサイエンス入門: 地域の特徴を発見する方法

作者:植杉　大
Independently published

Amazon

おわりに

　この行列もハット行列も性質で言うと射影行列であり冪等行列であるということで、えーっとそういうのは困ります。

【次の内容】

からっぽのしょこ

読んだら書く！書いたら読む！同じ事は二度調べ(たく)ない

3.2.2：冪等行列の性質の導出【空間データサイエンス入門のノート】

はじめに

3.2.2 冪等行列の性質の導出

定義式の確認

性質の導出

転置

n乗

変数との積

ハット行列との積

トレース

参考文献

おわりに