はじめに
『Pythonで学ぶ空間データサイエンス入門』の独学ノートです。本の内容から寄り道してアレコレ考えます。
本を読んだ上で補助的に読んでください。
この記事では、線形回帰モデルにて登場するハット行列について、数式を使って解説します。
【前の内容】
【他の内容】
【今回の内容】
3.2.2 ハット行列の性質の導出
ハット行列(hat matrix)の性質を導出します。ハット行列は、射影行列(projection matrix)とも呼ばれます。
定義式の確認
まずは、ハット行列の定義を数式で確認します。
の行列を変数 とします。
ハット行列 は、次の式で定義されます。
は の転置行列、 は の逆行列を表します。
、、、 の行列の積なので、 は の正方行列になります。
性質の導出
次は、ハット行列の性質を数式で確認します。
転置
ハット行列 の転置を考えます。
途中式の途中式(クリックで展開)
- 1: 定義式(1)より、 の転置行列の式を立てます。
- 2: 転置行列の性質 より、式全体を転置します。
- 3: 転置行列の性質 より、転置行列の転置は元の行列になります。
- 3: 転置と逆行列の性質 より、逆行列の転置行列は転置行列の逆行列になります。
- 4: 転置行列の性質 より、中の2つの行列を転置します。
- 5: 転置行列の性質より、2重の転置は元の行列です。
- 6: 式全体が定義式(1)なので、 に置き換えます。
の転置行列は、 になります。よって、 は対称行列であることが分かります。
n乗
ハット行列 の2乗を考えます。
途中式の途中式(クリックで展開)
- 1: 定義式(1)より、2つの の行列の積の式を立てます。
- 2: 括弧を展開します。
- 3: 逆行列の性質 より、 を1つの行列とみなすと、 または は単位行列 になります。
- 3: 単位行列の性質 より、 は消えます。
- 4: 式全体が定義式(1)なので、 に置き換えます。
の2乗は、 になります。
また、自分自身を掛けても変化しないので、n乗しても変化しません。この性質から射影行列と呼ばれます。
変数との積
ハット行列 と変数 の積を考えます。
途中式の途中式(クリックで展開)
- 1: 定義式(1)より、2つの行列 の行列の積の式を立てます。
- 2: 括弧を展開します。
- 3: 逆行列の性質より、後の4つの行列は単位行列になり消えます。
の積は、 になります。
トレース
ハット行列 のトレースを考えます。
途中式の途中式(クリックで展開)
- 1: 定義式(1)より、 のトレースの式を立てます。
- 2: トレースの性質 より、 を1つの行列とみなして、1つ目の行列と入れ替えます。入れ替え後の形状は、、、、 の行列の積なので、 の行列になります。
- 3: 逆行列の性質より、単位行列になります。
- 4: トレースの性質 より、単位行列のトレースは次元数になります。
のトレースは、 の行数になります。
の単位行列の形状を明示する場合は と表記します。
この記事では、ハット行列を確認しました。次の記事では、冪等行列を確認します。
参考文献
おわりに
初めて知りました。面白いですね。面白くなる理由が気になりますが無視することにします。行列をヒートマップで見るのにハマってる今日この頃ですが、図から言えることが特に思い付かなかったので、これも無視することにしました。
ベクトルの射影を求める(sin・cosを使う)射影行列とは別物ですよね?同じ名前だと困ります。
この記事の投稿日に公開されたOCHA NORMAの新曲をどうぞ♪
え、なんか格好良さげな雰囲気(グループ比)を出してきたな、どうした!?夏だからか?
【次の内容】