はじめに

　『Pythonで学ぶ空間データサイエンス入門』の独学ノートです。本の内容から寄り道してアレコレ考えます。
　本を読んだ上で補助的に読んでください。　

　この記事では、GWRモデルの最小二乗法について、数式を使って解説します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
4.3.4-7 GWRモデルの最小二乗法の導出
参考文献
おわりに

4.3.4-7 GWRモデルの最小二乗法の導出

　地理的加重回帰モデル(GWRモデル・geographically weighted regression model)に対する最小二乗法(OLS・ordinary least square)におけるパラメータの計算式を導出します。
　線形回帰モデルや最小二乗法については「3.2.1-3：線形回帰モデルの最小二乗法の導出【空間データサイエンス入門のノート】 - からっぽのしょこ」を参照してください。

モデルの設定

　まずは、GWRモデルの定義を数式で確認します。

　 $N$ 個の地点について、各地点 $j$ の説明変数(入力データ)を $K+1$ 次元ベクトル $\mathbf{x}_j$ とします。

$\displaystyle \mathbf{x}_j = \begin{pmatrix} x_{j0} \\ x_{j1} \\ x_{j2} \\ \vdots \\ x_{jK} \end{pmatrix}$

　 $N$ 個の説明変数をまとめて、 $N \times (K+1)$ の行列 $\mathbf{X}$ とします。

$\displaystyle \mathbf{X} = \begin{pmatrix} \mathbf{x}_1^{\top} \\ \mathbf{x}_2^{\top} \\ \vdots \\ \mathbf{x}_N^{\top} \end{pmatrix} = \begin{pmatrix} x_{10} & x_{11} & x_{12} & \cdots & x_{1K} \\ x_{20} & x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ x_{N0} & x_{N1} & x_{N2} & \cdots & x_{NK} \end{pmatrix} = \begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1K} \\ 1 & x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{N1} & x_{N2} & \cdots & x_{NK} \end{pmatrix}$

　各変数に関して、 $0$ 番(列)目の要素を $x_{j0} = 1$ とします。(インデックスを0から割り当てているので) $K+1$ 次元(列)です。

　 $k$ 番目の要素 $x_{jk}$ に対する基準地点 $i$ の真の係数パラメータを $\beta_{ik}$ として、 $K+1$ 個の真の係数パラメータをまとめて、 $K+1$ 次元ベクトル $\boldsymbol{\beta}_i$ とします。

$\displaystyle \boldsymbol{\beta}_i = \begin{pmatrix} \beta_{i0} \\ \beta_{i1} \\ \beta_{i2} \\ \vdots \\ \beta_{iK} \end{pmatrix}$

　 $0$ 番目の要素 $\beta_{i0}$ は定数項に対応します。

　各地点 $j$ の誤差項を $\epsilon_j$ として、 $N$ 個の誤差項をまとめて、 $N$ 次元ベクトル $\boldsymbol{\epsilon}$ とします。

$\displaystyle \boldsymbol{\epsilon} = \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix}$

　各誤差 $\epsilon_j$ は、平均が $\mu = 0$ で分散が $\sigma^2$ (標準偏差が $\sigma$ )の正規分布に従って、独立に生成されると仮定します。

$\displaystyle \epsilon_j \sim \mathcal{N}(0, \sigma^2)$

　 $j, l$ 番目の誤差項 $\epsilon_j, \epsilon_l$ の共分散を $\sigma_{jl}$ とすると、誤差項間は無相関(無関係に生成される)なので、 $\sigma_{jl} = 0$ です。各誤差項自身との共分散は分散 $\sigma_{jj} = \sigma_{ll} = \sigma^2$ です。

　基準地点 $i$ の重み行列を $N \times N$ の行列 $\mathbf{W}_i$ とします。

$\displaystyle \mathbf{W}_i = \begin{pmatrix} w_{i11} & w_{i12} & \cdots & w_{i1N} \\ w_{i21} & w_{i22} & \cdots & w_{i2N} \\ \vdots & \vdots & \ddots & \vdots \\ w_{iN1} & w_{iN2} & \cdots & w_{iNN} \end{pmatrix} \\ = \begin{pmatrix} w_{i11} & 0 & \cdots & 0 \\ 0 & w_{i22} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & w_{iNN} \end{pmatrix}$

　異なる地点 $j, l$ の組み合わせに対応する要素(非対角要素)は $w_{ijl} = 0$ です。よって、重み行列は対角行列です。
　各地点(同じ地点の組み合わせ) $j$ に対応する要素(対角要素)は $w_{ijj}$ で表され、重み関数(カーネル)に従い、基準の地点 $i$ との距離に応じて値が決まります。基準の地点 $i$ に対応する要素は $w_{iii} = 1$ です。
　GWRモデルの重み行列については「【Python】4.3.3：GWRモデルの重み行列の可視化【空間データサイエンス入門のノート】 - からっぽのしょこ」を参照してください。

　各地点 $j$ の被説明変数(出力データ)を $y_j$ として、 $N$ 個の被説明変数をまとめて、 $N$ 次元ベクトル $\mathbf{y}$ とします。

$\displaystyle \mathbf{y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{pmatrix}$

　(1つの地点における)基準地点を $i$ とするGWRモデルは、次の式で定義されます。

$\displaystyle \begin{aligned} \sqrt{w_{ijj}} y_j &= \sqrt{w_{ijj}} \Bigl( \mathbf{x}_j^{\top} \boldsymbol{\beta}_i + \epsilon_j \Bigr) \\ &= \sqrt{w_{ijj}} \mathbf{x}_j^{\top} \boldsymbol{\beta}_i + \sqrt{w_{ijj}} \epsilon_j \\ &= \sqrt{w_{ijj}} \begin{pmatrix} x_{j0} & x_{j1} & x_{j2} & \cdots & x_{jK} \end{pmatrix} \begin{pmatrix} \beta_{i0} \\ \beta_{i1} \\ \beta_{i2} \\ \vdots \\ \beta_{iK} \end{pmatrix} + \sqrt{w_{ijj}} \epsilon_j \\ &= \sqrt{w_{ijj}} x_{j0} \beta_{i0} + \sqrt{w_{ijj}} x_{j1} \beta_{i1} + \sqrt{w_{ijj}} x_{j2} \beta_{i2} + \cdots + \sqrt{w_{ijj}} x_{jK} \beta_{iK} + \sqrt{w_{ijj}} \epsilon_j \\ &= \sum_{k=0}^K \beta_{ik} \sqrt{w_{ijj}} x_{jk} + \sqrt{w_{ijj}} \epsilon_i \\ &= \beta_0 \sqrt{w_{ijj}} + \sum_{k=1}^K \beta_{ik} \sqrt{w_{ijj}} x_{jk} + \sqrt{w_{ijj}} \epsilon_j \end{aligned}$

途中式の途中式(クリックで展開)

1: 線形回帰モデルの式 $y_j = \mathbf{x}_j^{\top} \boldsymbol{\beta}_i + \epsilon_j$ の両辺に重み $\sqrt{w_{ijj}}$ を掛けます。
2: 括弧を展開します。
3: ベクトルの要素を明示します。
4: ベクトルの内積を計算します。
5: $K+1$ 個の項の和を $\sum_{k=0}^K$ でまとめます。
6: (項の形が異なる) $0$ 番目の項 $\beta_{i0} \sqrt{w_{ijj}} x_{j0} = \beta_{i0} \sqrt{w_{ijj}}$ を取り出し( $K$ 個の要素の和を $\sum_{k=1}^K$ でまとめ)ます。

　 $N$ 個のデータをまとめると、次の式で計算できます。

$\displaystyle \begin{align} && \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} &= \mathbf{W}_i^{\frac{1}{2}} \Bigl( \mathbf{X} \boldsymbol{\beta}_i + \boldsymbol{\epsilon} \Bigr) \\ && &= \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \boldsymbol{\beta}_i + \mathbf{W}_i^{\frac{1}{2}} \boldsymbol{\epsilon} \tag{1}\\ \Leftrightarrow && \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{pmatrix} &= \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1K} \\ 1 & x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{N1} & x_{N2} & \cdots & x_{NK} \end{pmatrix} \begin{pmatrix} \beta_{i0} \\ \beta_{i1} \\ \beta_{i2} \\ \vdots \\ \beta_{iK} \end{pmatrix} + \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} \\ \Rightarrow && \begin{pmatrix} \sqrt{w_{i11}} y_1 \\ \sqrt{w_{i22}} y_2 \\ \vdots \\ \sqrt{w_{iNN}} y_N \end{pmatrix} &= \begin{pmatrix} \sqrt{w_{i11}} & \sqrt{w_{i11}} x_{11} & \sqrt{w_{i11}} x_{12} & \cdots & \sqrt{w_{i11}} x_{1K} \\ \sqrt{w_{i22}} & \sqrt{w_{i22}} x_{21} & \sqrt{w_{i22}} x_{22} & \cdots & \sqrt{w_{i22}} x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \sqrt{w_{iNN}} & \sqrt{w_{iNN}} x_{N1} & \sqrt{w_{iNN}} x_{N2} & \cdots & \sqrt{w_{iNN}} x_{NK} \end{pmatrix} \begin{pmatrix} \beta_{i0} \\ \beta_{i1} \\ \beta_{i2} \\ \vdots \\ \beta_{iK} \end{pmatrix} + \begin{pmatrix} \sqrt{w_{i11}} \epsilon_1 \\ \sqrt{w_{i22}} \epsilon_2 \\ \vdots \\ \sqrt{w_{iNN}} \epsilon_N \end{pmatrix} \\ && &= \begin{pmatrix} \sqrt{w_{i11}} \beta_{i0} + \sqrt{w_{i11}} x_{11} \beta_{i1} + \sqrt{w_{i11}} x_{12} \beta_{i2} + \cdots + \sqrt{w_{i11}} x_{1K} \beta_{iK} \\ \sqrt{w_{i22}} \beta_{i0} + \sqrt{w_{i22}} x_{21} \beta_{i1} + \sqrt{w_{i22}} x_{22} \beta_{i2} + \cdots + \sqrt{w_{i22}} x_{2K} \beta_{iK} \\ \vdots \\ \sqrt{w_{i11}} \beta_{i0} + \sqrt{w_{iNN}} x_{N1} \beta_{i1} + \sqrt{w_{iNN}} x_{N2} \beta_{i2} + \cdots + \sqrt{w_{iNN}} x_{NK} \beta_{iK} \\ \end{pmatrix} + \begin{pmatrix} \sqrt{w_{i11}} \epsilon_1 \\ \sqrt{w_{i22}} \epsilon_2 \\ \vdots \\ \sqrt{w_{iNN}} \epsilon_N \end{pmatrix} \\ && &= \begin{pmatrix} \beta_{i0} \sqrt{w_{i11}} + \sum_{k=1}^K \beta_{ik} \sqrt{w_{i11}} x_{1k} + \sqrt{w_{i11}} \epsilon_1 \\ \beta_{i0} \sqrt{w_{i22}} + \sum_{k=1}^K \beta_{ik} \sqrt{w_{i22}} x_{2k} + \sqrt{w_{i22}} \epsilon_2 \\ \vdots \\ \beta_{i0} \sqrt{w_{iNN}} + \sum_{k=1}^K \beta_{ik} \sqrt{w_{iNN}} x_{Nk} + \sqrt{w_{iNN}} \epsilon_N \\ \end{pmatrix} \end{align}$

途中式の途中式(クリックで展開)

1: 線形回帰モデルの式 $\mathbf{y} = \mathbf{X} \boldsymbol{\beta}_i + \boldsymbol{\epsilon}$ の両辺に左から重み $\mathbf{W}_i^{\frac{1}{2}}$ を掛けます。
2: 括弧を展開します。
3: 行列とベクトルの要素を明示します。
4-5: 行列とベクトルの積や行列の積を計算します。
6: ベクトルの和を計算します。

　ルートをとった(2分の1乗の)重み $\sqrt{w_{ijj}}$ を用いることで、後ほど2乗される際に式(表記)がシンプルになります。数値上は、ルートをとった重み関数 $w_{ijj} = \sqrt{f(d_{ij})}$ により重みを設定して、1乗の重み $w_{ijj}$ を用いてモデルを定義するのと同じ操作です。

　ここまでは、GWRモデルを確認しました。次からは、位置(距離)データから設定される重み行列 $\mathbf{W}_i$ と観測データ $\mathbf{X}, \mathbf{y}$ が得られたときのGWRモデルのパラメータを推定します。(真のパラメータが基準地点に依存するなら被説明変数が基準地点ごとに変わってしまうのでは?定数項で調整されることになるのかな?)

係数パラメータの計算式

　GWRモデルに対するOLSによる係数パラメータの推定値の計算式を導出します。

　説明変数の $k$ 番目の要素 $x_{jk}$ に対する基準地点 $i$ の係数パラメータの推定値(最小二乗推定量)を $\hat{\beta}_{ik}$ として、 $K+1$ 個の係数パラメータの推定値をまとめて、 $K+1$ 次元ベクトル $\hat{\boldsymbol{\beta}}$ とします。

$\displaystyle \hat{\boldsymbol{\beta}}_i = \begin{pmatrix} \hat{\beta}_{i0} \\ \hat{\beta}_{i1} \\ \hat{\beta}_{i2} \\ \vdots \\ \hat{\beta}_{iK} \end{pmatrix}$

　基準地点を $i$ とするときの各地点 $j$ の被説明変数の推定値を $\hat{y}_{ij}$ として、 $N$ 個の被説明変数の推定値をまとめて、 $N$ 次元ベクトル $\hat{\mathbf{y}}_i$ とします。

$\displaystyle \hat{\mathbf{y}}_i = \begin{pmatrix} \hat{y}_{i1} \\ \hat{y}_{i2} \\ \vdots \\ \hat{y}_{iN} \end{pmatrix}$

　各被説明変数 $y_j$ の推定値 $\hat{y}_{ij}$ は、推定パラメータ $\hat{\boldsymbol{\beta}}_i$ を用いて求めた値です。

$\displaystyle \begin{aligned} \sqrt{w_{ijj}} \hat{y}_{ij} &= \sqrt{w_{ijj}} \mathbf{x}_j^{\top} \hat{\boldsymbol{\beta}}_i \\ &= \sqrt{w_{ijj}} \begin{pmatrix} x_{j0} & x_{i1} & x_{j2} & \cdots & x_{jK} \end{pmatrix} \begin{pmatrix} \hat{\beta}_{i0} \\ \hat{\beta}_{i1} \\ \hat{\beta}_{i2} \\ \vdots \\ \hat{\beta}_{iK} \end{pmatrix} \\ &= \sqrt{w_{ijj}} x_{j0} \hat{\beta}_{i0} + \sqrt{w_{ijj}} x_{j1} \hat{\beta}_{i1} + \sqrt{w_{ijj}} x_{j2} \hat{\beta}_{i2} + \cdots + \sqrt{w_{ijj}} x_{jK} \hat{\beta}_{iK} \\ &= \sum_{k=0}^K \hat{\beta}_{ik} \sqrt{w_{ijj}} x_{jk} \\ &= \hat{\beta}_{i0} \sqrt{w_{ijj}} + \sum_{k=1}^K \hat{\beta}_{ik} \sqrt{w_{ijj}} x_{jk} \end{aligned}$

途中式の途中式(クリックで展開)

1: 線形回帰モデルの式 $\hat{y}_{ij} = \mathbf{x}_j^{\top} \hat{\boldsymbol{\beta}}_i$ の両辺に重み $\sqrt{w_{ijj}}$ を掛けます。
2: ベクトルの要素を明示します。
3: ベクトルの内積を計算します。
4: $K+1$ 個の項の和を $\sum_{k=0}^K$ でまとめます。
5: (項の形が異なる) $0$ 番目の項 $\hat{\beta}_{i0} \sqrt{w_{ijj}} x_{j0} = \hat{\beta}_{i0} \sqrt{w_{ijj}}$ を取り出し( $K$ 個の要素の和を $\sum_{k=1}^K$ でまとめ)ます。

　 $N$ 個の重み付けした被説明変数の推定値をまとめると、次の式で計算できます。

$\displaystyle \begin{align} && \mathbf{W}_i^{\frac{1}{2}} \hat{\mathbf{y}}_i &= \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \tag{2}\\ \Leftrightarrow && \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} \hat{y}_{i1} \\ \hat{y}_{i2} \\ \vdots \\ \hat{y}_{iN} \end{pmatrix} &= \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1K} \\ 1 & x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{N1} & x_{N2} & \cdots & x_{NK} \end{pmatrix} \begin{pmatrix} \hat{\beta}_{i0} \\ \hat{\beta}_{i1} \\ \hat{\beta}_{i2} \\ \vdots \\ \hat{\beta}_{iK} \end{pmatrix} \\ && \begin{pmatrix} \sqrt{w_{i11}} \hat{y}_{i1} \\ \sqrt{w_{i22}} \hat{y}_{i2} \\ \vdots \\ \sqrt{w_{iNN}} \hat{y}_{iN} \end{pmatrix} &= \begin{pmatrix} \sqrt{w_{i11}} & \sqrt{w_{i11}} x_{11} & \sqrt{w_{i11}} x_{12} & \cdots & \sqrt{w_{i11}} x_{1K} \\ \sqrt{w_{i22}} & \sqrt{w_{i22}} x_{21} & \sqrt{w_{i22}} x_{22} & \cdots & \sqrt{w_{i22}} x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \sqrt{w_{iNN}} & \sqrt{w_{iNN}} x_{N1} & \sqrt{w_{iNN}} x_{N2} & \cdots & \sqrt{w_{iNN}} x_{NK} \end{pmatrix} \begin{pmatrix} \hat{\beta}_{i0} \\ \hat{\beta}_{i1} \\ \hat{\beta}_{i2} \\ \vdots \\ \hat{\beta}_{iK} \end{pmatrix} \\ && &= \begin{pmatrix} \hat{\beta}_{i0} \sqrt{w_{i11}} + \sum_{k=1}^K \hat{\beta}_{ik} \sqrt{w_{i11}} x_{1k} \\ \hat{\beta}_{i0} \sqrt{w_{i22}} + \sum_{k=1}^K \hat{\beta}_{ik} \sqrt{w_{i22}} x_{2k} \\ \vdots \\ \hat{\beta}_{i0} \sqrt{w_{iNN}} + \sum_{k=1}^K \hat{\beta}_{ik} \sqrt{w_{iNN}} x_{Nk} \end{pmatrix} \end{align}$

途中式の途中式(クリックで展開)

1: 線形回帰モデルの式 $\mathbf{y}_i = \mathbf{X} \hat{\boldsymbol{\beta}}$ の両辺に左から重み $\mathbf{W}_i^{\frac{1}{2}}$ を掛けます。
2: 行列とベクトルの要素を明示します。
3-4: 行列とベクトルの積や行列の積を計算します。

　観測データとして得られた $\mathbf{y}$ を実現値、推定パラメータから求めた $\hat{\mathbf{y}}_i$ を理論値とも呼びます。

　基準地点を $i$ とするときの各地点 $j$ に関して、重み付けした実現値 $y_j$ と理論値 $\hat{y}_{ij}$ の差を残差 $e_{ij}$ とします。

$\displaystyle \begin{aligned} e_{ij} &= \sqrt{w_{ijj}} y_j - \sqrt{w_{ijj}} \hat{y}_{ij} \\ &= \sqrt{w_{ijj}} (y_j - \hat{y}_{ij}) \end{aligned}$

　 $N$ 個の(1つの基準地点 $i$ による)各地点の残差をまとめると、次の式で計算でき、 $N$ 次元ベクトル $\mathbf{e}_i$ とします。

$\displaystyle \begin{aligned} && \mathbf{e}_i &= \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} - \mathbf{W}_i^{\frac{1}{2}} \hat{\mathbf{y}}_i \\ && &= \mathbf{W}_i^{\frac{1}{2}} (\mathbf{y} - \hat{\mathbf{y}}_i) \\ \Leftrightarrow && \begin{pmatrix} e_{i1} \\ e_{i2} \\ \vdots \\ e_{iN} \end{pmatrix} &= \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \left( \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{pmatrix} - \begin{pmatrix} \hat{y}_{i1} \\ \hat{y}_{i2} \\ \vdots \\ \hat{y}_{iN} \end{pmatrix} \right) \\ && &= \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} y_1 - \hat{y}_{i1} \\ y_2 - \hat{y}_{i2} \\ \vdots \\ y_N - \hat{y}_{iN} \end{pmatrix} \\ && &= \begin{pmatrix} \sqrt{w_{i11}} (y_1 - \hat{y}_{i1}) \\ \sqrt{w_{i22}} (y_2 - \hat{y}_{i2}) \\ \vdots \\ \sqrt{w_{iNN}} (y_N - \hat{y}_{iN}) \end{pmatrix} \end{aligned}$

途中式の途中式(クリックで展開)

1: 重み付けした実現値 $\mathbf{y}$ の式(1)と理論値 $\hat{\mathbf{y}}_i$ の式(2)の差の式を立てます。
2: $\mathbf{W}_i^{\frac{1}{2}}$ を括り出します。
3: 行列とベクトルの要素を明示します。
4: ベクトルの差を計算します。
5: 行列とベクトルの積を計算します。

　残差 $\mathbf{e}_i$ の式に関して、理論値 $\hat{\mathbf{y}}_i$ の式(1)で置き換えて使います。

$\displaystyle \begin{align} \mathbf{e}_i &= \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} - \mathbf{W}_i^{\frac{1}{2}} \hat{\mathbf{y}}_i \\ &= \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} - \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \tag{3} \end{align}$

　残差 $\mathbf{e}_i$ の2乗和(残差平方和)を考えます。

$\displaystyle \begin{aligned} \mathbf{e}_i^{\top} \mathbf{e}_i &= \Bigl( \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} - \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \Bigr)^{\top} \Bigl( \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} - \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \Bigr) \\ &= (\mathbf{W}_i^{\frac{1}{2}} \mathbf{y})^{\top} (\mathbf{W}_i^{\frac{1}{2}} \mathbf{y}) - (\mathbf{W}_i^{\frac{1}{2}} \mathbf{y})^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \\ &\qquad - (\mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i)^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} + (\mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i)^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \\ &= \mathbf{y}^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} - \mathbf{y}^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \\ &\qquad - \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}_i^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{W}_i^{\frac{1}{2}} \mathbf{y} + \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}^{\top} \mathbf{W}_i^{\frac{1}{2}} \mathbf{W}_i^{\frac{1}{2}} \mathbf{X} \hat{\boldsymbol{\beta}}_i \\ &= \mathbf{y}^{\top} \mathbf{W}_i \mathbf{y} - \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}_i^{\top} \mathbf{W}_i \mathbf{y} \\ &\qquad - \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}_i^{\top} \mathbf{W}_i \mathbf{y} + \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i \\ &= \mathbf{y}^{\top} \mathbf{W}_i \mathbf{y} - 2 \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}_i^{\top} \mathbf{W}_i \mathbf{y} + \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i \end{aligned}$

途中式の途中式(クリックで展開)

1: $\mathbf{e}_i$ の式(3)より、 $\mathbf{e}_i$ の内積の式を立てます。
2: 括弧を展開します。
3: 転置行列の性質 $(\mathbf{A} \mathbf{B})^{\top} = \mathbf{B}^{\top} \mathbf{A}^{\top}$ より、括弧を展開します。
3-4: 重み行列は対角行列なので、 $(\mathbf{W}_i^{\frac{1}{2}})^{\top} = \mathbf{W}_i^{\frac{1}{2}}$ 、また $\mathbf{W}_i^{\frac{1}{2}} \mathbf{W}_i^{\frac{1}{2}} = \mathbf{W}_i$ です。

$\displaystyle \begin{aligned} \mathbf{W}_i^{\frac{1}{2}} \mathbf{W}_i^{\frac{1}{2}} &= \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \begin{pmatrix} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \end{pmatrix} \\ &= \begin{pmatrix} \sqrt{w_{i11}} \sqrt{w_{i11}} & 0 & \cdots & 0 \\ 0 & \sqrt{w_{i22}} \sqrt{w_{i22}} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_{iNN}} \sqrt{w_{iNN}} \end{pmatrix} \\ &= \begin{pmatrix} w_{i11} & 0 & \cdots & 0 \\ 0 & w_{i22} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & w_{iNN} \end{pmatrix} \\ &= \mathbf{W}_i \end{aligned}$

4: スカラは転置しても変化しないので、2つ目の項は $\mathbf{y}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}} = (\mathbf{y}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}})^{\top}$ で置き換えられ、転置行列の性質 $(\mathbf{A} \mathbf{B} \mathbf{C} \mathbf{D})^{\top} = \mathbf{D}^{\top} \mathbf{C}^{\top} \mathbf{B}^{\top} \mathbf{A}^{\top}$ より、 $(\mathbf{y}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}})^{\top} = \hat{\boldsymbol{\beta}}^{\top} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y}$ となります。
5: 式を整理します。

　残差平方和 $\mathbf{e}_i^{\top} \mathbf{e}_i$ を推定パラメータ $\hat{\boldsymbol{\beta}}_i$ に関して微分します。

$\displaystyle \begin{aligned} \frac{ \partial \mathbf{e}_i^{\top} \mathbf{e}_i }{ \partial \hat{\boldsymbol{\beta}}_i } &= \frac{\partial}{\partial \hat{\boldsymbol{\beta}}_i} \Bigl\{ \mathbf{y}^{\top} \mathbf{W}_i \mathbf{y} - 2 \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}_i^{\top} \mathbf{W}_i \mathbf{y} + \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i \Bigr\} \\ &= \frac{\partial}{\partial \hat{\boldsymbol{\beta}}_i} \Bigl\{ \mathbf{y}^{\top} \mathbf{W}_i \mathbf{y} \Bigr\} + \frac{\partial}{\partial \hat{\boldsymbol{\beta}}_i} \Bigl\{ - 2 \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}_i^{\top} \mathbf{W}_i \mathbf{y} \Bigr\} + \frac{\partial}{\partial \hat{\boldsymbol{\beta}}_i} \Bigl\{ \hat{\boldsymbol{\beta}}_i^{\top} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i \Bigr\} \\ &= \mathbf{0} - 2 \frac{\partial \hat{\boldsymbol{\beta}}^{\top}}{\partial \hat{\boldsymbol{\beta}}_i} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} + 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i \\ &= - 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} + 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i \end{aligned}$

途中式の途中式(クリックで展開)

1: $\mathbf{e}_i^{\top} \mathbf{e}_i$ に対する $\hat{\boldsymbol{\beta}}_i$ の偏微分の式を立てます。 $\hat{\boldsymbol{\beta}}_i$ に関する微分なので、 $\mathbf{X}, \mathbf{y}, \mathbf{W}_i$ は定数として扱います。
2: 和の微分 ${f(x) + g(x)}' = f'(x) + g'(x)$ より、項ごとの微分の和に分割します。
3: 定数の微分 ${a}' = 0$ より、1つ目の項は0ベクトルになり消えます。
3: 定数倍の微分 ${a f(x)}' = a f'(x)$ より、 $\hat{\boldsymbol{\beta}}$ の係数を $\frac{\partial}{\partial \hat{\boldsymbol{\beta}}}$ の外に出します。
3: 対象行列の二次形式の微分 $\frac{\partial \mathbf{x}^{\top} \mathbf{A} \mathbf{x}}{\partial \mathbf{x}} = 2 \mathbf{A} \mathbf{x}$ より、 $\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X}$ を1つの行列とみなして変形します。
4: 変数の微分 ${x}' = 1$ より、2つ目の項の微分が単位行列になり消えます。

　残差平方和の微分 $\frac{\partial \mathbf{e}_i^{\top} \mathbf{e}_i}{\partial \hat{\boldsymbol{\beta}}_i}$ が0ベクトル $\mathbf{0}$ となる推定パラメータ $\hat{\boldsymbol{\beta}}_i$ を求めます。

$\displaystyle \begin{align} && - 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} + 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i &= \mathbf{0} \\ \Rightarrow && 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \hat{\boldsymbol{\beta}}_i &= 2 \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} \\ \Rightarrow && \hat{\boldsymbol{\beta}}_i &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} \tag{4} \end{align}$

途中式の途中式(クリックで展開)

1: $\frac{\partial \mathbf{e}_i^{\top} \mathbf{e}_i}{\partial \hat{\boldsymbol{\beta}}_i} = \mathbf{0}$ とおきます。
2-3: $\hat{\boldsymbol{\beta}}_i$ について式を整理します。
3: 両辺に左から $\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X}$ の逆行列を掛けます。

　 $\hat{\boldsymbol{\beta}}_i$ の計算式が得られました。

　以上で、GWRモデルの係数パラメータの推定値の計算式が求まりました。

分散パラメータの計算式

　GWRモデルに対するOLSによる誤差項の生成分布の分散パラメータの推定値の計算式を導出します。

　各基準地点 $i$ に関して、地点 $i$ の重み付けしていない残差 $e_{ii}$ を考えます。

$\displaystyle \begin{align} e_{ii} &= y_i - \hat{y}_{ii} \\ &= y_i - \mathbf{x}_i^{\top} \hat{\boldsymbol{\beta}}_i \\ &= y_i - \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} \tag{5}\\ &= (\mathbf{x}_i^{\top} \boldsymbol{\beta}_i + \epsilon_i) \\ &\qquad - \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i (\mathbf{X} \boldsymbol{\beta}_i + \boldsymbol{\epsilon}) \\ &= \mathbf{x}_i^{\top} \boldsymbol{\beta}_i + \epsilon_i \\ &\qquad - \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \boldsymbol{\beta}_i - \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \\ &= \mathbf{x}_i^{\top} \boldsymbol{\beta}_i + \epsilon_i \\ &\qquad - \mathbf{x}_i^{\top} \boldsymbol{\beta}_i - \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \\ &= \epsilon_i - \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \tag{6} \end{align}$

途中式の途中式(クリックで展開)

1: 実現値 $y_i$ と理論値 $\hat{y}_{ii}$ の差の式を立てます。
2: 線形回帰モデルの式 $\hat{y}_{ii} = \mathbf{x}_i^{\top} \hat{\boldsymbol{\beta}}_i$ で置き換えます。
3: $\hat{\boldsymbol{\beta}}_i$ の式(4)で置き換えます。
4: 線形回帰モデルの式 $y_i = \mathbf{x}_i^{\top} \boldsymbol{\beta}_i + \epsilon_i$ 、 $\mathbf{y} = \mathbf{X} \boldsymbol{\beta}_i + \boldsymbol{\epsilon}$ で置き換えます。
5: 括弧を展開します。
6: 逆行列の性質 $\mathbf{A}^{-1} \mathbf{A} = \mathbf{I}$ より、 $(\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X}$ が単位行列になり消えます。
7: 式を整理します。

　後の項の横ベクトルについて、 $\mathbf{r}_i$ の転置とおきます。

$\displaystyle \mathbf{r}_i^{\top} = \mathbf{x}_i^{\top} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \tag{7}$

　逆行列部分は、 $(K+1) \times N$ 、 $N \times N$ 、 $N \times (K+1)$ の行列の積なので、 $(K+1) \times (K+1)$ の行列です。 $\mathbf{r}_i^{\top}$ は、 $1 \times (K+1)$ 、 $(K+1) \times (K+1)$ 、 $(K+1) \times N$ 、 $N \times N$ の行列の積なので、 $1 \times N$ のベクトルになります。

　残差 $e_{ii}$ の式(6)を $\mathbf{r}_i$ で置き換えます。

$\displaystyle e_{ii} = \epsilon_i - \mathbf{r}_i^{\top} \boldsymbol{\epsilon} \tag{8}$

　基準地点 $i$ のときの地点 $i$ の残差(観測値と推定値の差) $e_{ii}$ と誤差(観測値と真値の差) $\epsilon_i$ の関係式が得られました。

　 $N$ 個の各基準地点の残差をまとめると、次の式で計算でき、 $N$ 次元ベクトル $\mathbf{e}$ とします。

$\displaystyle \begin{align} \mathbf{e} &= \begin{pmatrix} e_{11} \\ e_{22} \\ \vdots \\ e_{NN} \end{pmatrix} \\ &= \begin{pmatrix} \epsilon_1 - \mathbf{r}_1^{\top} \boldsymbol{\epsilon} \\ \epsilon_2 - \mathbf{r}_2^{\top} \boldsymbol{\epsilon} \\ \vdots \\ \epsilon_N - \mathbf{r}_N^{\top} \boldsymbol{\epsilon} \end{pmatrix} \\ &= \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} - \begin{pmatrix} \mathbf{r}_1^{\top} \boldsymbol{\epsilon} \\ \mathbf{r}_2^{\top} \boldsymbol{\epsilon} \\ \vdots \\ \mathbf{r}_N^{\top} \boldsymbol{\epsilon} \end{pmatrix} \\ &= \boldsymbol{\epsilon} - \begin{pmatrix} \mathbf{r}_1^{\top} \\ \mathbf{r}_2^{\top} \\ \vdots \\ \mathbf{r}_N^{\top} \end{pmatrix} \boldsymbol{\epsilon} \tag{9} \end{align}$

途中式の途中式(クリックで展開)

1: $N$ 個の基準地点に関して、 $e_{ii}$ の式(7)を縦方向に結合した式を立てます。
2: ベクトルの差の計算を分割します。
3: 行列とベクトルの積の計算を分割します。

　後の項の行列について、 $\mathbf{R}$ とおきます。

$\displaystyle \begin{align} \mathbf{R} &= \begin{pmatrix} \mathbf{r}_1^{\top} \\ \mathbf{r}_2^{\top} \\ \vdots \\ \mathbf{r}_N^{\top} \end{pmatrix} = \begin{pmatrix} r_{11} & r_{12} & \cdots & r_{1N} \\ r_{21} & r_{22} & \cdots & r_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ r_{N1} & r_{N2} & \cdots & r_{NN} \end{pmatrix} \tag{10}\\ &= \begin{pmatrix} \mathbf{x}_1^{\top} (\mathbf{X}^{\top} \mathbf{W}_1 \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_1 \\ \mathbf{x}_2^{\top} (\mathbf{X}^{\top} \mathbf{W}_2 \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_2 \\ \vdots \\ \mathbf{x}_N^{\top} (\mathbf{X}^{\top} \mathbf{W}_N \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_N \end{pmatrix} \end{align}$

　 $\mathbf{R}$ は、 $N$ 個の $N$ 次元ベクトル $\mathbf{r}_i^{\top}$ を行方向に結合した行列なので、 $N \times N$ の行列になります。

　残差 $\mathbf{e}$ の式(9)を $\mathbf{R}$ で置き換えます。

$\displaystyle \begin{align} \mathbf{e} &= \boldsymbol{\epsilon} - \mathbf{R} \boldsymbol{\epsilon} \\ &= (\mathbf{I} - \mathbf{R}) \boldsymbol{\epsilon} \tag{11} \end{align}$

　各基準地点の残差(観測値と推定値の差) $\mathbf{e}$ と誤差(観測値と真値の差) $\boldsymbol{\epsilon}$ の関係式が得られました。

　同様に、 $e_{ii}$ の式(5)を用いた $\mathbf{e}$ を考えます。

$\displaystyle \begin{aligned} \mathbf{e} &= \begin{pmatrix} e_{11} \\ e_{22} \\ \vdots \\ e_{NN} \end{pmatrix} \\ &= \begin{pmatrix} y_1 - \mathbf{r}_1^{\top} \mathbf{y} \\ y_2 - \mathbf{r}_2^{\top} \mathbf{y} \\ \vdots \\ y_N - \mathbf{r}_N^{\top} \mathbf{y} \end{pmatrix} \\ &= \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{pmatrix} - \begin{pmatrix} \mathbf{r}_1^{\top} \mathbf{y} \\ \mathbf{r}_2^{\top} \mathbf{y} \\ \vdots \\ \mathbf{r}_N^{\top} \mathbf{y} \end{pmatrix} \\ &= \mathbf{y} - \begin{pmatrix} \mathbf{r}_1^{\top} \\ \mathbf{r}_2^{\top} \\ \vdots \\ \mathbf{r}_N^{\top} \end{pmatrix} \mathbf{y} \\ &= \mathbf{y} - \mathbf{R} \mathbf{y} \\ &= (\mathbf{I} - \mathbf{R}) \mathbf{y} \end{aligned}$

途中式の途中式(クリックで展開)

1: $N$ 個の基準地点に関して、 $e_{ii}$ の式(5)を $\mathbf{r}_i$ の式(6)で置き換えて、縦方向に結合した式を立てます。
2: ベクトルの差の計算を分割します。
3: 行列とベクトルの積の計算を分割します。
4: $\mathbf{R}$ の式(10)で置き換えます。
5: $\mathbf{y}$ を括り出します。

　( $\mathbf{y}$ は観測できる値であるが $\boldsymbol{\epsilon}$ は観測できない値なので、) $\mathbf{e}$ の計算式が得られました。

　残差 $\mathbf{e}$ の式(11)を用いて、残差平方和を考えます。

$\displaystyle \begin{aligned} \mathbf{e}^{\top} \mathbf{e} &= \Bigl( (\mathbf{I} - \mathbf{R}) \boldsymbol{\epsilon} \Bigr)^{\top} \Bigl( (\mathbf{I} - \mathbf{R}) \boldsymbol{\epsilon} \Bigr) \\ &= \boldsymbol{\epsilon}^{\top} (\mathbf{I} - \mathbf{R})^{\top} (\mathbf{I} - \mathbf{R}) \boldsymbol{\epsilon} \\ &= \boldsymbol{\epsilon}^{\top} \Bigl( \mathbf{I}^{\top} \mathbf{I} - \mathbf{I}^{\top} \mathbf{R} - \mathbf{R}^{\top} \mathbf{I} + \mathbf{R}^{\top} \mathbf{R} \Bigr) \boldsymbol{\epsilon} \\ &= \boldsymbol{\epsilon}^{\top} \Bigl( \mathbf{I} - 2 \mathbf{R} + \mathbf{R}^{\top} \mathbf{R} \Bigr) \boldsymbol{\epsilon} \\ &= \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} - 2 \boldsymbol{\epsilon}^{\top} \mathbf{R} \boldsymbol{\epsilon} + \boldsymbol{\epsilon}^{\top} \mathbf{R}^{\top} \mathbf{R} \boldsymbol{\epsilon} \end{aligned}$

途中式の途中式(クリックで展開)

1: $\mathbf{e}$ の式(11)より、 $\mathbf{e}$ の内積の式を立てます。
2: 転置行列の性質 $(\mathbf{A} \mathbf{B})^{\top} = \mathbf{B}^{\top} \mathbf{A}^{\top}$ より、 $((\mathbf{I} - \mathbf{R}) \boldsymbol{\epsilon})^{\top} = \boldsymbol{\epsilon}^{\top} (\mathbf{I} - \mathbf{R})^{\top}$ となります。
3: 括弧を展開します。
4: 式を整理します。
5: 括弧を展開します。

　さらに、要素を明示して計算します。

$\displaystyle \mathbf{e}^{\top} \mathbf{e} = \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \epsilon_j - 2 \sum_{i=1}^N \sum_{j=1}^N \epsilon_i r_{ij} \epsilon_j + \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \tilde{r}_{ij} \epsilon_j \tag{12}$

途中式の途中式(クリックで展開)

　1つ目の項は

$\displaystyle \begin{aligned} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} &= \begin{pmatrix} \epsilon_1 & \epsilon_2 & \cdots & \epsilon_N \end{pmatrix} \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} \\ &= \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \epsilon_j \end{aligned}$

となります。
　2つ目の項は

$\displaystyle \begin{aligned} \boldsymbol{\epsilon}^{\top} \mathbf{R} \boldsymbol{\epsilon} &= \begin{pmatrix} \epsilon_1 & \epsilon_2 & \cdots & \epsilon_N \end{pmatrix} \begin{pmatrix} r_{11} & r_{12} & \cdots & r_{1N} \\ r_{21} & r_{22} & \cdots & r_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ r_{N1} & r_{N2} & \cdots & r_{NN} \end{pmatrix} \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} \\ &= \begin{pmatrix} \sum_{i=1}^N \epsilon_i r_{i1} & \sum_{i=1}^N \epsilon_i r_{i2} & \cdots & \sum_{i=1}^N \epsilon_i r_{iN} \end{pmatrix} \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} \\ &= \sum_{i=1}^N \sum_{j=1}^N \epsilon_i r_{ij} \epsilon_j \end{aligned}$

となります。
　3つ目の項について

$\displaystyle \tilde{\mathbf{R}} = \mathbf{R}^{\top} \mathbf{R}$

とおくと

$\displaystyle \begin{aligned} \boldsymbol{\epsilon}^{\top} \mathbf{R}^{\top} \mathbf{R} \boldsymbol{\epsilon} &= \begin{pmatrix} \epsilon_1 & \epsilon_2 & \cdots & \epsilon_N \end{pmatrix} \begin{pmatrix} \tilde{r}_{11} & \tilde{r}_{12} & \cdots & \tilde{r}_{1N} \\ \tilde{r}_{21} & \tilde{r}_{22} & \cdots & \tilde{r}_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ \tilde{r}_{N1} & \tilde{r}_{N2} & \cdots & \tilde{r}_{NN} \end{pmatrix} \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} \\ &= \begin{pmatrix} \sum_{i=1}^N \epsilon_i \tilde{r}_{i1} & \sum_{i=1}^N \epsilon_i \tilde{r}_{i2} & \cdots & \sum_{i=1}^N \epsilon_i \tilde{r}_{iN} \end{pmatrix} \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_N \end{pmatrix} \\ &= \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \tilde{r}_{ij} \epsilon_j \end{aligned}$

となります。

　残差平方和 $\mathbf{e}^{\top} \mathbf{e}$ の期待値を考えます。

$\displaystyle \begin{aligned} \mathbb{E}[\mathbf{e}^{\top} \mathbf{e}] &= \mathbb{E} \left[ \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \epsilon_j - 2 \sum_{i=1}^N \sum_{j=1}^N \epsilon_i r_{ij} \epsilon_j + \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \tilde{r}_{ij} \epsilon_j \right] \\ &= \mathbb{E} \left[ \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \epsilon_j \right] - 2 \mathbb{E} \left[ \sum_{i=1}^N \sum_{j=1}^N \epsilon_i r_{ij} \epsilon_j \right] + \mathbb{E} \left[ + \sum_{i=1}^N \sum_{j=1}^N \epsilon_i \tilde{r}_{ij} \epsilon_j \right] \\ &= \sum_{i=1}^N \sum_{j=1}^N \mathbb{E}[\epsilon_i \epsilon_j] - 2 \sum_{i=1}^N \sum_{j=1}^N r_{ij} \mathbb{E}[\epsilon_i \epsilon_j] + \sum_{i=1}^N \sum_{j=1}^N \tilde{r}_{ij} \mathbb{E}[\epsilon_i \epsilon_j] \end{aligned}$

途中式の途中式(クリックで展開)

1: $\mathbf{e}^{\top} \mathbf{e}$ の期待値の式を立てます( $\mathbf{e}^{\top} \mathbf{e}$ の式(12)の両辺で期待値をとります)。
2: 期待値の性質 $\mathbb{E}[x + y] = \mathbb{E}[x] + \mathbb{E}[y]$ より、和の期待値を期待値の和に分割します。
2: 期待値の性質 $\mathbb{E}[a x] = a \mathbb{E}[x]$ より、定数倍の期待値を期待値の定数倍に変形します。
3: $\mathbf{X}, \mathbf{w}_i$ によって定義される $\mathbf{R}$ は $\boldsymbol{\epsilon}$ と無関係なので、 $\mathbf{R}$ の各要素 $r_{ij}$ を $\mathbb{E}[\cdot]$ の外に出せます。

　各誤差項 $\epsilon_i$ は平均 $\mu = 0$ 、分散 $\sigma^2$ の正規分布に従い独立に生成されると仮定しているので、 $\epsilon_i$ の期待値は $\mathbb{E}[\epsilon_i] = \mu = 0$ であり、 $\epsilon_i, \epsilon_j$ の積の期待値は $\epsilon_i, \epsilon_j$ の共分散 $\mathbb{E}[\epsilon_i \epsilon_j] = \sigma_{ij} = 0$ となります。また、同じ組み合わせ $\epsilon_i, \epsilon_i$ の共分散は $\epsilon_i$ の分散 $\sigma_{ii} = \sigma^2$ です。
　よって、次の関係が得られます。

$\displaystyle \mathbb{E}[\epsilon_i \epsilon_j] = \sigma_{ij} = \begin{cases} \sigma^2 &\quad (i = j) \\ 0 &\quad (i \neq j) \end{cases} \tag{13}$

　詳しくは「線形回帰モデルの最小二乗法の導出」を参照してください。

　この関係を用いて、残差平方和の期待値 $\mathbb{E}[\mathbf{e}^{\top} \mathbf{e}]$ の式を整理します。

$\displaystyle \begin{aligned} \mathbb{E}[\mathbf{e}^{\top} \mathbf{e}] &= \sum_{i=1}^N \sum_{j=1}^N \sigma_{ij} - 2 \sum_{i=1}^N \sum_{j=1}^N r_{ij} \sigma_{ij} + \sum_{i=1}^N \sum_{j=1}^N \tilde{r}_{ij} \sigma_{ij} \\ &= \sum_{i=1}^N \sigma^2 - 2 \sum_{i=1}^N r_{ii} \sigma^2 + \sum_{i=1}^N \tilde{r}_{ii} \sigma^2 \\ &= N \sigma^2 - 2 \sigma^2 \sum_{i=1}^N r_{ii} + \sigma^2 \sum_{i=1}^N \tilde{r}_{ii} \\ &= \sigma^2 \left( N - 2 \sum_{i=1}^N r_{ii} + \sum_{i=1}^N \tilde{r}_{ii} \right) \\ &= \sigma^2 \Bigl( N - 2 \mathrm{trace}(\mathbf{R}) + \mathrm{trace}(\mathbf{R}^{\top} \mathbf{R}) \Bigr) \end{aligned}$

途中式の途中式(クリックで展開)

1-2: 各組み合わせの積の期待値 $\mathbb{E}[\epsilon_i \epsilon_j]$ を式(13)で置き換えます。
2: 3つの項それぞれで、 $j$ に関する項の和 $\sum_{j=1}^N$ を展開すると $i$ に関する項のみが残ります。

$\displaystyle \begin{aligned} \sum_{i=1}^N \sum_{j=1}^N r_{ij} \sigma_{ij} &= \sum_{i=1}^N \Bigl\{ r_{i1} \sigma_{i1} + \cdots + r_{ii} \sigma_{ii} + \cdots + r_{iN} \sigma_{iN} \Bigr\} \\ &= \sum_{i=1}^N \Bigl\{ r_{i1} 0 + \cdots + r_{ii} \sigma^2 + \cdots + r_{iN} 0 \Bigr\} \\ &= \sum_{i=1}^N r_{ii} \sigma^2 \end{aligned}$

3: 定数の総和は定数倍 $\sigma_{i=1}^N a = N a$ です。
3: $\sigma^2$ は各データと無関係なので $\sum_{i=1}^N$ の外に出せます。
4: $\sigma^2$ を括り出します。
5: $\sum_{i=1}^N r_{ii}$ は $\mathbf{R}$ 、 $\sum_{i=1}^N r_{ii}$ は $\mathbf{R}^{\top} \mathbf{R}$ の対角要素の和なので、行列のトレース(対角要素の和) $\mathrm{tr(\mathbf{A})} = \sum_{i=1}^N a_{ii}$ に置き換えます。

　この式を分散パラメータ $\sigma^2$ について解きます。

$\displaystyle \sigma^2 = \frac{ \mathbb{E}[\mathbf{e}^{\top} \mathbf{e}] }{ N - \Bigl( 2 \mathrm{trace}(\mathbf{R}) - \mathrm{trace}(\mathbf{R}^{\top} \mathbf{R}) \Bigr) }$

　 $\sigma^2$ の計算式が得られました。

　残差平方和の期待値 $\mathbb{E}[\mathbf{e}^{\top} \mathbf{e}]$ を残差平方和 $\mathbf{e}^{\top} \mathbf{e}$ で近似

$\displaystyle \mathbb{E}[\mathbf{e}^{\top} \mathbf{e}] \approx \mathbf{e}^{\top} \mathbf{e}$

して、置き換えます(なぜこんな操作をしてもいいのか？)。

$\displaystyle \hat{\sigma}^2 = \frac{ \mathbf{e}^{\top} \mathbf{e} }{ N - (2 v_1 - v_2) }$

　ここで、次のようにおきました。

$\displaystyle \begin{aligned} v_1 &= \mathrm{trace}(\mathbf{R}) \\ v_2 &= \mathrm{trace}(\mathbf{R}^{\top} \mathbf{R}) \end{aligned}$

　 $2 v_1 - v_2$ を有効パラメータ数と言います。

　以上で、線形回帰モデルの誤差項の分散パラメータの計算式が求まりました。

係数パラメータの分散共分散行列の計算式

　GWRモデルに対するOLSによる係数パラメータの推定値の分散共分散行列の計算式を導出します。

　誤差項 $\boldsymbol{\epsilon}$ の期待値は、 $\mathbb{E}[\epsilon_j] = 0$ より、0ベクトルになるのでした。

$\displaystyle \mathbb{E}[\boldsymbol{\epsilon}] = \begin{pmatrix} \mathbb{E}[\epsilon_1] \\ \mathbb{E}[\epsilon_2] \\ \vdots \\ \mathbb{E}[\epsilon_N] \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{pmatrix} = \mathbf{0} \tag{14}$

　また、誤差項 $\boldsymbol{\epsilon}$ の分散共分散行列は、 $\mathbb{E}[\epsilon_i \epsilon_j] = \sigma_{ij}$ の式(13)より、対角要素が分散パラメータ $\sigma^2$ の対角行列になるのでした。

$\displaystyle \begin{align} \mathbb{E} \Bigl[ (\boldsymbol{\epsilon} - \mathbb{E}[\boldsymbol{\epsilon}]) (\boldsymbol{\epsilon} - \mathbb{E}[\boldsymbol{\epsilon}])^{\top} \Bigr] &= \mathbb{E}[\boldsymbol{\epsilon} \boldsymbol{\epsilon}^{\top}] \\ &= \begin{pmatrix} \mathbb{E}[\epsilon_1 \epsilon_1] & \mathbb{E}[\epsilon_1 \epsilon_2] & \cdots & \mathbb{E}[\epsilon_1 \epsilon_N] \\ \mathbb{E}[\epsilon_2 \epsilon_1] & \mathbb{E}[\epsilon_2 \epsilon_2] & \cdots & \mathbb{E}[\epsilon_2 \epsilon_N] \\ \vdots & \vdots & \ddots & \vdots \\ \mathbb{E}[\epsilon_N \epsilon_1] & \mathbb{E}[\epsilon_N \epsilon_2] & \cdots & \mathbb{E}[\epsilon_N \epsilon_N] \end{pmatrix} \\ &= \begin{pmatrix} \sigma^2 & 0 & \cdots & 0 \\ 0 & \sigma^2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma^2 \end{pmatrix} \\ &= \sigma^2 \mathbf{I} \tag{15} \end{align}$

　詳しくは「線形回帰モデルの最小二乗法の導出」を参照してください。

　係数パラメータの推定値 $\hat{\boldsymbol{\beta}}_i$ の式(4)を変形します。

$\displaystyle \begin{align} \hat{\boldsymbol{\beta}}_i &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{y} \tag{4}\\ &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i ( \mathbf{X} \boldsymbol{\beta}_i + \boldsymbol{\epsilon} ) \\ &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X} \boldsymbol{\beta}_i + (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \\ &= \boldsymbol{\beta}_i + (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \tag{16} \end{align}$

途中式の途中式(クリックで展開)

2: 線形回帰モデルの式 $\mathbf{y} = \mathbf{X} \boldsymbol{\beta}_i + \boldsymbol{\epsilon}$ で置き換えます。
4: 括弧を展開します。
5: 逆行列の性質 $\mathbf{A}^{-1} \mathbf{A} = \mathbf{I}$ より、 $(\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{X}$ が単位行列になり消えます。

　推定パラメータ $\hat{\boldsymbol{\beta}}_i$ の期待値は、真のパラメータ $\boldsymbol{\beta}_i$ になります。

$\displaystyle \begin{align} \mathbb{E}[\hat{\boldsymbol{\beta}}_i] &= \mathbb{E} \Bigl[ \boldsymbol{\beta}_i + (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \Bigr] \\ &= \mathbb{E}[\boldsymbol{\beta}_i] + \mathbb{E} \Bigl[ (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \Bigr] \\ &= \boldsymbol{\beta}_i + (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbb{E}[\boldsymbol{\epsilon}] \\ &= \boldsymbol{\beta}_i + (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{0} \\ &= \boldsymbol{\beta}_i \tag{17} \end{align}$

途中式の途中式(クリックで展開)

1: $\hat{\boldsymbol{\beta}}_i$ の期待値の式を立てます( $\hat{\boldsymbol{\beta}}_i$ の式(16)の両辺で期待値をとります)。
2: 和の期待値 $\mathbb{E}[x + y] = \mathbb{E}[x] + \mathbb{E}[y]$ より、項ごとの期待値に分割します。
3: 観測値 $\mathbf{X}$ は定数として扱うので、 $\mathbb{E}[\cdot]$ の外に出せます。
4-5: $\mathbb{E}[\boldsymbol{\epsilon}]$ の式(14)で置き換えると、後の項が0ベクトルになり消えます。

　よって、推定パラメータ $\hat{\boldsymbol{\beta}}_i$ と推定パラメータの期待値 $\mathbb{E}[\hat{\boldsymbol{\beta}}_i]$ の差は、次の式で表わせます。

$\displaystyle \begin{align} \hat{\boldsymbol{\beta}}_i - \mathbb{E}[\hat{\boldsymbol{\beta}}_i] &= \hat{\boldsymbol{\beta}}_i - \boldsymbol{\beta}_i \\ &= \boldsymbol{\beta}_i + (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} - \boldsymbol{\beta}_i \\ &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \tag{18} \end{align}$

途中式の途中式(クリックで展開)

1: $\hat{\boldsymbol{\beta}}_i, \mathbb{E}[\hat{\boldsymbol{\beta}}_i]$ の差の式を立てて、 $\mathbb{E}[\hat{\boldsymbol{\beta}}_i]$ の式(17)で置き換えます。
2: $\hat{\boldsymbol{\beta}}_i$ の式(16)で置き換えます。
3: 式を整理します。

　推定パラメータ $\hat{\boldsymbol{\beta}}_i$ の分散共分散行列を考えます。

$\displaystyle \begin{align} \mathbb{E} \Bigl[ (\hat{\boldsymbol{\beta}}_i - \mathbb{E}[\hat{\boldsymbol{\beta}}_i]) (\hat{\boldsymbol{\beta}}_i - \mathbb{E}[\hat{\boldsymbol{\beta}}_i])^{\top} \Bigr] &= \mathbb{E} \Bigl[ (\hat{\boldsymbol{\beta}}_i - \boldsymbol{\beta}_i) (\hat{\boldsymbol{\beta}}_i - \boldsymbol{\beta}_i)^{\top} \Bigr] \\ &= \mathbb{E} \Bigl[ \Bigl( (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \Bigr) \Bigl( (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \Bigr)^{\top} \Bigr] \\ &= \mathbb{E} \Bigl[ (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon} \boldsymbol{\epsilon}^{\top} \mathbf{W}_i \mathbf{X} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \Bigr] \\ &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbb{E}[\boldsymbol{\epsilon} \boldsymbol{\epsilon}^{\top}] \mathbf{W}_i \mathbf{X} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \\ &= (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \sigma^2 \mathbf{I} \mathbf{W}_i \mathbf{X} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \\ &= \sigma^2 (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \mathbf{W}_i \mathbf{X} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \tag{19} \end{align}$

途中式の途中式(クリックで展開)

1: 分散共分散行列の定義 $\boldsymbol{\Sigma}_{\mathbf{x}\mathbf{y}} = \mathbb{E}[(\mathbf{x} - \mathbb{E}[\mathbf{x}]) (\mathbf{y} - \mathbb{E}[\mathbf{y}])^{\top}]$ より、 $\hat{\boldsymbol{\beta}}_i$ の分散共分散行列の式を立てます。
1-2: $\hat{\boldsymbol{\beta}}, \mathbb{E}[\hat{\boldsymbol{\beta}}]$ の差を式(14)で置き換えます。
3: 転置行列の性質 $(\mathbf{A} \mathbf{B} \mathbf{C})^{\top} = \mathbf{C}^{\top} \mathbf{B}^{\top} \mathbf{A}^{\top}$ 、転置行列と逆行列の関係 $(\mathbf{A}^{-1})^{\top} = (\mathbf{A}^{\top})^{-1}$ 、重み行列は対角行列なので $(\mathbf{W}_i)^{\top} = \mathbf{W}_i$ より、 $((\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i \boldsymbol{\epsilon})^{\top} = \boldsymbol{\epsilon}^{\top} \mathbf{W}_i \mathbf{X} (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1}$ となります。
4: 観測値 $\mathbf{X}$ は定数として扱うので、 $\mathbb{E}[\cdot]$ の外に出せます。
5: $\mathbb{E}[\boldsymbol{\epsilon} \boldsymbol{\epsilon}^{\top}]$ を式(15)で置き換えます。
6: スカラ $\sigma^2$ を前に出します。

　この式の行列について、 $\mathbf{C}_i$ とおきます。

$\displaystyle \mathbf{C}_i = (\mathbf{X}^{\top} \mathbf{W}_i \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W}_i$

　逆行列部分は $(K+1) \times (K+1)$ の行列でした。 $\mathbf{C}_i$ は、 $(K+1) \times (K+1)$ 、 $(K+1) \times N$ 、 $N \times N$ の行列の積なので、 $(K+1) \times N$ の行列になります。
　ちなみに、 $\hat{\boldsymbol{\beta}}_i = \mathbf{C}_i \mathbf{y}$ 、 $\mathbf{r}_i^{\top} = \mathbf{x}_i^{\top} \mathbf{C}_i$ の関係です。

　推定パラメータ $\hat{\boldsymbol{\beta}}_i$ の分散共分散行列の式(19)を $\mathbf{C}_i$ で置き換えます。

$\displaystyle \mathbb{E} \Bigl[ (\hat{\boldsymbol{\beta}}_i - \mathbb{E}[\hat{\boldsymbol{\beta}}_i]) (\hat{\boldsymbol{\beta}}_i - \mathbb{E}[\hat{\boldsymbol{\beta}}_i])^{\top} \Bigr] = \sigma^2 \mathbf{C}_i \mathbf{C}_i^{\top}$

　 $\hat{\boldsymbol{\beta}}_i$ の分散共分散行列の計算式が得られました。

　この記事では、GWRモデルの最小二乗法を数式で確認しました。次の記事では、プログラムで確認します。

参考文献

Pythonで学ぶ空間データサイエンス入門: 地域の特徴を発見する方法

作者:植杉　大
Independently published

Amazon

おわりに

　最後惜しいなぁ、真ん中の重み行列の1つを消すなり移動するなりできれば、線形回帰のときのようにスッキリした式になるのになぁ。気になるなぁ。
　ところでハット行列とはなんですか。ここでハット行列と呼ばれているものと3章で導出したものとは別ですよね。謎です。

　基準地点 $i$ に対してなのか(基準地点も含めた)ある地点 $j$ に対してなのか、はたまた $N$ 個の各地点 $j = 1, \dots, N$ に対してなのかを意識して読む(変形する)必要があるのですが、途中から $N$ 個の各基準地点 $i = 1, \dots, N$ に対して操作(計算)していて、そこに気付くまで随分苦労しました。

　異なる基準地点の重みやパラメータを扱っている場合に区別するため(本にはない記号を導入して) $\hat{y}_{ij}, e_{ij}$ のように基準地点 $i$ を明示的に表記しました。ベクトルの要素らしさ(行列の要素らしくなさ)のため $\hat{y}_j^{(i)}, e_j^{(i)}$ のように基準地点番号と地点番号を分けて表記することも考えたのですが、不必要に記号が煩い気がして止めました(他のシリーズではたまに使っています)。自分で書いているとどう表記しても分かりやすく思ってしまうので悩みます。
　重みやパラメータ $w_{jj}(i), \beta_j(u_i, v_i)$ についても、(基準地点 $i$ に依存して決まるのを関数的に表しているのだと思うのですが、)煩いので $w_{ijj}, \beta_{ij}$ のように簡素化して表記しました。
　(この記事では登場させずに済んだのですが)本や他の記事では、 $N$ 個の基準地点に関してまとめて、行列 $\boldsymbol{\beta} = (\boldsymbol{\beta}_1^{\top}, \cdots, \boldsymbol{\beta}_N^{\top})^{\top}$ や $\hat{\mathbf{Y}} = (\hat{\mathbf{y}}_1^{\top}, \cdots, \hat{\mathbf{y}}_N^{\top})^{\top}$ として扱う(と行列計算により表記や処理が楽になる)こともあるので、基準地点番号を行番号として用いて行列 $\boldsymbol{\beta} = (\beta_{11}, \cdots, \beta_{NN})$ や $\hat{\mathbf{Y}} = (\hat{y}_{11}, \cdots, \hat{y}_{NN})$ のように流用できる表記にしました。
　とすると重みは $w_{jj}^{(i)}$ のようにした方が行列の成分が分かりやすいと思いますが、他との兼ね合いで基準地点番号を1つ目の添字で示すということで納得することにしました。

　基準地点なのか各地点なのかや、どの要素がどの要素に影響するのかを明示したくて、ベクトルや行列の計算を要素レベルの計算まで何度か行いました。清書し終わってから気付いたのですが、次の式変形ではベクトルや行列の状態の計算に戻ってから行っており、三歩進んで二歩下がる的な展開が繰り返されいて分かりにくい書き方になっていますね。
　これも自分で書いていると意図を知っているので分かりやすく思ってしまうがゆえです。
　ただGWRでは、同じものを示しつつ異なる意味を持つ添字(地点番号)が各所に出てくるので、要素レベルでの対応関係を確認しておくと理解しやすいと思います。読み取りにくいけどね。

　そんなこんなでなんとか理解できたと思われます。
　分かってくると次の疑問が生じて、今回の内容も最小二乗法なわけですよね、線形回帰モデルの最小二乗法をOLSと呼んで地理的加重回帰モデルの最小二乗法をGWRと呼ぶのが気になってしょうがないです。そもそも今回の操作を重み付き(残差の)最小二乗法と呼びたい気もします。

　2024年9月29日は、モーニング娘。10期メンバーの加入13周年の日です。

　あゆみんの卒コンの日程も決まりカウントダウンがより明確に聞こえてきますが(泣)、あゆみんがラストツアー共々晴れやかな気持ちで楽しめますように。

【次の内容】

からっぽのしょこ

読んだら書く！書いたら読む！同じ事は二度調べ(たく)ない

4.3.4-7：GWRモデルの最小二乗法の導出【空間データサイエンス入門のノート】

はじめに

4.3.4-7 GWRモデルの最小二乗法の導出

モデルの設定

係数パラメータの計算式

分散パラメータの計算式

係数パラメータの分散共分散行列の計算式

参考文献

おわりに