はじめに

　『Pythonによるはじめての地理空間データサイエンス』の独学時のまとめノートです。「導出編」「実装編」「可視化編」の三部構成でモデルやアルゴリズムの理解を目指します。
　本の内容から寄り道・回り道しながら進めます。本を読んだ上で補助的に読んでください。

　この記事では、空間ラグモデルのヘッセ行列について、数式を使って解説します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
0.2.1 空間ラグモデル(SLM)のヘッセ行列の導出
参考文献
おわりに

0.2.1 空間ラグモデル(SLM)のヘッセ行列の導出

　空間ラグモデル(SLM・Spatial Lag Model・空間自己回帰モデル・SARモデル・Spatial Autoregressive Model)におけるヘッセ行列(Hessian matrix)を導出します。
　SLMの定義式については「【Python】0.1.2：空間ラグモデル(SLM)の定義式【はじめての地理空間DSのノート】 - からっぽのしょこ」を参照してください。

モデルの確認

　まずは、SLMの定義(仮定)を数式で確認します。
　空間重み行列については「空間重み行列の定義式」、多変量正規分布については「多次元ガウス分布の定義式 - からっぽのしょこ」を参照してください。

定義式

　SLMの定義式については「SLMの定義式」を参照してください。

　SLMは、次の式で定義されます。

$\begin{align} \mathbf{y} &= \rho \mathbf{W} \mathbf{y} + \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\epsilon} \tag{0.12.a}\\ y_n &= \rho \mathbf{w}_n^{\top} \mathbf{y} + \mathbf{x}_n^{\top} \boldsymbol{\beta} + \epsilon_n \\ &= \rho \sum_{j=1}^N w_{nj} y_j + \beta_0 + \sum_{k=1}^K x_{nk} \beta_k + \epsilon_n \end{align}$

　ここで、 $\mathbf{x}_n$ は地域 $n$ の説明変数( $N$ 次元ベクトル)、 $\mathbf{X}$ は $N$ 個の地域の説明変数( $N \times (K+1)$ の行列)、 $y_n$ は地域 $n$ の被説明変数(スカラ)、 $\mathbf{y}$ は $N$ 個の地域の被説明変数( $N$ 次元ベクトル)、 $\boldsymbol{\beta}$ は回帰パラメータ( $K+1$ 次元ベクトル)、 $\epsilon_n$ は地域 $n$ の誤差項(スカラ)、 $\boldsymbol{\epsilon}$ は $N$ 個の地域の誤差項( $N$ 次元ベクトル)、 $\mathbf{w}_n$ は地域 $n$ に関する重み( $N$ 次元ベクトル)、 $\mathbf{W}$ は空間重み行列( $N \times N$ の行列)、 $\rho$ は空間パラメータ(スカラ)です。

　誤差項 $\boldsymbol{\epsilon}$ は、平均ベクトル $\boldsymbol{\mu} = \mathbf{0}$ ・分散共分散行列 $\boldsymbol{\Sigma} = \sigma^2 \mathbf{I}$ の多変量正規分布に従うと仮定します。

$\begin{align} \boldsymbol{\epsilon} &\sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}) \tag{0.12.b}\\ \epsilon_n &\sim \mathcal{N}(0, \sigma^2) \end{align}$

　ここで、 $\sigma^2$ は分散パラメータ(スカラ)です。

計算式

　SLMに関する計算式については「SLMの定義式」を参照してください。

　空間自己回帰に関する項について、次のようにおきます。

$\displaystyle \mathbf{A} = \mathbf{I} - \rho \mathbf{W} \tag{1}$

　定義式(0.12.a)を誤差項 $\boldsymbol{\epsilon}$ について整理すると、次の式となります。

$\begin{align} \boldsymbol{\epsilon} &= (\mathbf{I} - \rho \mathbf{W}) \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \\ &= \mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \tag{2} \end{align}$

　誤差項 $\boldsymbol{\epsilon}$ の内積(2乗和)は、次の式となります。

$\begin{align} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} &= (\mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta})^{\top} (\mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta}) \\ &= \mathbf{y}^{\top} \mathbf{A}^{\top} \mathbf{A} \mathbf{y} - 2 \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \tag{3} \end{align}$

尤度関数

　SLMの尤度関数については「SLMの尤度関数の導出」を参照してください。

　SLMのパラメータ $\boldsymbol{\beta}, \sigma^2, \rho$ をまとめて、パラメータベクトル $\boldsymbol{\theta} = (\boldsymbol{\beta}, \sigma^2, \rho)^{\top}$ とします。

　尤度関数 $L(\boldsymbol{\theta})$ は、次の式となります。

$\begin{align} L(\boldsymbol{\theta}) &= p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta}) \\ &= (2 \pi)^{-\frac{N}{2}} (\sigma^2)^{-\frac{N}{2}} \exp \Bigl( - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Bigr) |\mathbf{A}| \tag{4} \end{align}$

　ここで、 $|\mathbf{X}|$ は行列式です。

　対数尤度関数は、次の式となります。

$\begin{align} \log L(\boldsymbol{\theta}) &= \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta}) \\ &= \log |\mathbf{A}| - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \sigma^2 - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \tag{0.13} \end{align}$

　以上の式を用いてヘッセ行列を求めます。

スポンサードリンク

対数尤度関数の1階微分の導出

　次は、SLMの対数尤度関数の1階微分を導出します。

対数尤度関数の微分の設定

　対数尤度関数の微分を確認します。

　対数尤度関数 $\log L(\boldsymbol{\theta})$ の1階微分を求めます。

$\displaystyle \frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\theta}} = \begin{pmatrix} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta}} \\ \frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2} \\ \frac{\partial \log L(\boldsymbol{\theta})}{\partial \rho} \end{pmatrix} \tag{5}$

　各要素は、各パラメータ $\boldsymbol{\beta}, \sigma^2, \rho$ による偏微分で求まるのが分かります。

　対数尤度関数の1階微分(5)の各要素の式を求めていきます。

回帰パラメータによる偏微分

　各種の変数の回帰パラメータに関する微分を求めます。

　対数尤度関数の1階微分(5)の1番目の要素は、対数尤度関数(0.13)を回帰パラメータ $\boldsymbol{\beta}$ に関して微分して求まります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta}} &= \frac{\partial}{\partial \boldsymbol{\beta}} \Biggl\{ \log |\mathbf{A}| - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \sigma^2 - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Biggr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ \log |\mathbf{A}| \Bigr\} + \frac{\partial}{\partial \boldsymbol{\beta}} \Biggl\{ - \frac{N \log (2 \pi)}{2} \Biggr\} + \frac{\partial}{\partial \boldsymbol{\beta}} \Biggl\{ - \frac{N}{2} \log \sigma^2 \Biggr\} - \frac{1}{2} \frac{1}{\sigma^2} \frac{\partial \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon}}{\partial \boldsymbol{\beta}} \\ &= 0 + 0 + 0 - \frac{1}{2} \sigma^2 \Bigl( - 2 \mathbf{X}^{\top} \boldsymbol{\epsilon} \Bigr) \\ &= \frac{1}{\sigma^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} \tag{0.16} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\boldsymbol{\beta}$ に関する微分なので、 $\boldsymbol{\beta}$ 以外の項は定数として扱います。
2: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
3: $\boldsymbol{\epsilon}$ の内積の微分に、式(6)を代入します。

　誤差項 $\boldsymbol{\epsilon}$ の内積を $\boldsymbol{\beta}$ に関して微分します。

$\begin{align} \frac{\partial \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon}}{\partial \boldsymbol{\beta}} &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ (\mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta})^{\top} (\mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta}) \Bigr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ \mathbf{y}^{\top} \mathbf{A}^{\top} \mathbf{A} \mathbf{y} - 2 \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \Bigr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ \mathbf{y}^{\top} \mathbf{A}^{\top} \mathbf{A} \mathbf{y} \Bigr\} - 2 \frac{\partial \boldsymbol{\beta}^{\top}}{\partial \boldsymbol{\beta}} \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + \frac{ \partial \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} }{ \partial \boldsymbol{\beta} } \\ &= 0 - 2 \mathbf{I} \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + 2 \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \\ &= - 2 \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + 2 \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \\ &= - 2 \mathbf{X}^{\top} (\mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta}) \\ &= - 2 \mathbf{X}^{\top} \boldsymbol{\epsilon} \tag{6} \end{align}$

途中式の途中式(クリックで展開)

1-2: 式(3)の偏微分の式を立てます。
3: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
4: $\mathbf{X}, \boldsymbol{\beta}$ の二次形式の微分に、式(7)を代入します。
6: 共通の項と $-1$ を括り出します。
7: 括弧を、式(2)で置き換えます。

　説明変数・回帰パラメータ $\mathbf{X}, \boldsymbol{\beta}$ の二次形式を $\boldsymbol{\beta}$ に関して微分します。

$\begin{align} \frac{ \partial \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} }{ \partial \boldsymbol{\beta} } &= \Bigl( \mathbf{X}^{\top} \mathbf{X} + (\mathbf{X}^{\top} \mathbf{X})^{\top} \Bigr) \boldsymbol{\beta} \\ &= \Bigl( \mathbf{X}^{\top} \mathbf{X} + \mathbf{X}^{\top} \mathbf{X} \Bigr) \boldsymbol{\beta} \\ &= 2 \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \tag{7} \end{align}$

途中式の途中式(クリックで展開)

1: 二次形式の微分 $\frac{\partial \mathbf{x}^{\top} \mathbf{A} \mathbf{x}}{\partial \mathbf{x}} = (\mathbf{A} + \mathbf{A}^{\top}) \mathbf{x}$ より、 $\mathbf{X}^{\top} \mathbf{X}$ を1つの行列とみなして微分を計算します。
2: 転置の性質 $(\mathbf{A} \mathbf{B})^{\top} = \mathbf{B}^{\top} \mathbf{A}^{\top}$ より、括弧を展開します。

　以上で、対数尤度関数の1階微分(5)の1番目の要素の式が得られました。

分散パラメータによる偏微分

　各種の変数の分散パラメータに関する微分を求めます。

　対数尤度関数の1階微分(5)の2番目の要素は、対数尤度関数(0.13)を分散パラメータ $\sigma^2$ に関して微分して求まります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2} &= \frac{\partial}{\partial \sigma^2} \Biggl\{ \log |\mathbf{A}| - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \sigma^2 - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Biggr\} \\ &= \frac{\partial}{\partial \sigma^2} \Bigl\{ \log |\mathbf{A}| \Bigr\} + \frac{\partial}{\partial \sigma^2} \Biggl\{ - \frac{N \log (2 \pi)}{2} \Biggr\} - \frac{N}{2} \frac{\partial \log \sigma^2}{\partial \sigma^2} - \frac{1}{2} \frac{\partial (\sigma^2)^{-1}}{\partial \sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \\ &= 0 + 0 - \frac{N}{2} \frac{1}{\sigma^2} - \frac{1}{2} (- 1) (\sigma^2)^{-2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \\ &= - \frac{N}{2} \frac{1}{\sigma^2} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \tag{0.17} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\sigma^2$ に関する微分なので、 $\sigma^2$ 以外の項は定数として扱います。
2: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
2: 微分の計算が分かりやすいように、分数の指数表記 $\frac{1}{x} = x^{-1}$ に書き換えています。
3: 自然対数の微分 $\frac{d \log x}{d x} = \frac{1}{x}$ より、微分を計算します。
3: べき乗の微分 $\frac{d x^n}{d x} = n x^{n-1}$ より、 $\sigma^2$ を1つの変数とみなして微分を計算します。
4: 分数の指数表記 $\frac{1}{x^n} = x^{-n}$ を戻します。

　以上で、対数尤度関数の1階微分(5)の2番目の要素の式が得られました。

空間パラメータによる偏微分

　各種の変数の空間パラメータに関する微分を求めます。

　対数尤度関数の1階微分(5)の3番目の要素は、対数尤度関数(0.13)を空間パラメータ $\rho$ に関して微分して求まります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \rho} &= \frac{\partial}{\partial \rho} \Biggl\{ \log |\mathbf{A}| - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \sigma^2 - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Biggr\} \\ &= \frac{\partial \log |\mathbf{A}|}{\partial \rho} + \frac{\partial}{\partial \rho} \Biggl\{ - \frac{N \log (2 \pi)}{2} \Biggr\} + \frac{\partial}{\partial \rho} \Biggl\{ - \frac{N}{2} \log \sigma^2 \Biggr\} - \frac{1}{2} \frac{1}{\sigma^2} \frac{\partial \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon}}{\partial \rho} \\ &= - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + 0 + 0 - \frac{1}{2} \sigma^2 ( - 2 \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} ) \\ &= - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \tag{0.18} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\rho$ に関する微分なので、 $\rho$ 以外の項は定数として扱います。
2: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
3: $\mathbf{A}$ の対数行列式の微分に、式(0.15)を代入します。
3: $\boldsymbol{\epsilon}$ の内積の微分に、式(0.14)を代入します。

　 $\mathbf{A}$ の対数行列式を $\rho$ に関して微分します。

$\begin{align} \frac{\partial \log |\mathbf{A}|}{\partial \rho} &= |\mathbf{A}|^{-1} \frac{\partial |\mathbf{A}|}{\partial \rho} \\ &= |\mathbf{A}|^{-1} |\mathbf{A}| \mathrm{Tr} \Bigl( \mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial \rho} \Bigr) \\ &= \mathrm{Tr} \Bigl( \mathbf{A}^{-1} (- \mathbf{W}) \Bigr) \\ &= - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) \tag{0.15} \end{align}$

途中式の途中式(クリックで展開)

1: 合成関数の微分(連鎖率) $\frac{d y}{d x} = \frac{d y}{d u} \frac{d u}{d x}$ 、自然対数の微分 $\frac{d \log x}{d x} = x^{-1}$ より、 $|\mathbf{A}|$ を中間変数とみなして微分を計算します。
2: $x$ に依存する行列 $\mathbf{A}$ における行列式の微分(ヤコビの公式) $\frac{\partial |\mathbf{A}|}{\partial x} = |\mathbf{A}| \mathrm{Tr}(\mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial x})$ より、トレースを用いた微分に変形します。
3: $\mathbf{A}$ の微分に、式(8)を代入します。
4: トレースの性質 $\mathrm{Tr}(- \mathbf{X}) = - \mathrm{Tr}(\mathbf{X})$ より、符号をトレースの外に出します。

　 $\mathbf{A}$ を $\rho$ に関して微分します。

$\begin{align} \frac{\partial \mathbf{A}}{\partial \rho} &= \frac{\partial}{\partial \rho} \Bigl\{ \mathbf{I} - \rho \mathbf{W} \Bigr\} \\ &= \frac{\partial}{\partial \rho} \Bigl\{ \mathbf{I} \Bigr\} - \frac{\partial \rho}{\partial \rho} \mathbf{W} \\ &= \mathbf{0} - 1 \mathbf{W} \\ &= - \mathbf{W} \tag{8} \end{align}$

途中式の途中式(クリックで展開)

1: 式(1)の偏微分の式を立てます。
2: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。

　誤差項 $\boldsymbol{\epsilon}$ の内積を $\rho$ に関して微分します。

$\begin{align} \frac{\partial \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon}}{\partial \rho} &= \frac{\partial \boldsymbol{\epsilon}^{\top}}{\partial \rho} \boldsymbol{\epsilon} + \boldsymbol{\epsilon}^{\top} \frac{\partial \boldsymbol{\epsilon}}{\partial \rho} \\ &= (- \mathbf{W} \mathbf{y})^{\top} \boldsymbol{\epsilon} + \boldsymbol{\epsilon}^{\top} (- \mathbf{W} \mathbf{y}) \\ &= - \mathbf{y}^{\top} \mathbf{W}^{\top} \boldsymbol{\epsilon} - \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \\ &= - 2 \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \tag{0.14} \end{align}$

途中式の途中式(クリックで展開)

1: 積の微分 $\frac{d \{f(x) g(x)\}}{d x} = \frac{d f(x)}{d x} g(x) + f(x) \frac{d g(x)}{d x}$ より、2つの微分の和に変形します。
2: $\boldsymbol{\epsilon}$ の微分に、式(9)を代入します。
3: 転置の性質 $(\mathbf{A} \mathbf{B})^{\top} = \mathbf{B}^{\top} \mathbf{A}^{\top}$ より、括弧を展開します。
4: 二次形式はスカラなので、転置できます。

　2つの項が一致するのでまとめます。

$\displaystyle \begin{aligned} \mathbf{y}^{\top} \mathbf{W}^{\top} \boldsymbol{\epsilon} &= (\mathbf{y}^{\top} \mathbf{W}^{\top} \boldsymbol{\epsilon})^{\top} \\ &= \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \end{aligned}$

　誤差項 $\boldsymbol{\epsilon}$ を $\rho$ に関して微分します。

$\begin{align} \frac{\partial \boldsymbol{\epsilon}}{\partial \rho} &= \frac{\partial}{\partial \rho} \Bigl\{ \mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \Bigr\} \\ &= \frac{\partial}{\partial \rho} \Bigl\{ (\mathbf{I} - \rho \mathbf{W}) \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \Bigr\} \\ &= \frac{\partial}{\partial \rho} \Bigl\{ \mathbf{y} - \rho \mathbf{W} \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \Bigr\} \\ &= \frac{\partial}{\partial \rho} \Bigl\{ \mathbf{y} \Bigr\} - \frac{\partial \rho}{\partial \rho} \mathbf{W} \mathbf{y} + \frac{\partial}{\partial \rho} \Bigl\{ - \mathbf{X} \boldsymbol{\beta} \Bigr\} \\ &= \mathbf{0} - 1 \mathbf{W} \mathbf{y} + \mathbf{0} \\ &= - \mathbf{W} \mathbf{y} \tag{9} \end{align}$

途中式の途中式(クリックで展開)

1: 式(2)の偏微分の式を立てます。
2: $\mathbf{A}$ に、式(1)を代入します。
3: 括弧を展開します。
4: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。

　以上で、対数尤度関数の1階微分(5)の3番目の要素の式が得られました。

対数尤度関数の微分

　対数尤度関数の微分を求めます。

　対数尤度関数の1階微分(5)の各要素をそれぞれの式(0.16)(0.17)(0.18)と置き換えます。

$\displaystyle \frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\theta}} = \begin{pmatrix} \frac{1}{\sigma^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} \\ - \frac{N}{2} \frac{1}{\sigma^2} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \\ - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \end{pmatrix} \tag{5'}$

　以上で、対数尤度関数の1階微分の式が得られました。

スポンサードリンク

対数尤度関数の2階微分の導出

　続いて、SLMの対数尤度関数の2階微分を導出します。

ヘッセ行列の設定

　対数尤度関数のヘッセ行列を確認します。

　対数尤度関数 $\log L(\boldsymbol{\theta})$ の2階微分を求めます。関数の2階偏微分を並べた行列をヘッセ行列 $\mathbf{H}(\boldsymbol{\theta})$ と呼びます。

$\displaystyle \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\theta} \partial \boldsymbol{\theta}^{\top}} = \begin{pmatrix} \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta} \partial \boldsymbol{\beta}^{\top}} & \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta} \partial \sigma^2} & \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta} \partial \rho} \\ \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \sigma^2 \partial \boldsymbol{\beta}^{\top}} & \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \sigma^2 \partial \sigma^2} & \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \sigma^2 \partial \rho} \\ \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \rho \partial \boldsymbol{\beta}^{\top}} & \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \rho \partial \sigma^2} & \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \rho \partial \rho} \end{pmatrix} \equiv \mathbf{H}(\boldsymbol{\theta}) \tag{10}$

　各要素は、各パラメータ $\boldsymbol{\beta}, \sigma^2, \rho$ の組み合わせによる偏微分で求まるのが分かります。

　ヘッセ行列(10)の各要素の式を求めていきます。

回帰・回帰パラメータによる偏微分

　各種の変数の回帰パラメータに関する2階微分を求めます。

　ヘッセ行列(10)の1行1列目の要素は、対数尤度関数(0.13)を空間パラメータ $\boldsymbol{\beta}$ に関して2階微分して求まります。

$\begin{align} \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta} \partial \boldsymbol{\beta}^{\top}} &= \frac{\partial}{\partial \boldsymbol{\beta}} \frac{\partial}{\partial \boldsymbol{\beta}^{\top}} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \boldsymbol{\beta}^{\top}} \frac{\partial}{\partial \boldsymbol{\beta}} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \boldsymbol{\beta}^{\top}} \Biggl\{ \frac{1}{\sigma^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} \Biggr\} \\ &= \frac{1}{\sigma^2} \mathbf{X}^{\top} \frac{\partial \boldsymbol{\epsilon}}{\partial \boldsymbol{\beta}^{\top}} \\ &= \frac{1}{\sigma^2} \mathbf{X}^{\top} (- \mathbf{X}) \\ &= - \frac{1}{\sigma^2} \mathbf{X}^{\top} \mathbf{X} \tag{0.24} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\boldsymbol{\beta}$ に関する微分なので、 $\boldsymbol{\beta}$ 以外の項は定数として扱います。
2: $\boldsymbol{\beta}, \boldsymbol{\beta}^{\top}$ による微分の順番を入れ換えます。
3: $\log L(\boldsymbol{\theta})$ の微分に、式(0.16)を代入します。
4: $\boldsymbol{\beta}$ と無関係な項を微分の外に出します。
5: $\boldsymbol{\beta}$ の微分に、式(11)を代入します。

　誤差項 $\boldsymbol{\epsilon}$ を $\boldsymbol{\beta}$ の転置に関して微分します。

$\begin{align} \frac{\partial \boldsymbol{\epsilon}}{\partial \boldsymbol{\beta}^{\top}} &= \frac{\partial}{\partial \boldsymbol{\beta}^{\top}} \Big\{ \mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \Bigr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}^{\top}} \Big\{ \mathbf{A} \mathbf{y} \Bigr\} - \mathbf{X} \frac{\partial \boldsymbol{\beta}}{\partial \boldsymbol{\beta}^{\top}} \\ &= \mathbf{0} - \mathbf{X} \mathbf{I} \\ &= - \mathbf{X} \tag{11} \end{align}$

途中式の途中式(クリックで展開)

1: 式(2)の偏微分の式を立てます。
2: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。

　以上で、ヘッセ行列(10)の1行1列目の要素の式が得られました。

回帰・分散パラメータによる偏微分

　各種の変数の回帰パラメータと分散パラメータに関する微分を求めます。

　ヘッセ行列(10)の1行2列目の要素は、対数尤度関数(0.13)を回帰パラメータ $\boldsymbol{\beta}$ と分散パラメータ $\sigma^2$ に関して微分して求まります。

$\begin{align} \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta} \partial \sigma^2} &= \frac{\partial}{\partial \boldsymbol{\beta}} \frac{\partial}{\partial \sigma^2} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Biggl\{ - \frac{N}{2} \frac{1}{\sigma^2} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Biggr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Biggl\{ - \frac{N}{2} \frac{1}{\sigma^2} \Biggr\} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \frac{\partial \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon}}{\partial \boldsymbol{\beta}} \\ &= 0 + \frac{1}{2} \frac{1}{(\sigma^2)^2} (- 2 \mathbf{X}^{\top} \boldsymbol{\epsilon}) \\ &= - \frac{1}{(\sigma^2)^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} \tag{0.25} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\boldsymbol{\beta}, \sigma^2$ に関する微分なので、それぞれ他の項は定数として扱います。
2: $\log L(\boldsymbol{\theta})$ の微分に、式(0.17)を代入します。
3: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
4: $\boldsymbol{\epsilon}$ の内積の微分に、式(6)を代入します。

　以上で、ヘッセ行列(10)の1行2列・2行1列目の要素の式が得られました。

回帰・空間パラメータによる偏微分

　各種の変数の回帰パラメータと空間パラメータに関する微分を求めます。

　ヘッセ行列(10)の1行3列目の要素は、対数尤度関数(0.13)を回帰パラメータ $\boldsymbol{\beta}$ と空間パラメータ $\rho$ に関して微分して求まります。

$\begin{align} \frac{\partial^2 \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta} \partial \rho} &= \frac{\partial}{\partial \boldsymbol{\beta}} \frac{\partial}{\partial \rho} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Biggl\{ - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \Biggr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigr\{ - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) \Bigr\} + \frac{1}{\sigma^2} \frac{\partial \boldsymbol{\epsilon}^{\top}}{\partial \boldsymbol{\beta}} \mathbf{W} \mathbf{y} \\ &= 0 + \frac{1}{\sigma^2} (- \mathbf{X}^{\top}) \mathbf{W} \mathbf{y} \\ &= - \frac{1}{\sigma^2} \mathbf{X}^{\top} \mathbf{W} \mathbf{y} \tag{0.26} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\boldsymbol{\beta}, \rho$ に関する微分なので、それぞれ他の項は定数として扱います。
2: $\log L(\boldsymbol{\theta})$ の微分に、式(0.18)を代入します。
3: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
4: $\boldsymbol{\epsilon}$ の内積の微分に、式(12)を代入します。

　誤差項 $\boldsymbol{\epsilon}$ の転置を $\boldsymbol{\beta}$ に関して微分します。

$\begin{align} \frac{\partial \boldsymbol{\epsilon}^{\top}}{\partial \boldsymbol{\beta}} &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ (\mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta})^{\top} \Bigr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ (\mathbf{A} \mathbf{y})^{\top} - (\mathbf{X} \boldsymbol{\beta})^{\top} \Bigr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ \mathbf{y}^{\top} \mathbf{A}^{\top} - \boldsymbol{\beta}^{\top} \mathbf{X}^{\top} \Bigr\} \\ &= \frac{\partial}{\partial \boldsymbol{\beta}} \Bigl\{ \mathbf{y}^{\top} \mathbf{A}^{\top} \Bigr\} - \frac{\partial \boldsymbol{\beta}^{\top}}{\partial \boldsymbol{\beta}} \mathbf{X}^{\top} \\ &= \mathbf{0} - \mathbf{I} \mathbf{X}^{\top} \\ &= - \mathbf{X}^{\top} \tag{12} \end{align}$

途中式の途中式(クリックで展開)

1: 式(2)の偏微分の式を立てます。
2: 転置の性質 $(\mathbf{A} + \mathbf{B})^{\top} = \mathbf{A}^{\top} + \mathbf{B}^{\top}$ より、括弧を展開します。
3: 転置の性質 $(\mathbf{A} \mathbf{B})^{\top} = \mathbf{B}^{\top} \mathbf{A}^{\top}$ より、括弧を展開します。
4: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。

　以上で、ヘッセ行列(10)の1行3列・3行1列目の要素の式が得られました。

分散・分散パラメータによる偏微分

　各種の変数の分散パラメータに関する2階微分を求めます。

　ヘッセ行列(10)の2行2列目の要素は、対数尤度関数(0.13)を分散パラメータ $\sigma^2$ に関して2階微分して求まります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2 \partial \sigma^2} &= \frac{\partial}{\partial \sigma^2} \frac{\partial}{\partial \sigma^2} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \sigma^2} \Biggl\{ - \frac{N}{2} \frac{1}{\sigma^2} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Biggr\} \\ &= - \frac{N}{2} \frac{\partial (\sigma^2)^{-1}}{\partial \sigma^2} + \frac{1}{2} \frac{\partial (\sigma^2)^{-2}}{\partial \sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \\ &= - \frac{N}{2} (- 1) (\sigma^2)^{-2} + \frac{1}{2} (- 2) (\sigma^2)^{-3} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \\ &= \frac{N}{2} \frac{1}{(\sigma^2)^2} - \frac{1}{(\sigma^2)^3} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \tag{0.27} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\sigma^2$ に関する微分なので、 $\sigma^2$ 以外の項は定数として扱います。
2: $\log L(\boldsymbol{\theta})$ の微分に、式(0.17)を代入します。
3: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
3: 微分の計算が分かりやすいように、分数の指数表記 $\frac{1}{x} = x^{-1}$ に書き換えています。
4: べき乗の微分 $\frac{d x^n}{d x} = n x^{n-1}$ より、 $\sigma^2$ を1つの変数とみなして微分を計算します。
5: 分数の指数表記 $\frac{1}{x^n} = x^{-n}$ を戻します。

　以上で、ヘッセ行列(10)の2行2列目の要素の式が得られました。

分散・空間パラメータによる偏微分

　各種の変数の分散パラメータと空間パラメータに関する微分を求めます。

　ヘッセ行列(10)の2行3列目の要素は、対数尤度関数(0.13)を分散パラメータ $\sigma^2$ と空間パラメータ $\rho$ に関して微分して求まります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2 \partial \rho} &= \frac{\partial}{\partial \sigma^2} \frac{\partial}{\partial \rho} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \sigma^2} \Biggl\{ - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \Biggr\} \\ &= \frac{\partial}{\partial \sigma^2} \Bigr\{ - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) \Bigr\} + \frac{\partial (\sigma^2)^{-1}}{\partial \sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \\ &= 0 - 1 (\sigma^2)^{-2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \\ &= - \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \tag{0.28} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\sigma^2, \rho$ に関する微分なので、それぞれ他の項は定数として扱います。
2: $\log L(\boldsymbol{\theta})$ の微分に、式(0.18)を代入します。
3: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
3: 微分の計算が分かりやすいように、分数の指数表記 $\frac{1}{x} = x^{-1}$ に書き換えています。
4: べき乗の微分 $\frac{d x^n}{d x} = n x^{n-1}$ より、 $\sigma^2$ を1つの変数とみなして微分を計算します。
5: 分数の指数表記 $\frac{1}{x^n} = x^{-n}$ を戻します。

　以上で、ヘッセ行列(10)の2行3列・3行2列目の要素の式が得られました。

空間・空間パラメータによる偏微分

　各種の変数の空間パラメータに関する2階微分を求めます。

　ヘッセ行列(10)の3行3列目の要素は、対数尤度関数(0.13)を空間パラメータ $\rho$ に関して2階微分して求まります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \rho \partial \rho} &= \frac{\partial}{\partial \rho} \frac{\partial}{\partial \rho} \log L(\boldsymbol{\theta}) \\ &= \frac{\partial}{\partial \rho} \Biggl\{ - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \Biggr\} \\ &= - \frac{\partial \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W})}{\partial \rho} + \frac{1}{\sigma^2} \frac{\partial \boldsymbol{\epsilon}^{\top}}{\partial \rho} \mathbf{W} \mathbf{y} \\ &= - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W} \mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} (- \mathbf{W} \mathbf{y})^{\top} \mathbf{W} \mathbf{y} \\ &= - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W} \mathbf{A}^{-1} \mathbf{W}) - \frac{1}{\sigma^2} \mathbf{y}^{\top} \mathbf{W}^{\top} \mathbf{W} \mathbf{y} \tag{0.29} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)の偏微分の式を立てます。 $\rho$ に関する微分なので、 $\rho$ 以外の項は定数として扱います。
2: $\log L(\boldsymbol{\theta})$ の微分に、式(0.18)を代入します。
3: 和の微分 $\frac{d \{f(x) + g(x)\}}{d x} = \frac{d f(x)}{d x} + \frac{d g(x)}{d x}$ より、微分の和に分割します。
4: $\mathbf{A}^{-1} \mathbf{W}$ のトレースの微分に、式(13)を代入します。
4: $\boldsymbol{\epsilon}$ の微分に、式(9)を代入します。

　 $\mathbf{A}^{-1} \mathbf{W}$ のトレースを $\rho$ に関して微分します。

$\begin{align} \frac{\partial \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W})}{\partial \rho} &= \mathrm{Tr} \Bigl( \frac{\partial}{\partial \rho} \Bigl\{ \mathbf{A}^{-1} \mathbf{W} \Bigr\} \Bigr) \\ &= \mathrm{Tr} \Bigl( \frac{\partial \mathbf{A}^{-1}}{\partial \rho} \mathbf{W} \Bigr) \\ &= \mathrm{Tr} \Bigl( - \mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial \rho} \mathbf{A}^{-1} \mathbf{W} \Bigr) \\ &= \mathrm{Tr} \Bigl( - \mathbf{A}^{-1} (- \mathbf{W}) \mathbf{A}^{-1} \mathbf{W} \Bigr) \\ &= \mathrm{Tr}( \mathbf{A}^{-1} \mathbf{W} \mathbf{A}^{-1} \mathbf{W} ) \tag{13} \end{align}$

途中式の途中式(クリックで展開)

1: $x$ に依存する行列 $\mathbf{A}(x)$ におけるトレースの微分 $\frac{\partial \mathrm{Tr}(\mathbf{A})}{\partial x} = \mathrm{Tr}(\frac{\partial \mathbf{A}}{\partial x})$ より、微分のトレースに変形します。
2: $\mathbf{A}$ と無関係な項を微分の外に出します。
3: $x$ に依存する行列 $\mathbf{A}(x)$ における逆行列の微分 $\frac{\partial \mathbf{A}^{-1}}{\partial x} = - \mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial x} \mathbf{A}^{-1}$ より、元の行列の微分と逆行列の積に変形します。
4: $\mathbf{A}$ の微分に、式(8)を代入します。

　以上で、ヘッセ行列(10)の3行3列目の要素の式が得られました。

ヘッセ行列

　対数尤度関数のヘッセ行列を求めます。

　ヘッセ行列(10)の各要素をそれぞれの式(0.24)(0.25)(0.26)(0.27)(0.28)(0.29)と置き換えます。

$\displaystyle \mathbf{H}(\boldsymbol{\theta}) = \begin{pmatrix} - \frac{1}{\sigma^2} \mathbf{X}^{\top} \mathbf{X} & - \frac{1}{(\sigma^2)^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} & - \frac{1}{\sigma^2} \mathbf{X}^{\top} \mathbf{W} \mathbf{y} \\ \cdot & \frac{N}{2 (\sigma^2)^2} - \frac{1}{(\sigma^2)^3} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} & - \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \\ \cdot & \cdot & - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W} \mathbf{A}^{-1} \mathbf{W}) - \frac{1}{\sigma^2} \mathbf{y}^{\top} \mathbf{W}^{\top} \mathbf{W} \mathbf{y} \end{pmatrix} \tag{10'}$

　ヘッセ行列の式が得られました。

　以上で、対数尤度関数の2階微分の式が得られました。

　この記事では、SLMのヘッセ行列を数式で確認しました。次の記事では漸近分散共分散行列を数式で確認します。

参考文献

Pythonによるはじめての地理空間データサイエンス

作者:植杉大
森北出版

Amazon

おわりに

　求める微分の数が多いので面倒ですが、対数行列式の微分が謎な変形をするくらいで、他は基本的な微分の公式に当てはめれば計算できて難しくはないかと思います。とても面倒ではありますが。
　せめて読みやすくなるように、線形回帰モデルのOLSで説明したレベルの内容は省略することも考えたのですが、SLM編の一連の記事だけを読んで理解できる構成と粒度にする方針で書くことにしました。よって、細々と長々とした解説になりましたとさ。

　最後に、モーニング娘。のライブ映像をどうぞ♪

【次の内容】

　SLMの漸近分散共分散行列を数式で確認します。

www.anarchive-beta.com

　SEMのヘッセ行列を数式で確認します。

https://www.anarchive-beta.com/entry/2026/06/29/180000www.anarchive-beta.com

からっぽのしょこ

はてなブログの仕様変更の影響で、数式の表示が崩壊しています。読んだら書く！書いたら読む！同じ事は二度調べ(たく)ない

0.2.1：空間ラグモデル(SLM)のヘッセ行列の導出【はじめての地理空間DSのノート】

はじめに

0.2.1 空間ラグモデル(SLM)のヘッセ行列の導出

モデルの確認

定義式

計算式

尤度関数

対数尤度関数の1階微分の導出

対数尤度関数の微分の設定

回帰パラメータによる偏微分

分散パラメータによる偏微分

空間パラメータによる偏微分

対数尤度関数の微分

対数尤度関数の2階微分の導出

ヘッセ行列の設定

回帰・回帰パラメータによる偏微分

回帰・分散パラメータによる偏微分

回帰・空間パラメータによる偏微分

分散・分散パラメータによる偏微分

分散・空間パラメータによる偏微分

空間・空間パラメータによる偏微分

ヘッセ行列

参考文献

おわりに