はじめに

　『Pythonによるはじめての地理空間データサイエンス』の独学時のまとめノートです。「導出編」「実装編」「可視化編」の三部構成でモデルやアルゴリズムの理解を目指します。
　本の内容から寄り道・回り道しながら進めます。本を読んだ上で補助的に読んでください。

　この記事では、SLMの最尤推定について、数式を使って解説します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
0.2.1 空間ラグモデル(SLM)の最尤法の導出
- モデルの確認
- パラメータの推定
参考文献
おわりに

0.2.1 空間ラグモデル(SLM)の最尤法の導出

　空間ラグモデル(SLM・Spatial Lag Model・空間自己回帰モデル・SARモデル・Spatial Autoregressive Model)に対する最尤推定(MLE・Maximum Likelihood Estimation)を導出します。
　SLMの定義式については「【Python】0.1.2：空間ラグモデル(SLM)の定義式【はじめての地理空間DSのノート】 - からっぽのしょこ」を参照してください。

モデルの確認

　まずは、SLMの定義(仮定)を数式で確認します。
　空間重み行列については「空間重み行列の定義式」、多変量正規分布については「多次元ガウス分布の定義式 - からっぽのしょこ」を参照してください。

定義式

　SLMの定義式については「SLMの定義式」を参照してください。

　SLMは、次の式で定義されます。

$\begin{align} \mathbf{y} &= \rho \mathbf{W} \mathbf{y} + \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\epsilon} \tag{0.12.a}\\ y_n &= \rho \mathbf{w}_n^{\top} \mathbf{y} + \mathbf{x}_n^{\top} \boldsymbol{\beta} + \epsilon_n \\ &= \rho \sum_{j=1}^N w_{nj} y_j + \beta_0 + \sum_{k=1}^K x_{nk} \beta_k + \epsilon_n \end{align}$

　ここで、 $\mathbf{x}_n$ は地域 $n$ の説明変数( $N$ 次元ベクトル)、 $\mathbf{X}$ は $N$ 個の地域の説明変数( $N \times (K+1)$ の行列)、 $y_n$ は地域 $n$ の被説明変数(スカラ)、 $\mathbf{y}$ は $N$ 個の地域の被説明変数( $N$ 次元ベクトル)、 $\boldsymbol{\beta}$ は回帰パラメータ( $K+1$ 次元ベクトル)、 $\epsilon_n$ は地域 $n$ の誤差項(スカラ)、 $\boldsymbol{\epsilon}$ は $N$ 個の地域の誤差項( $N$ 次元ベクトル)、 $\mathbf{w}_n$ は地域 $n$ に関する重み( $N$ 次元ベクトル)、 $\mathbf{W}$ は空間重み行列( $N \times N$ の行列)、 $\rho$ は空間パラメータ(スカラ)です。

　誤差項 $\boldsymbol{\epsilon}$ は、平均ベクトル $\boldsymbol{\mu} = \mathbf{0}$ ・分散共分散行列 $\boldsymbol{\Sigma} = \sigma^2 \mathbf{I}$ の多変量正規分布に従うと仮定します。

$\begin{align} \boldsymbol{\epsilon} &\sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}) \tag{0.12.b}\\ \epsilon_n &\sim \mathcal{N}(0, \sigma^2) \end{align}$

　ここで、 $\sigma^2$ は分散パラメータ(スカラ)です。

計算式

　SLMに関する計算式については「SLMの定義式」を参照してください。

　空間自己回帰に関する項について、次のようにおきます。

$\displaystyle \mathbf{A} = \mathbf{I} - \rho \mathbf{W} \tag{1}$

　定義式(0.12.a)を誤差項 $\boldsymbol{\epsilon}$ について整理すると、次の式となります。

$\begin{align} \boldsymbol{\epsilon} &= (\mathbf{I} - \rho \mathbf{W}) \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \\ &= \mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \tag{2} \end{align}$

尤度関数

　SLMの尤度関数については「【Python】0.2.1：空間ラグモデル(SLM)の尤度関数の導出【はじめての地理空間DSのノート】 - からっぽのしょこ」を参照してください。

　SLMのパラメータ $\boldsymbol{\beta}, \sigma^2, \rho$ をまとめて、パラメータベクトル $\boldsymbol{\theta} = (\boldsymbol{\beta}, \sigma^2, \rho)^{\top}$ とします。

　尤度関数 $L(\boldsymbol{\theta})$ は、次の式となります。

$\begin{align} L(\boldsymbol{\theta}) &= p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta}) \\ &= (2 \pi)^{-\frac{N}{2}} (\sigma^2)^{-\frac{N}{2}} \exp \Bigl( - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Bigr) |\mathbf{A}| \tag{3} \end{align}$

　ここで、 $|\mathbf{X}|$ は行列式です。

　対数尤度関数は、次の式となります。

$\begin{align} \log L(\boldsymbol{\theta}) &= \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta}) \\ &= - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \sigma^2 - \frac{1}{2} \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} + \log |\mathbf{A}| \tag{0.13} \end{align}$

対数尤度関数の微分

　SLMの対数尤度関数の微分については「【Python】0.2.1：空間ラグモデル(SLM)のヘッセ行列の導出【はじめての地理空間DSのノート】 - からっぽのしょこ」を参照してください。

　対数尤度関数の各パラメータ $\boldsymbol{\beta}, \sigma^2, \rho$ に関する微分は、それぞれ次の式となります。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta}} &= \frac{1}{\sigma^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} \tag{0.16}\\ \frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2} &= - \frac{N}{2} \frac{1}{\sigma^2} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \tag{0.17}\\ \frac{\partial \log L(\boldsymbol{\theta})}{\partial \rho} &= - \mathrm{Tr}(\mathbf{A}^{-1} \mathbf{W}) + \frac{1}{\sigma^2} \boldsymbol{\epsilon}^{\top} \mathbf{W} \mathbf{y} \tag{0.18} \end{align}$

　以上の式を用いてパラメータの計算式を求めます。

スポンサードリンク

パラメータの推定

　次は、最尤推定によるパラメータの計算式(最尤推定量・最尤解)を導出します。

回帰パラメータの最尤推定量

　回帰パラメータの最尤推定量を求めます。

　対数尤度関数の回帰パラメータ $\boldsymbol{\beta}$ に関する微分を変形します。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta}} &= \frac{1}{\sigma^2} \mathbf{X}^{\top} \boldsymbol{\epsilon} \tag{0.16}\\ &= \frac{1}{\sigma^2} \mathbf{X}^{\top} ( \mathbf{A} \mathbf{y} - \mathbf{X} \boldsymbol{\beta} ) \\ &= - \frac{1}{\sigma^2} \Bigl( - \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \Bigr) \tag{0.16'} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.16)を再掲しています。
2: $\boldsymbol{\epsilon}$ に、式(2)を代入します。
3: $- \mathbf{X}^{\top}$ を括弧の中に入れます。

　 $\frac{\partial \log L(\boldsymbol{\theta})}{\partial \boldsymbol{\beta}} = \mathbf{0}$ とおき、 $\boldsymbol{\beta}$ について解きます。

$\begin{align} && - \frac{1}{\sigma^2} \Bigl( - \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} \Bigr) &= \mathbf{0} \\ \Rightarrow && - \mathbf{X}^{\top} \mathbf{A} \mathbf{y} + \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} &= \mathbf{0} \\ \Rightarrow && \mathbf{X}^{\top} \mathbf{X} \boldsymbol{\beta} &= \mathbf{X}^{\top} \mathbf{A} \mathbf{y} \\ \Rightarrow && \boldsymbol{\beta} &= (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{A} \mathbf{y} \equiv \hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho) \tag{0.19} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.16')を0ベクトルとおきます。
2: 両辺に $-\sigma^2$ を掛けます。
3: $\boldsymbol{\beta}$ 以外の項を右辺に移します。
4: 両辺に $\mathbf{X}^{\top} \mathbf{X}$ の逆行列を左から掛けます。

　空間パラメータ $\rho$ を固定すると、対数尤度関数 $\log L(\boldsymbol{\theta})$ を最大化する回帰パラメータ $\hat{\boldsymbol{\beta}}$ の値が定まることから、 $\boldsymbol{\beta}$ の最尤推定量を $\rho$ の関数 $\hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho)$ として扱います。

　回帰パラメータ $\boldsymbol{\beta}$ の最尤推定量について、式(4)で置き換えます。

$\begin{align} \hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho) &= (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{A} \mathbf{y} \tag{0.19}\\ &= (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} (\mathbf{I} - \rho \mathbf{W}) \mathbf{y} \\ &= (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{y} - \rho (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W} \mathbf{y} \\ &= \hat{\boldsymbol{\beta}}_{\mathrm{O}} - \rho \hat{\boldsymbol{\beta}}_{\mathrm{L}} \tag{0.21} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.19)を再掲しています。
2: $\mathbf{A}$ に、式(1)を代入します。
3: 括弧を展開します。
4: 2つの項を、式(4)で置き換えます。

　式(0.19)について、次のようにおきました。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\beta}}_{\mathrm{O}} &= (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{y} \\ \hat{\boldsymbol{\beta}}_{\mathrm{L}} &= (\mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{W} \mathbf{y} \end{aligned} \tag{4}$

　以上で、回帰パラメータの最尤推定量の式が得られました。

分散パラメータの最尤推定量

　分散パラメータの最尤推定量を求めます。

　対数尤度関数の分散パラメータ $\sigma^2$ に関する微分を変形します。

$\begin{align} \frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2} &= - \frac{N}{2} \frac{1}{\sigma^2} + \frac{1}{2} \frac{1}{(\sigma^2)^2} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \tag{0.17}\\ &= - \frac{1}{2 \sigma^4} \Bigl( N \sigma^2 - \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Bigr) \tag{0.17'} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.17)を再掲しています。
2: $- \frac{1}{2 \sigma^4}$ を括り出します。

　 $\frac{\partial \log L(\boldsymbol{\theta})}{\partial \sigma^2} = 0$ とおき、 $\sigma^2$ について解きます。

$\begin{align} && - \frac{1}{2 \sigma^4} \Bigl( N \sigma^2 - \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \Bigr) &= 0 \\ \Rightarrow && N \sigma^2 - \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} &= 0 \\ \Rightarrow && N \sigma^2 &= \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \\ \Rightarrow && \sigma^2 &= \frac{1}{N} \boldsymbol{\epsilon}^{\top} \boldsymbol{\epsilon} \equiv \hat{\sigma}_{\mathrm{ML}}^2(\rho) \tag{0.20} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.17')を0とおきます。
2: 両辺に $-2 \sigma^4$ を掛けます。
3: $\sigma^2$ 以外の項を右辺に移します。
4: 両辺に $\frac{1}{N}$ を掛けます。

　空間パラメータ $\rho$ を固定すると、対数尤度関数 $\log L(\boldsymbol{\theta})$ を最大化する分散パラメータ $\hat{\sigma}^2$ の値が定まることから、 $\sigma^2$ の最尤推定量を $\rho$ の関数 $\hat{\sigma}_{\mathrm{ML}}^2(\rho)$ として扱います。

　誤差項 $\boldsymbol{\epsilon}$ について、 $\boldsymbol{\beta}$ の最尤推定量を用いて、 $\hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho), \rho$ の関数 $\boldsymbol{\epsilon}(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho)$ とおきます。

$\begin{align} \boldsymbol{\epsilon} \Bigl( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho), \rho \Bigr) &= \mathbf{A} \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho) \tag{2'}\\ &= (\mathbf{I} - \rho \mathbf{W}) \mathbf{y} - \mathbf{X} ( \hat{\boldsymbol{\beta}}_{\mathrm{O}} - \rho \hat{\boldsymbol{\beta}}_{\mathrm{L}} ) \\ &= \mathbf{y} - \rho \mathbf{W} \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{O}} + \rho \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{L}} \\ &= \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{O}} - \rho ( \mathbf{W} \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{L}} ) \\ &= \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} \tag{5} \end{align}$

途中式の途中式(クリックで展開)

1: 式(2)について、 $\boldsymbol{\beta}$ を式(0.21)で置き換えた式を立てます。
2: $\mathbf{A}$ に、式(1)を代入します。
2: $\hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho)$ に、式(0.21)を代入します。
3: 括弧を展開します。
4: $\rho$ を括り出します。
5: 2つの項を、式(6)で置き換えます。

　式(2')について、次のようにおきました。

$\displaystyle \begin{aligned} \boldsymbol{\epsilon}_{\mathrm{O}} &= \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{O}} \\ \boldsymbol{\epsilon}_{\mathrm{L}} &= \mathbf{W} \mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}_{\mathrm{L}} \end{aligned} \tag{6}$

　分散パラメータ $\sigma^2$ の最尤推定量について、 $\boldsymbol{\beta}$ の最尤推定量を用いて、 $\hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho), \rho$ の関数 $\hat{\sigma}_{\mathrm{ML}}^2(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho)$ とおきます。

$\begin{align} \hat{\sigma}_{\mathrm{ML}}^2 \Bigl( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho), \rho \Bigr) &= \frac{1}{N} \boldsymbol{\epsilon} ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho )^{\top} \boldsymbol{\epsilon} ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho ) \tag{0.20'}\\ &= \frac{1}{N} ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} )^{\top} ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} ) \tag{0.22} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.20)について、 $\boldsymbol{\epsilon}$ を式(5)で置き換えた式を立てます。
2: $\boldsymbol{\epsilon}(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho)$ に、式(5)を代入します。

　以上で、分散パラメータの最尤推定量の式が得られました。

集約対数尤度関数

　対数尤度関数の式において空間パラメータが行列式や逆行列の中に含まれるため、空間パラメータの最尤推定量は、解析的に求められません。そこで、集約対数尤度関数(集中対数尤度関数)が最大となる値を最尤推定量とします。

　独立な変数としてのパラメータ $\boldsymbol{\beta}, \sigma^2$ を $\rho$ の関数である最尤推定量 $\hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho), \hat{\sigma}_{\mathrm{ML}}^2(\rho)$ に置き換えることで、 $\boldsymbol{\beta}, \sigma^2, \rho$ の関数である対数尤度関数 $\log L(\boldsymbol{\theta})$ を $\rho$ の関数である集約対数尤度関数 $\log L_{\mathrm{c}}(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \hat{\sigma}_{\mathrm{ML}}^2, \rho)$ として扱います。

$\begin{align} \log L_{\mathrm{c}} \Bigl( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}(\rho), \hat{\sigma}_{\mathrm{ML}}^2(\rho), \rho \Bigr) &= - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \hat{\sigma}_{\mathrm{ML}}^2 ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho ) - \frac{1}{2} \frac{ \boldsymbol{\epsilon} ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho )^{\top} \boldsymbol{\epsilon} ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho ) }{ \hat{\sigma}_{\mathrm{ML}}^2 ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho ) } + \log |\mathbf{A}| \tag{0.13'}\\ &= - \frac{N \log (2 \pi)}{2} - \frac{N}{2} \log \Bigl( \frac{1}{N} ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} )^{\top} ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} ) \Bigr) - \frac{1}{2} \frac{ N \hat{\sigma}_{\mathrm{ML}}^2 ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho ) }{ \hat{\sigma}_{\mathrm{ML}}^2 ( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho ) } + \log |\mathbf{A}| \\ &= - \frac{N}{2} - \frac{N}{2} \log (2 \pi) - \frac{N}{2} \log \frac{1}{N} - \frac{N}{2} \log \Bigl( ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} )^{\top} ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} ) \Bigr) + \log |\mathbf{A}| \\ &= - \frac{N}{2} \Biggl( 1 + \log \Bigl( \frac{2 \pi}{N} \Bigr) \Biggr) - \frac{N}{2} \log \Bigl( ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} )^{\top} ( \boldsymbol{\epsilon}_{\mathrm{O}} - \rho \boldsymbol{\epsilon}_{\mathrm{L}} ) \Bigr) + \log |\mathbf{A}| \tag{0.23} \end{align}$

途中式の途中式(クリックで展開)

1: 式(0.13)について、 $\sigma^2$ を式(0.20')(0.22)、 $\boldsymbol{\epsilon}$ を式(5)で置き換えた式を立てます。
2: $\hat{\sigma}_{\mathrm{ML}}^2(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho)$ に、式(0.22)を代入します。
2: 式(0.20')より、 $N \hat{\sigma}_{\mathrm{ML}}^2(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho) = \boldsymbol{\epsilon}(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho)^{\top} \boldsymbol{\epsilon}(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \rho)$ で置き換えます。
3: 対数の性質 $\log(x y) = \log x + \log y$ より、対数の和に分割します。
4: 対数の性質 $\log(x y) = \log x + \log y$ より、積の対数にまとめます。

　集約対数尤度関数の式が得られました。
　3つのパラメータ $\boldsymbol{\beta}, \sigma^2, \rho$ の関数 $\log L(\boldsymbol{\theta})$ から、1つのパラメータ $\rho$ の関数 $\log L_{\mathrm{c}}(\hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \hat{\sigma}_{\mathrm{ML}}^2, \rho)$ に変数(次元)を集約することで、 $\rho$ の最適化問題に帰着させることができます。

　集約対数尤度関数(0.23)を最大化する $\rho$ を最尤推定量 $\hat{\rho}_{\mathrm{ML}}$ とします。

$\displaystyle \begin{aligned} \hat{\rho}_{\mathrm{ML}} &= \mathop{\mathrm{argmax}}\limits_{\rho}\ L_{\mathrm{c}} \Bigl( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \hat{\sigma}_{\mathrm{ML}}^2, \rho \Bigr) \\ &= \mathop{\mathrm{argmax}}\limits_{\rho}\ \log L_{\mathrm{c}} \Bigl( \hat{\boldsymbol{\beta}}_{\mathrm{ML}}, \hat{\sigma}_{\mathrm{ML}}^2, \rho \Bigr) \end{aligned}$