はじめに

　『ベイズ推論による機械学習入門』(MLSシリーズ)の独学時のノートです。各種のモデルやアルゴリズムについて「数式・プログラム・図」を用いて解説します。
　本の補助として読んでください。

　この記事では、1次元ガウス分布に対するベイズ推論で登場する数式の行間を埋めます。

【前節の内容】

www.anarchive-beta.com

【他の節の内容】

www.anarchive-beta.com

【この節の内容】

はじめに
3.3.0 1次元ガウスモデルの生成モデルの導出
参考文献
おわりに

3.3.0 1次元ガウスモデルの生成モデルの導出

　1次元ガウスモデル(Gaussian model)の定義(仮定)を確認する。1次元ガウスモデルでは、生成分布を1次元ガウス分布(Gaussian distribution・一変量正規分布・Normal distribution)、事前分布を3つのパターンに応じて1次元ガウス分布、ガンマ分布(Gamma distribution)、ガウス・ガンマ分布(Gaussian-Gamma distribution)とする。
　1次元ガウス分布については「1次元ガウス分布の定義式 - からっぽのしょこ」、ガンマ分布については「準備中」、ガウス・ガンマ分布については「ガウス-ガンマ分布の定義式 - からっぽのしょこ」を参照のこと。

生成過程の設定

　まずは、1次元ガウスモデルの生成過程(generative process)を数式で確認する。

　観測データ数を $N$ 、データ番号(インデックス)を $n \in \{1, 2, \dots, N\}$ とする。

　各観測データ $x_n$ は、実数値をとる。

$\displaystyle x_n \in \mathbb{R}$

　 $N$ 個の観測データをまとめて、観測データ集合 $\mathbf{X}$ として扱う。

$\displaystyle \mathbf{X} = \{x_1, x_2, \cdots, x_N\}$

　各観測データ $x_n$ は、パラメータ $\mu, \lambda$ のガウス分布に従い独立に生成されるとする。

$\displaystyle \begin{align} p(x_n \mid \mu, \lambda) &= \mathcal{N}(x_n \mid \mu, \lambda^{-1}) \tag{3.47, 3.64, 3.80}\\ &= \sqrt{ \frac{\lambda}{2 \pi} } \exp \Bigl( - \frac{\lambda}{2} (x_n - \mu)^2 \Bigr) \\ x_n &\sim \mathcal{N}(\mu, \lambda^{-1}) \end{align}$

　 $\mu, \lambda$ を生成分布のパラメータと呼ぶ。データの生成分布を観測モデルや尤度関数とも呼ぶ。
　 $\mu$ は平均パラメータ、 $\lambda = \sigma^{-2} = \frac{1}{\sigma^2}$ は精度パラメータなので、 $\mu$ は実数値、 $\lambda$ は正の実数値を満たす必要がある。

$\displaystyle \mu \in \mathbb{R} ,\ \lambda \in \mathbb{R}^{+}$

　 $\sigma = \lambda^{-\frac{1}{2}} = \frac{1}{\sqrt{\lambda}}$ は標準偏差パラメータ、 $\sigma^2 = \lambda^{-1} = \frac{1}{\lambda}$ は分散パラメータなので、それぞれ正の実数値を満たす必要がある。

$\displaystyle \sigma \in \mathbb{R}^{+} ,\ \sigma^2 \in \mathbb{R}^{+}$

　正の実数値を $\sigma \gt 0$ とも表記する。

　事前分布に関しては、3つのパターン(平均が未知・精度が未知・平均と精度が未知)に応じて設定する。

平均が未知の場合

　平均パラメータ $\mu$ が未知の場合、 $\mu$ は、パラメータ $m, \lambda_{\mu}$ のガウス分布に従い生成されるとする。

$\displaystyle \begin{align} p(\mu \mid m, \lambda_{\mu}) &= \mathcal{N}(\mu \mid m, \lambda_{\mu}) \tag{3.48}\\ &= \sqrt{ \frac{\lambda_{\mu}}{2 \pi} } \exp \Bigl( - \frac{\lambda_{\mu}}{2} (\mu - m)^2 \Bigr) \\ \mu &\sim \mathcal{N}(m, \lambda_{\mu}) \end{align}$

　 $m, \lambda_{\mu}$ を生成分布の超パラメータと呼ぶ。パラメータのパラメータを超パラメータ(ハイパーパラメータ)と言う。下付き文字の $\mu$ は、平均パラメータ $\mu$ の為のパラメータであることを示しているだけで、数学的な意味はない。
　 $m$ は平均パラメータ、 $\lambda_{\mu}$ は精度パラメータ(分散パラメータ $\sigma^2$ の逆数)なので、 $m$ は実数値、 $\lambda_{\mu}$ は正の実数値を満たす必要がある。

$\displaystyle m \in \mathbb{R} ,\ \lambda_{\mu} \gt 0$

　ガウス分布の確率変数は、ガウス分布の平均パラメータの条件を満たす。

精度が未知の場合

　精度パラメータ $\lambda$ が未知の場合、 $\lambda$ は、パラメータ $a, b$ のガンマ分布に従い生成されるとする。

$\displaystyle \begin{align} p(\lambda \mid a, b) &= \mathrm{Gamma}(\lambda \mid a, b) \tag{3.65}\\ &= \frac{b^a}{\Gamma(a)} \lambda^{a-1} \exp(- b \lambda) \\ \lambda &\sim \mathrm{Gamma}(a, b) \end{align}$

　 $a$ は形状パラメータ、 $b$ は尺度パラメータなので、それぞれ正の値を満たす必要がある。

$\displaystyle a \gt 0 ,\ b \gt 0$

　ガンマ分布の確率変数は、ガウス分布の精度パラメータの条件を満たす。

平均・精度が未知の場合

　平均パラメータ $\mu$ と精度パラメータ $\lambda$ が未知の場合、 $\mu, \lambda$ は、パラメータ $m, \beta, a, b$ のガウス・ガンマ分布に従い生成されるとする。

$\displaystyle \begin{align} p(\mu, \lambda \mid m, \beta, a, b) &= \mathrm{NG}(\mu, \lambda \mid m, \beta, a, b) \\ &= \mathcal{N}(\mu \mid m, (\beta \lambda)^{-1}) \mathrm{Gamma}(\lambda \mid a, b) \tag{3.81}\\ &= \sqrt{\frac{\beta \lambda}{2 \pi}} \exp \Bigl( - \frac{\beta \lambda}{2} (\mu - m)^2 \Bigr) \frac{b^a}{\Gamma(a)} \lambda^{a-1} \exp(- b \lambda) \\ \mu &\sim \mathcal{N}(m, (\beta \lambda)^{-1}) \\ \lambda &\sim \mathrm{Gamma}(a, b) \end{align}$

　 $m$ はガウス分布の平均パラメータ、 $\beta$ は係数として用いて $\lambda_{\mu} = \beta \lambda$ を精度パラメータとするので、 $m$ は実数値、 $\beta$ は正の実数値を満たす必要がある。

$\displaystyle m \in \mathbb{R} ,\ \beta \gt 0$

　 $a$ はガンマ分布の形状パラメータ、 $b$ は尺度パラメータなので、それぞれ正の値を満たす必要がある。

$\displaystyle a \gt 0 ,\ b \gt 0$

　ガウス・ガンマ分布の確率変数は、ガウス分布の平均パラメータと精度パラメータの条件を満たす。

　以上で、ガウスモデルの生成過程(定義・仮定)を確認した。生成過程は、変数やパラメータ間の依存関係であり、生成モデルや推論アルゴリズムの導出でも用いる。

スポンサードリンク

尤度関数の導出

　次は、1次元ガウスモデルの尤度関数(likelihood function)を数式で確認する。パラメータが与えられたときのデータの生成確率(観測された全ての変数の同時確率)を尤度と呼ぶ。

　パラメータ $\mu, \lambda$ が与えられた(条件とする)下での観測データ $\mathbf{X}$ の生成確率は、生成過程(依存関係)に従い次のように変形できる。

$\displaystyle \begin{aligned} p(\mathbf{X} \mid \mu, \lambda) &= p(x_1, x_2, \cdots, x_N \mid \mu, \lambda) \\ &= p(x_1 \mid \mu, \lambda) p(x_2 \mid \mu, \lambda) \cdots p(x_N \mid \mu, \lambda) \\ &= \prod_{n=1}^N p(x_n \mid \mu, \lambda) \end{aligned}$

途中式の途中式(クリックで展開)

$N$ 個のデータは独立に生成されることから、観測データ集合 $\mathbf{X}$ の生成確率は、各データ $x_n$ の生成確率の積に分解できる。

　生成分布(3.80)を用いた式が得られた。