はじめに

　『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。
　本の補助として読んでください。

　この記事では、結合トピックモデルに対する崩壊型ギブスサンプリングの数式の行間を埋めます。

【前節の内容】

www.anarchive-beta.com

【他の節の内容】

www.anarchive-beta.com

【この節の内容】

はじめに
5.1 結合トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合
参考書籍
おわりに

5.1 結合トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合

　結合トピックモデル(JTM・joint topic model)に対する不動点反復法(固定点反復法・fixed point iteration)を用いた崩壊型ギブスサンプリング(周辺化ギブスサンプリング・collapsed Gibbs sampling)におけるパラメータの計算式を導出する。この記事では、ハイパーパラメータが多様な値の場合を扱う。
　トピックモデル(LDA・latent Dirichlet allocation)の定義や記号については「4.1：トピックモデルの生成モデルの導出【青トピックモデルのノート】 - からっぽのしょこ」、結合トピックモデルの定義や記号については「5.1：結合トピックモデルの生成モデルの導出【青トピックモデルのノート】 - からっぽのしょこ」、ハイパーパラメータが一様な値の場合については「5.1：結合トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合【青トピックモデルのノート】 - からっぽのしょこ」を参照のこと。

パラメータの周辺化の導出

　まずは、サンプリング式や更新式の導出に用いる各変数の周辺分布の式を導出する。

結合周辺分布の設定

　パラメータ $\boldsymbol{\Theta}, \boldsymbol{\Phi}, \boldsymbol{\Psi}$ を周辺化(積分消去)したときの観測変数 $\mathbf{W}, \mathbf{X}$ と潜在変数 $\mathbf{Z}, \mathbf{Y}$ の結合分布(同時分布)を求める。

$\displaystyle p( \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) = \iiint p( \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}, \boldsymbol{\Theta}, \boldsymbol{\Phi}, \boldsymbol{\Psi} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \mathrm{d} \boldsymbol{\Theta} \mathrm{d} \boldsymbol{\Phi} \mathrm{d} \boldsymbol{\Psi}$

　結合トピックモデルの生成過程(依存関係)に従って、 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布を分割する。

$\displaystyle \begin{align} p( \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) &= p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) p(\mathbf{W}, \mathbf{X} \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\beta}, \boldsymbol{\gamma}) \\ &= p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) \tag{1}\\ &= p(\mathbf{Z} \mid \boldsymbol{\alpha}) p(\mathbf{Y} \mid \boldsymbol{\alpha}) p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) \end{align}$

　結合トピックモデルの依存関係については「結合トピックモデルの生成モデルの導出」を参照のこと。
　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ に関する周辺分布から得られることが分かった。

トピック集合の結合周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(1)の1つ目の項は、トピック分布のパラメータ $\boldsymbol{\Theta}$ の事前分布を用いたトピック集合 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布である。
　この式について、パラメータを明示して変形する。

$\displaystyle \begin{aligned} p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) &= \int p(\mathbf{Z}, \mathbf{Y}, \boldsymbol{\Theta} \mid \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\Theta} \\ &= \int p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\Theta}) p(\boldsymbol{\Theta} \mid \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\Theta} \\ &= \int p(\mathbf{Z} \mid \boldsymbol{\Theta}) p(\mathbf{Y} \mid \boldsymbol{\Theta}) p(\boldsymbol{\Theta} \mid \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\Theta} \\ &= \prod_{d=1}^D \left[ \int p(\mathbf{z}_d \mid \boldsymbol{\theta}_d) p(\mathbf{y}_d \mid \boldsymbol{\theta}_d) p(\boldsymbol{\theta}_d \mid \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\theta}_d \right] \\ &= \prod_{d=1}^D \left[ \int \left\{ \prod_{n=1}^{N_d} p(z_{dn} \mid \boldsymbol{\theta}_d) \right\} \left\{ \prod_{m=1}^{M_d} p(y_{dm} \mid \boldsymbol{\theta}_d) \right\} p(\boldsymbol{\theta}_d \mid \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\theta}_d \right] \end{aligned}$

途中式の途中式(クリックで展開)

1: 周辺化された $\boldsymbol{\Theta}$ を明示する。
2: 潜在変数 $\mathbf{Z}, \mathbf{Y}$ とパラメータ $\boldsymbol{\Theta}$ の項を分割する。
3: 単語に関する変数 $\mathbf{Z}$ と補助情報に関する変数 $\mathbf{Y}$ の項を分割する。
4: 文書ごとの積に分解する。
5: 単語・補助情報ごとの積に分解する。

　さらに、確率分布を具体的な式に置き換えて、式を整理する。

$\displaystyle \begin{align} p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) &= \prod_{d=1}^D \left[ \int \left\{ \prod_{n=1}^{N_d} \theta_{dz_{dn}} \right\} \left\{ \prod_{m=1}^{M_d} \theta_{dy_{dm}} \right\} \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \left\{ \prod_{k=1}^K \theta_{dk}^{\alpha_k-1} \right\} \mathrm{d} \boldsymbol{\theta}_d \right] \\ &= \prod_{d=1}^D \left[ \int \left\{ \prod_{k=1}^K \theta_{dk}^{N_{dk}} \right\} \left\{ \prod_{k=1}^K \theta_{dk}^{M_{dk}} \right\} \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \left\{ \prod_{k=1}^K \theta_{dk}^{\alpha_k-1} \right\} \mathrm{d} \boldsymbol{\theta}_d \right] \\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \int \prod_{k=1}^K \theta_{dk}^{N_{dk} + M_{dk} + \alpha_k-1} \mathrm{d} \boldsymbol{\theta}_d \right\} \\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \frac{ \prod_{k=1}^K \Gamma(N_{dk} + M_{dk} + \alpha_k) }{ \Gamma(\sum_{k=1}^K \{N_{dk} + M_{dk} + \alpha_k\}) } \right\} \\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \frac{ \prod_{k=1}^K \Gamma(N_{dk} + M_{dk} + \alpha_k) }{ \Gamma(N_d + M_d + \sum_{k=1}^K \alpha_k) } \right\} \tag{2}\\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\Gamma(N_d + M_d + \sum_{k=1}^K \alpha_k)} \prod_{k=1}^K \frac{\Gamma(N_{dk} + M_{dk} + \alpha_k)}{\Gamma(\alpha_k)} \right\} \tag{2'} \end{align}$

途中式の途中式(クリックで展開)

1: 各単語・補助情報のトピック $z_{dn}, y_{dm}$ はカテゴリ分布、各文書のトピック分布のパラメータ $\boldsymbol{\theta}_d$ はディリクレ分布を仮定しているので、それぞれ定義式に置き換える。

$\displaystyle \begin{aligned} p(z_{dn} \mid \boldsymbol{\theta}_d) &= \mathrm{Cat}(z_{dn} \mid \boldsymbol{\theta}_d) = \theta_{dz_{dn}} \\ p(y_{dm} \mid \boldsymbol{\theta}_d) &= \mathrm{Cat}(y_{dm} \mid \boldsymbol{\theta}_d) = \theta_{dy_{dm}} \\ p(\boldsymbol{\theta}_d \mid \boldsymbol{\alpha}) &= \mathrm{Dir}(\boldsymbol{\theta}_d \mid \boldsymbol{\alpha}) = \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\prod_{k=1}^K \Gamma(\alpha_k)} \prod_{k=1}^K \theta_{dk}^{\alpha_k-1} \end{aligned}$

2: $N_d$ 個の単語に対応するパラメータ $\theta_{dz_{dn}}$ について、各単語に割り当てられたトピック番号 $z_{dn} = k$ を用いてトピックごとにまとめると、 $N_{dk}$ 個の $\theta_{dk}$ に置き換えられる。
2: $M_d$ 個の補助情報に対応するパラメータ $\theta_{dy_{dm}}$ について、各補助情報に割り当てられたトピック番号 $y_{dm} = k$ を用いてトピックごとにまとめると、 $M_{dk}$ 個の $\theta_{dk}$ に置き換えられる。
3: $\boldsymbol{\theta}_d$ と無関係な正規化項を $\int$ の外に出し、 $\theta_{dk}$ の項をまとめる。
4: ディリクレ分布の正規化項(1.2.4項)より、積分全体を正規化項の逆数の形に置き換える。
5: トピックごとの単語数・補助情報数の関係より、 $N_d = \sum_{k=1}^K N_{dk}$ 、 $M_d = \sum_{k=1}^K M_{dk}$ である。
6: 不動点反復法を行うために、分母を入れ替えて $\alpha_k, \sum_{k=1}^K \alpha_k$ の項をそれぞれまとめる。

　 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式が得られた。

文書集合の周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(1)の2つ目の項は、単語分布のパラメータ $\boldsymbol{\Phi}$ の事前分布を用いた文書集合 $\mathbf{W}$ の周辺分布である。
　この式は、トピックモデル(4.5節)と同じ式なので、次の式になる。

$\displaystyle \begin{align} p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) &= \int p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\Phi}) p(\boldsymbol{\Phi} \mid \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\Phi} \\ &= \int \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}_{z_{dn}}) \right\} \prod_{k=1}^K p(\boldsymbol{\phi}_k \mid \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\Phi} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\prod_{v=1}^V \Gamma(\beta_v)} \int \prod_{v=1}^V \phi_{kv}^{N_{kv}+\beta_v-1} \mathrm{d} \boldsymbol{\phi}_k \right\} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\prod_{v=1}^V \Gamma(\beta_v)} \frac{ \prod_{v=1}^V \Gamma(N_{kv} + \beta_v) }{ \Gamma(N_k + \sum_{v=1}^V \beta_v) } \right\} \tag{4.11}\\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\Gamma(N_k + \sum_{v=1}^V \beta)} \prod_{v=1}^V \frac{\Gamma(N_{kv} + \beta_v)}{\Gamma(\beta_v)} \right\} \tag{4.11'} \end{align}$

　詳しくは「4.5：トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合【青トピックモデルのノート】 - からっぽのしょこ」を参照のこと。
　 $\mathbf{W}$ の周辺分布の式が得られた。

補助情報集合の周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(1)の3つ目の項は、補助情報分布のパラメータ $\boldsymbol{\Psi}$ の事前分布を用いた補助情報集合 $\mathbf{X}$ の周辺分布である。
　この式について、パラメータを明示して変形する。

$\displaystyle \begin{aligned} p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) &= \int p(\mathbf{X}, \boldsymbol{\Psi} \mid \mathbf{Y}, \boldsymbol{\gamma}) \mathrm{d} \boldsymbol{\Psi} \\ &= \int p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\Psi}) p(\boldsymbol{\Psi} \mid \boldsymbol{\gamma}) \mathrm{d} \boldsymbol{\Psi} \\ &= \int \left\{ \prod_{d=1}^D p(\mathbf{x}_d \mid \mathbf{y}_d, \boldsymbol{\Psi}) \right\} \prod_{k=1}^K p(\boldsymbol{\psi}_k \mid \boldsymbol{\gamma}) \mathrm{d} \boldsymbol{\Psi} \\ &= \int \left\{ \prod_{d=1}^D \prod_{m=1}^{M_d} p(x_{dm} \mid \boldsymbol{\psi}_{y_{dm}}) \right\} \prod_{k=1}^K p(\boldsymbol{\psi}_k \mid \boldsymbol{\gamma}) \mathrm{d} \boldsymbol{\Psi} \end{aligned}$

途中式の途中式(クリックで展開)

1: 周辺化された $\boldsymbol{\Psi}$ を明示する。
2: 観測変数 $\mathbf{X}$ とパラメータ $\boldsymbol{\Psi}$ の項を分割する。
3: 文書・トピックごとの積に分解する。
4: 補助情報ごとの積に分解する。

　さらに、確率分布を具体的な式に置き換えて、式を整理する。

$\displaystyle \begin{align} p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) &= \int \left\{ \prod_{d=1}^D \prod_{m=1}^{M_d} \psi_{y_{dm}x_{dm}} \right\} \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \prod_{s=1}^S \psi_{ks}^{\gamma_s-1} \right\} \mathrm{d} \boldsymbol{\Psi} \\ &= \int \left\{ \prod_{k=1}^K \prod_{s=1}^S \psi_{ks}^{M_{ks}} \right\} \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \prod_{s=1}^S \psi_{ks}^{\gamma_s-1} \right\} \mathrm{d} \boldsymbol{\Psi} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \int \prod_{s=1}^S \psi_{ks}^{M_{ks} + \gamma_s-1} \mathrm{d} \boldsymbol{\psi}_k \right\} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \frac{ \prod_{s=1}^S \Gamma(M_{ks} + \gamma_s) }{ \Gamma(\sum_{s=1}^S \{M_{ks} + \gamma_s\}) } \right\} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \frac{ \prod_{s=1}^S \Gamma(M_{ks} + \gamma_s) }{ \Gamma(M_k + \sum_{s=1}^S \gamma_s) } \right\} \tag{3}\\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\Gamma(M_k + \sum_{s=1}^S \gamma_s)} \prod_{s=1}^S \frac{\Gamma(M_{ks} + \gamma_s)}{\Gamma(\gamma_s)} \right\} \tag{3'} \end{align}$

途中式の途中式(クリックで展開)

1: 各補助情報の種類(内容) $x_{dm}$ はカテゴリ分布、各トピックの補助情報分布のパラメータ $\boldsymbol{\psi}_k$ はディリクレ分布を仮定しているので、それぞれ定義式に置き換える。

$\displaystyle \begin{aligned} p(x_{dm} \mid \boldsymbol{\psi}_{y_{dm}}) &= \mathrm{Cat}(x_{dm} \mid \boldsymbol{\phi}_{y_{dm}}) = \psi_{y_{dm}x_{dm}} \\ p(\boldsymbol{\psi}_k \mid \boldsymbol{\gamma}) &= \mathrm{Dir}(\boldsymbol{\psi}_k \mid \boldsymbol{\gamma}) = \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \prod_{s=1}^S \psi_{ks}^{\gamma_s-1} \end{aligned}$

2: $M = \sum_{d=1}^D M_d$ 個の補助情報に対応するパラメータ $\psi_{y_{dm}x_{dm}}$ について、各補助情報に割り当てられたトピック番号 $y_{dm} = k$ と種類番号 $x_{dm} = s$ を用いてトピックと種類ごとにまとめると、 $M_{ks}$ 個の $\psi_{ks}$ に置き換えられる。
3: $\boldsymbol{\psi}_k$ と無関係な正規化項を $\int$ の外に出し、 $\psi_{ks}$ の項をまとめる。
4: ディリクレ分布の正規化項(1.2.4項)より、積分全体を正規化項の逆数の形に置き換える。
5: トピックごとの補助情報数の関係より、 $M_k = \sum_{s=1}^S M_{ks}$ である。
6: 不動点反復法を行うために、分母を入れ替えて $\gamma_s, \sum_{s=1}^S \gamma_s$ の項をそれぞれまとめる。

　 $\mathbf{X}$ の周辺分布の式が得られた。

結合周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(1)に、 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(2')と $\mathbf{W}$ の周辺分布の式(4.11')、 $\mathbf{X}$ の周辺分布の式(3')を代入する。

$\displaystyle \begin{align} p(\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma}) &= \prod_{d=1}^D \left\{ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\Gamma(N_d + M_d + \sum_{k=1}^K \alpha_k)} \prod_{k=1}^K \frac{\Gamma(N_{dk} + M_{dk} + \alpha_k)}{\Gamma(\alpha_k)} \right\} \\ &\quad * \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\Gamma(N_k + \sum_{v=1}^V \beta_v)} \prod_{v=1}^V \frac{\Gamma(N_{kv} + \beta_v)}{\Gamma(\beta_v)} \right\} \\ &\quad * \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\Gamma(M_k + \sum_{s=1}^S \gamma_s)} \prod_{s=1}^S \frac{\Gamma(M_{ks} + \gamma_s)}{\Gamma(\gamma_s)} \right\} \end{align}$

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式が得られた。

　以上で、各変数の周辺分布の式と、結合周辺分布の式が得られた。

スポンサードリンク

サンプリング式の導出

　次は、各変数の周辺分布を用いて、各潜在変数のサンプリング確率(条件付き分布)を導出する。

　文書 $d$ の $n$ 番目の単語 $w_{dn}$ を除いた文書集合を $\mathbf{W}_{\backslash dn}$ 、単語トピック集合を $\mathbf{Z}_{\backslash dn}$ とする。全ての文書集合は $\mathbf{W} = \{w_{dn}, \mathbf{W}_{\backslash dn}\}$ 、全ての単語トピック集合は $\mathbf{Z} = \{z_{dn}, \mathbf{Z}_{\backslash dn}\}$ で表せる。
　文書 $d$ の $m$ 番目の補助情報 $x_{dm}$ を除いた補助情報集合を $\mathbf{X}_{\backslash dm}$ 、補助情報トピック集合を $\mathbf{Y}_{\backslash dm}$ とする。全ての補助情報集合は $\mathbf{X} = \{x_{dm}, \mathbf{X}_{\backslash dm}\}$ 、全ての補助情報トピック集合は $\mathbf{Y} = \{y_{dm}, \mathbf{Y}_{\backslash dm}\}$ で表せる。
　同様に、 $w_{dn}$ を除く単語数を $N_{dk \backslash dn}, N_{kv \backslash dn}, N_{k \backslash dn}$ 、 $x_{dm}$ を除く補助情報数を $M_{dk \backslash dm}, M_{ks \backslash dm}, M_{k \backslash dm}$ で表す。

単語トピックの条件付き分布の設定

　全単語の文書集合 $\mathbf{W}$ と単語 $w_{dn}$ 以外のトピック集合 $\mathbf{Z}_{\backslash dn}$ 、補助情報集合 $\mathbf{X}$ と補助情報トピック集合 $\mathbf{Y}$ が与えられた(条件とする)ときの単語 $w_{dn}$ のトピック $z_{dn}$ の条件付き分布を求める。

$\displaystyle \begin{align} p( z_{dn} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) &= \frac{ p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) }{ p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) } \\ &\propto p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \\ &= p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}) p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) \\ &\quad * p(\mathbf{Z}_{\backslash dn} \mid \boldsymbol{\alpha}) p(\mathbf{W}_{\backslash dn} \mid \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) \\ &\quad * p(\mathbf{Y} \mid \boldsymbol{\alpha}) p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) \\ &\propto p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}) p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) \tag{4} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、目的の変数 $z_{dn}$ 以外の変数 $w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}$ を条件に移した式を立てる。
2: $z_{dn}$ と無関係な項を省く。
3: 変数ごとの項に分割する。

　単語 $w_{dn}$ に関する変数 $w_{dn}, z_{dn}$ と単語 $w_{dn}$ 以外に関する変数 $\mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}$ 、補助情報に関する変数 $\mathbf{X}, \mathbf{Y}$ の項を分割する。

$\displaystyle \begin{aligned} & p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \\ &= p( w_{dn}, z_{dn} = k \mid \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}, \boldsymbol{\beta} ) p( \mathbf{W}_{\backslash dn}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \\ &= p( w_{dn}, z_{dn} = k \mid \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}, \boldsymbol{\beta} ) p( \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn} \mid \boldsymbol{\alpha}, \boldsymbol{\beta} ) p(\mathbf{X}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\gamma}) \end{aligned}$

　さらに1つ目の項の、観測変数 $w_{dn}$ と潜在変数 $z_{dn}$ の項を分割する。

$\displaystyle p( w_{dn}, z_{dn} = k \mid \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}, \boldsymbol{\beta} ) = p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha})$

　2つ目の項の、観測変数 $\mathbf{W}_{\backslash dn}$ と潜在変数 $\mathbf{Z}_{\backslash dn}$ の項を分割する。

$\displaystyle p(\mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}) = p(\mathbf{W}_{\backslash dn} \mid \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) p(\mathbf{Z}_{\backslash dn} \mid \boldsymbol{\alpha})$

　3つ目の項の、観測変数 $\mathbf{X}$ と潜在変数 $\mathbf{Y}$ の項を分割する。

$\displaystyle p(\mathbf{X}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\gamma}) = p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) p(\mathbf{Y} \mid \boldsymbol{\alpha})$

4: $z_{dn}$ と無関係な項を省く。

　 $z_{dn}$ に影響しない項を省いて比例関係のみに注目すると、 $w_{dn}, z_{dn}$ に関する事後周辺分布から得られることが分かった。

単語トピックの事後周辺分布

　 $z_{dn}$ の条件付き分布の式(4)の前の項は、単語 $w_{dn}$ 以外のトピック集合 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ が与えられたときの単語 $w_{dn}$ のトピック $z_{dn}$ の周辺分布である。
　この式は、 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(2)を用いて求められる。

$\displaystyle \begin{align} p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}) &= \frac{ p(z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}) }{ p(\mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}) } \\ &= \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})^D}{\prod_{k'=1}^K \Gamma(\alpha_{k'})^D} \frac{ \Gamma(N_{dk \backslash dn} + 1 + M_{dk} + \alpha_k) \prod_{k' \neq k} \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha_{k'}) }{ \Gamma(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) } \prod_{d' \neq d} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k' \backslash dn} + M_{d'k'} + \alpha_{k'}) }{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \\ &\quad * \frac{\prod_{k'=1}^K \Gamma(\alpha_{k'})^D}{\Gamma(\sum_{k'=1}^K \alpha_{k'})^D} \frac{ \Gamma(N_d-1 + M_d + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha_{k'}) } \prod_{d' \neq d} \frac{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{d'k' \backslash dn} + M_{d'k'} + \alpha_{k'}) } \\ &= \frac{ (N_{dk \backslash dn} + M_{dk} + \alpha_k) \Gamma(N_{dk \backslash dn} + M_{dk} + \alpha_k) \prod_{k' \neq k} \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha_{k'}) }{ (N_d-1 + M_d + \sum_{k'=1}^K \alpha_{k'}) \Gamma(N_d-1 + M_d + \sum_{k'=1}^K \alpha_{k'}) } \\ &\quad * \frac{ \Gamma(N_d-1 + M_d + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha_{k'}) } \\ &= \frac{ N_{dk \backslash dn} + M_{dk} + \alpha_k }{ N_d-1 + M_d + \sum_{k'=1}^K \alpha_{k'} } \tag{5} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、目的の変数 $z_{dn}$ 以外の変数 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ を条件に移した式を立てる。
2: 式(2)を用いて、分母分子を具体的な式に置き換える。

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布(分子)は式(2)であり、 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ の周辺分布(分母)は式(2)から単語 $w_{dn}$ に関して取り除いた式である。

$\displaystyle \begin{align} p(z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})}{\prod_{k'=1}^K \Gamma(\alpha_{k'})} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha_{k'}) }{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \right\} \tag{2}\\ p(\mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \boldsymbol{\alpha}) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})}{\prod_{k'=1}^K \Gamma(\alpha_{k'})} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k' \backslash dn} + M_{d'k'} + \alpha_{k'}) }{ \Gamma(N_{d' \backslash dn} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \right\} \end{align}$

　ただし、次の関係である。詳しくは「トピックモデル(基本形)の一様版」を参照のこと。

$\displaystyle \begin{aligned} N_{dk} &= \begin{cases} N_{dk \backslash dn} + 1 &\quad (z_{dn} = k) \\ N_{dk \backslash dn} &\quad (z_{dn} \neq k) \end{cases} \\ N_{d' \backslash dn} &= \begin{cases} N_{d'} - 1 &\quad (d' = d) \\ N_{d'} &\quad (d' \neq d) \end{cases} \end{aligned}$

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式について $N_{dk}$ を $N_{d'k \backslash dn}$ 、 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ の周辺分布の式について $N_{d \backslash dn}$ を $N_d$ に置き換える。
　文書 $d$ やトピック $k$ の項のみ形が異なるので、 $\prod_{d=1}^D, \prod_{k=1}^K$ から取り出しておく。

3: ガンマ関数の性質 $\Gamma(x + 1) = (x) \Gamma(x)$ より、項を変形する。
4: $k$ に関する総乗 $\prod_{k'=1}^K \Gamma(x_{k'}) = \Gamma(x_k) \prod_{k' \neq k} \Gamma(x_{k'})$ なので、約分すると $d, k$ に関する項のみが残る。

　 $z_{dn}$ の事後周辺分布の式が得られた。

単語の事後周辺分布

　 $z_{dn}$ の条件付き分布の式(4)の後の項は、単語 $w_{dn}$ 以外の文書集合 $\mathbf{W}_{\backslash dn}$ と全単語のトピック集合 $\mathbf{Z}$ が与えられたときの単語 $w_{dn}$ の周辺分布である。
　この式は、トピックモデル(4.5節)と同じ式なので、 $\mathbf{W}$ の周辺分布の式(4.11)を用いて、次の式になる。

$\displaystyle \begin{align} p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) &= \frac{ p(w_{dn}, \mathbf{W}_{\backslash dn} \mid z_{dn} = k, \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) }{ p(\mathbf{W}_{\backslash dn} \mid \mathbf{Z}_{\backslash dn}, \boldsymbol{\beta}) } \\ &= \frac{ N_{kw_{dn} \backslash dn} + \beta_{w_{dn}} }{ N_{k \backslash dn} + \sum_{v=1}^V \beta_v } \tag{4.14} \end{align}$

　詳しくは「トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合」を参照のこと。
　 $w_{dn}$ の事後周辺分布の式が得られた。

単語トピックの条件付き分布

　 $z_{dn}$ の条件付き分布の式(4)に、 $z_{dn}$ の事後周辺分布の式(5)と $w_{dn}$ の事後周辺分布の式(4.14)を代入する。

$\displaystyle \begin{aligned} p( z_{dn} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) &\propto \frac{ N_{dk \backslash dn} + M_{dk} + \alpha_k }{ N_d-1 + M_d + \sum_{k'=1}^K \alpha_{k'} } \frac{ N_{kw_{dn} \backslash dn} + \beta_{w_{dn}} }{ N_{k \backslash dn} + \sum_{v=1}^V \beta_v } \\ &\propto (N_{dk \backslash dn} + M_{dk} + \alpha_k) \frac{ N_{kw_{dn} \backslash dn} + \beta_{w_{dn}} }{ N_{k \backslash dn} + \sum_{v=1}^V \beta_v } \end{aligned}$

　 $z_{dn} = k$ に影響しない項を省いた。他のトピックについても同様に計算でき、全てのトピックに関する和で割ると正規化できる。
　 $z_{dn}$ の条件付き分布の式が得られた。

補助情報トピックの条件付き分布の設定

　単語集合 $\mathbf{W}$ と単語トピック集合 $\mathbf{Z}$ 、全ての補助情報集合 $\mathbf{X}$ と補助情報 $x_{dm}$ 以外のトピック集合 $\mathbf{Y}_{\backslash dm}$ が与えられた(条件とする)ときの補助情報 $x_{dm}$ のトピック $y_{dm}$ の条件付き分布を求める。

$\displaystyle \begin{align} p( y_{dm} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) &= \frac{ p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) }{ p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) } \\ &\propto p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \\ &= p(y_{dm} = k \mid \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}) p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) \\ &\quad * p(\mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}) p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) \\ &\quad * p(\mathbf{Z} \mid \boldsymbol{\alpha}) p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) \\ &\propto p(y_{dm} = k \mid \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}) p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) \tag{6} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、目的の変数 $y_{dm}$ 以外の変数 $\mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}$ を条件に移した式を立てる。
2: $y_{dm}$ と無関係な項を省く。
3: 変数ごとの項に分割する。

　単語に関する変数 $\mathbf{W}, \mathbf{Z}$ 、補助情報 $x_{dm}$ に関する変数 $x_{dm}, y_{dm}$ と補助情報 $x_{dm}$ 以外に関する変数 $\mathbf{X}_{\backslash dm}, \mathbf{Y}_{\backslash dm}$ の項を分割する。

$\displaystyle \begin{aligned} & p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \\ &= p( x_{dm}, y_{dm} = k \mid \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}, \boldsymbol{\gamma} ) p( \mathbf{W}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) \\ &= p( x_{dm}, y_{dm} = k \mid \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}, \boldsymbol{\gamma} ) p( \mathbf{X}_{\backslash dm}, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\gamma} ) p(\mathbf{W}, \mathbf{Z} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}) \end{aligned}$

　さらに1つ目の項の、観測変数 $x_{dm}$ と潜在変数 $y_{dm}$ の項を分割する。

$\displaystyle p( x_{dm}, y_{dm} = k \mid \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}, \boldsymbol{\gamma} ) = p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) p(y_{dm} = k \mid \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha})$

　2つ目の項の、観測変数 $\mathbf{X}_{\backslash dm}$ と潜在変数 $\mathbf{Y}_{\backslash dm}$ の項を分割する。

$\displaystyle p(\mathbf{X}_{\backslash dm}, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}, \boldsymbol{\gamma}) = p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) p(\mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha})$

　3つ目の項の、観測変数 $\mathbf{W}$ と潜在変数 $\mathbf{Z}$ の項を分割する。

$\displaystyle p(\mathbf{W}, \mathbf{Z} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}) = p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) p(\mathbf{Z} \mid \boldsymbol{\alpha})$

4: $y_{dm}$ と無関係な項を省く。

　 $y_{dm}$ に影響しない項を省いて比例関係のみに注目すると、 $x_{dm}, y_{dm}$ に関する事後周辺分布から得られることが分かった。

補助情報トピックの事後周辺分布

　 $y_{dm}$ の条件付き分布の式(6)の前の項は、補助情報 $x_{dm}$ 以外のトピック集合 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ が与えられたときの補助情報 $x_{dm}$ のトピック $y_{dm}$ の周辺分布である。
　この式は、 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(2)を用いて求められる。

$\displaystyle \begin{align} p(y_{dm} = k \mid \mathbf{Y}_{\backslash dm}, \mathbf{Z}, \boldsymbol{\alpha}) &= \frac{ p(\mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}) }{ p(\mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}) } \\ &= \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})^D}{\prod_{k'=1}^K \Gamma(\alpha_{k'})^D} \frac{ \Gamma(N_{dk} + M_{dk \backslash dm} + 1 + \alpha_k) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha_{k'}) }{ \Gamma(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) } \prod_{d' \neq d} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k' \backslash dm} + \alpha_{k'}) }{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \\ &\quad * \frac{\prod_{k'=1}^K \Gamma(\alpha_{k'})^D}{\Gamma(\sum_{k'=1}^K \alpha_{k'})^D} \frac{ \Gamma(N_d + M_d-1 + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha_{k'}) } \prod_{d' \neq d} \frac{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k' \backslash dm} + \alpha_{k'}) } \\ &= \frac{ (N_{dk} + M_{dk \backslash dm} + \alpha_k) \Gamma(N_{dk} + M_{dk \backslash dm} + \alpha_k) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha_{k'}) }{ (N_d + M_d-1 + \sum_{k'=1}^K \alpha_{k'}) \Gamma(N_d + M_d-1 + \sum_{k'=1}^K \alpha_{k'}) } \\ &\quad * \frac{ \Gamma(N_d + M_d-1 + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha_{k'}) } \\ &= \frac{ N_{dk} + M_{dk \backslash dm} + \alpha_k }{ N_d + M_d-1 + \sum_{k'=1}^K \alpha_{k'} } \tag{7} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、目的の変数 $y_{dm}$ 以外の変数 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ を条件に移した式を立てる。
2: 式(2)を用いて、分母分子を具体的な式に置き換える。

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布(分子)は式(2)であり、 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ の周辺分布(分母)は式(2)から補助情報 $x_{dm}$ に関して取り除いた式である。

$\displaystyle \begin{align} p(\mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})}{\prod_{k'=1}^K \Gamma(\alpha_{k'})} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha_{k'}) }{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \right\} \tag{2}\\ p(\mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \boldsymbol{\alpha}) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})}{\prod_{k'=1}^K \Gamma(\alpha_{k'})} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k' \backslash dm} + \alpha_{k'}) }{ \Gamma(N_{d'} + M_{d' \backslash dm} + \sum_{k'=1}^K \alpha_{k'}) } \right\} \end{align}$

　ただし、次の関係である。詳しくは「一様版」を参照のこと。

$\displaystyle \begin{aligned} M_{dk} &= \begin{cases} M_{dk \backslash dm} + 1 &\quad (y_{dm} = k) \\ M_{dk \backslash dm} &\quad (y_{dm} \neq k) \end{cases} \\ M_{d \backslash dm} &= M_d - 1 \end{aligned}$

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式について $M_{dk}$ を $M_{dk \backslash dm}$ 、 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ の周辺分布の式について $M_{d \backslash dm}$ を $M_d$ に置き換える。
　文書 $d$ やトピック $k$ の項のみ形が異なるので、 $\prod_{d=1}^D, \prod_{k=1}^K$ から取り出しておく。

3: ガンマ関数の性質より、項を変形する。
4: 約分すると $d, k$ に関する項のみが残る。

　 $y_{dm}$ の事後周辺分布の式が得られた。

補助情報の事後周辺分布

　 $y_{dm}$ の条件付き分布の式(6)の後の項は、補助情報 $x_{dm}$ 以外の補助情報集合 $\mathbf{X}_{\backslash dm}$ と全補助情報のトピック集合 $\mathbf{Y}$ が与えられたときの補助情報 $x_{dm}$ の周辺分布である。
　この式は、 $\mathbf{X}$ の周辺分布の式(3)を用いて求められる。

$\displaystyle \begin{align} p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) &= \frac{ p(x_{dm}, \mathbf{X}_{\backslash dm} \mid y_{dm} = k, \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) }{ p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) } \\ &= \frac{\Gamma(\sum_{s=1}^S \gamma_s)^K}{\prod_{s=1}^S \Gamma(\gamma_s)^K} \frac{ \Gamma(M_{kx_{dm} \backslash dm} + 1 + \gamma_{x_{dm}}) \prod_{s \neq x_{dm}} \Gamma(M_{ks \backslash dm} + \gamma_s) }{ \Gamma(M_{k \backslash dm} + 1 + \sum_{s=1}^S \gamma_s) } \prod_{k' \neq k} \frac{ \prod_{s=1}^S \Gamma(M_{k's \backslash dm} + \gamma_s) }{ \Gamma(M_{k' \backslash dm} + \sum_{s=1}^S \gamma_s) } \\ &\quad * \frac{\prod_{s=1}^S \Gamma(\gamma_s)^K}{\Gamma(\sum_{s=1}^S \gamma_s)^K} \frac{ \Gamma(M_{k \backslash dm} + \sum_{s=1}^S \gamma_s) }{ \prod_{s=1}^S \Gamma(M_{ks \backslash dm} + \gamma_s) } \prod_{k' \neq k} \frac{ \Gamma(M_{k' \backslash dm} + \sum_{s=1}^S \gamma_s) }{ \prod_{s=1}^S \Gamma(M_{k's \backslash dm} + \gamma_s) } \\ &= \frac{ (M_{kx_{dm} \backslash dm} + \gamma_{x_{dm}}) \Gamma(M_{kx_{dm} \backslash dm} + \gamma_{x_{dm}}) \prod_{s \neq x_{dm}} \Gamma(M_{ks \backslash dm} + \gamma_s) }{ (M_{k \backslash dm} + \sum_{s=1}^S \gamma_s) \Gamma(M_{k \backslash dm} + \sum_{s=1}^S \gamma_s) } \\ &\quad * \frac{ \Gamma(M_{k \backslash dm} + \sum_{s=1}^S \gamma_s) }{ \prod_{s=1}^S \Gamma(M_{ks \backslash dm} + \gamma_s) } \\ &= \frac{ M_{kx_{dm} \backslash dm} + \gamma_{x_{dm}} }{ M_{k \backslash dm} + \sum_{s=1}^S \gamma_s } \tag{8} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、目的の変数 $x_{dm}$ 以外の変数 $\mathbf{X}_{\backslash dm}$ を条件に移した式を立てる。
2: 式(3)を用いて、分母分子を具体的な式に置き換える。

　 $\mathbf{X}$ の周辺分布(分子)は式(3)であり、 $\mathbf{X}_{\backslash dm}$ の周辺分布(分母)は式(3)から補助情報 $x_{dm}$ に関して取り除いた式である。

$\displaystyle \begin{align} p(x_{dm}, \mathbf{X}_{\backslash dm} \mid y_{dm} = k, \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) &= \prod_{k'=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \frac{ \prod_{s=1}^S \Gamma(M_{k's} + \gamma_s) }{ \Gamma(M_{k'} + \sum_{s=1}^S \gamma_s) } \right\} \tag{3}\\ p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) &= \prod_{k'=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\prod_{s=1}^S \Gamma(\gamma_s)} \frac{ \prod_{s=1}^S \Gamma(M_{k's \backslash dm} + \gamma_s) }{ \Gamma(M_{k' \backslash dm} + \sum_{s=1}^S \gamma_s) } \right\} \end{align}$

　ただし、次の関係である。詳しくは「一様版」を参照のこと。

$\displaystyle \begin{aligned} M_{kx_{dm}} &= \begin{cases} M_{kx_{dm} \backslash dm} + 1 &\quad (y_{dm} = k) \\ M_{kx_{dm} \backslash dm} &\quad (y_{dm} \neq k) \end{cases} \\ M_k &= \begin{cases} M_{k \backslash dm} + 1 &\quad (y_{dm} = k) \\ M_{k \backslash dm} &\quad (y_{dm} \neq k) \end{cases} \end{aligned}$

　 $\mathbf{X}$ の周辺分布の式について $M_{ks}, M_k$ を $M_{ks \backslash dm}, M_{k \backslash dm}$ に置き換える。
　トピック $k$ や種類 $x_{dm}$ の項のみ形が異なるので、 $\prod_{k=1}^K, \prod_{s=1}^S$ から取り出しておく。

3: ガンマ関数の性質より、項を変形する。
4: $s$ に関する総乗 $\prod_{s=1}^S \Gamma(x_s) = \Gamma(x_s) \prod_{s' \neq s} \Gamma(x_{s'})$ なので、約分すると $d, s = x_{dm}$ に関する項のみが残る。

　 $x_{dm}$ の事後周辺分布の式が得られた。

補助情報トピックの条件付き分布

　 $y_{dm}$ の条件付き分布の式(6)に、 $y_{dm}$ の事後周辺分布の式(7)と $x_{dm}$ の事後周辺分布の式(8)を代入する。

$\displaystyle \begin{aligned} p( y_{dm} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} ) &\propto \frac{ N_{dk} + M_{dk \backslash dm} + \alpha_k }{ N_d + M_d-1 + \sum_{k'=1}^K \alpha_{k'} } \frac{ M_{kx_{dm} \backslash dm} + \gamma_{x_{dm}} }{ M_{k \backslash dm} + \sum_{s=1}^S \gamma_s } \\ &\propto (N_{dk} + M_{dk \backslash dm} + \alpha_k) \frac{ M_{kx_{dm} \backslash dm} + \gamma_{x_{dm}} }{ M_{k \backslash dm} + \sum_{s=1}^S \gamma_s } \end{aligned}$

　 $y_{dm} = k$ に影響しない項を省いた。他のトピックについても同様に計算でき、全てのトピックに関する和で割ると正規化できる。
　 $y_{dm}$ のサンプリング確率の式が得られた。

　以上で、各潜在変数のトピックのサンプリング式が得られた。

スポンサードリンク

ハイパーパラメータの更新式の導出

　続いて、サンプリングしたトピック集合を用いて、全変数の結合周辺分布を最大化するハイパーパラメータを推定する。しかし、解析的に求められない。そこで、不動点反復法により結合周辺分布の下限を繰り返し更新することで最大化を行うための各分布のハイパーパラメータの更新式を導出する。

周辺結合分布の下限の設定

　 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(2')を

$\displaystyle \begin{align} p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) &= \prod_{d=1}^D \left\{ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\Gamma(N_d + M_d + \sum_{k=1}^K \alpha_k)} \prod_{k=1}^K \frac{\Gamma(N_{dk} + M_{dk} + \alpha_k)}{\Gamma(\alpha_k)} \right\} \tag{2'}\\ &\geq \prod_{d=1}^D \left[ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\Gamma(N_d + M_{dk} + \sum_{k=1}^K \alpha_k)} \exp \Bigl( (\alpha_k - \alpha_k^{\mathrm{new}}) b_{\alpha} \Bigr) \prod_{k=1}^K \left\{ \frac{\Gamma(N_{dk} + M_{dk} + \alpha_k)}{\Gamma(\alpha_k)} \alpha_k^{-a_{\alpha}} (\alpha_k^{\mathrm{new}})^{a_{\alpha}} \right\} \right] \end{align}$

と変形し、また $\mathbf{W}$ の周辺分布の式(4.11')を

$\displaystyle \begin{align} p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\Gamma(N_k + \sum_{v=1}^V \beta_v)} \prod_{v=1}^V \frac{\Gamma(N_{kv} + \beta_v)}{\Gamma(\beta_v)} \right\} \tag{4.11'}\\ &\geq \prod_{k=1}^K \left[ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\Gamma(N_k + \sum_{v=1}^V \beta_v)} \exp \Bigl( (\beta_v - \beta_v^{\mathrm{new}}) b_{\beta} \Bigr) \prod_{v=1}^V \left\{ \frac{\Gamma(N_{kv} + \beta_v)}{\Gamma(\beta_v)} \beta_v^{-a_{\beta}} (\beta_v^{\mathrm{new}})^{a_{\beta}} \right\} \right] \end{align}$

と変形し、 $\mathbf{X}$ の周辺分布の式(3')を

$\displaystyle \begin{align} p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) &= \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\Gamma(M_k + \sum_{s=1}^S \gamma_s)} \prod_{s=1}^S \frac{\Gamma(M_{ks} + \gamma_s)}{\Gamma(\gamma_s)} \right\} \tag{3'}\\ &\geq \prod_{k=1}^K \left[ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\Gamma(M_k + \sum_{s=1}^S \gamma_s)} \exp \Bigl( (\gamma_s - \gamma_s^{\mathrm{new}}) b_{\gamma} \Bigr) \prod_{s=1}^S \left\{ \frac{\Gamma(M_{ks} + \gamma_s)}{\Gamma(\gamma_s)} \gamma_s^{-a_{\gamma}} (\gamma_s^{\mathrm{new}})^{a_{\gamma}} \right\} \right] \end{align}$

と変形して、 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(1)を置き換え下限 $G$ とおく。

$\displaystyle \begin{aligned} p(\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma}) &\geq \prod_{d=1}^D \Biggl[ \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\Gamma(N_d + M_{dk} + \sum_{k=1}^K \alpha_k)} \exp \Bigl( (\alpha_k - \alpha_k^{\mathrm{new}}) b_{\alpha} \Bigr) \Biggr. \\ &\qquad \qquad * \Biggl. \prod_{k=1}^K \left\{ \frac{\Gamma(N_{dk} + M_{dk} + \alpha_k)}{\Gamma(\alpha_k)} \alpha_k^{-a_{\alpha}} (\alpha_k^{\mathrm{new}})^{a_{\alpha}} \right\} \Biggr] \\ &\quad * \prod_{k=1}^K \Biggl[ \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\Gamma(N_k + \sum_{v=1}^V \beta_v)} \exp \Bigl( (\beta_v - \beta_v^{\mathrm{new}}) b_{\beta} \Bigr) \Biggr. \\ &\qquad \qquad * \Biggl. \prod_{v=1}^V \left\{ \frac{\Gamma(N_{kv} + \beta_v)}{\Gamma(\beta_v)} \beta_v^{-a_{\beta}} (\beta_v^{\mathrm{new}})^{a_{\beta}} \right\} \Biggr] \\ &\quad * \prod_{k=1}^K \Biggl[ \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\Gamma(M_k + \sum_{s=1}^S \gamma_s)} \exp \Bigl( (\gamma_s - \gamma_s^{\mathrm{new}}) b_{\gamma} \Bigr) \Biggr. \\ &\qquad \qquad * \Biggl. \prod_{s=1}^S \left\{ \frac{\Gamma(M_{ks} + \gamma_s)}{\Gamma(\gamma_s)} \gamma_s^{-a_{\gamma}} (\gamma_s^{\mathrm{new}})^{a_{\gamma}} \right\} \Biggr] \equiv G \end{aligned}$

　また、次のようにおいた。

$\displaystyle \begin{aligned} a_{\alpha} &= \Bigl( \Psi(N_{dk} + M_{dk} + \alpha_k) - \Psi(\alpha_k) \Bigr) \alpha_k \\ b_{\alpha} &= \Psi \Bigl( N_d + M_d + \sum_{k=1}^K \alpha_k \Bigr) - \Psi \Bigl( \sum_{k=1}^K \alpha_k \Bigr) \\ a_{\beta} &= \Bigl( \Psi(N_{kv} + \beta_v) - \Psi(\beta_v) \Bigr) \beta_v \\ b_{\beta} &= \Psi \Bigl( N_k + \sum_{v=1}^V \beta_v \Bigr) - \Psi \Bigl( \sum_{v=1}^V \beta_v \Bigr) \\ a_{\gamma} &= \Bigl( \Psi(M_{ks} + \gamma_s) - \Psi(\gamma_s) \Bigr) \gamma_s \\ b_{\gamma} &= \Psi \Bigl( M_k + \sum_{s=1}^S \gamma_s \Bigr) - \Psi \Bigl( \sum_{s=1}^S \gamma_s \Bigr) \end{aligned} \tag{9}$

途中式の途中式(クリックで展開)

1: 対数ガンマとディガンマ関数の不等式を用いて、項を置き換える。

　 $\hat{x} \geq 0$ に対して、 $x \gt 0$ 、 $n \geq 0$ のとき、次の関係が成り立つ。

$\displaystyle \begin{aligned} \frac{\Gamma(x)}{\Gamma(n + x)} &\geq \frac{\Gamma(\hat{x})}{\Gamma(n + \hat{x})} \exp \Bigl( (\hat{x} - x) b \Bigr) \\ b &= \Psi(n + \hat{x}) - \Psi(\hat{x}) \end{aligned}$

　また、 $\hat{x} \geq 0$ に対して、 $n \geq 1$ のとき、次の関係が成り立つ。

$\displaystyle \begin{aligned} \frac{\Gamma(n + x)}{\Gamma(x)} &\geq \frac{\Gamma(n + \hat{x})}{\Gamma(\hat{x})} \hat{x}^{-a} x^a \\ a &= \Bigl( \Psi(n + \hat{x}) - \Psi(\hat{x}) \Bigr) \hat{x} \end{aligned}$

　現在の値(中心) $\hat{x}$ を $\alpha_k, \beta_v, \gamma_s$ 、更新後の値(変数) $x$ を $\alpha_k^{\mathrm{new}}, \beta_v^{\mathrm{new}}, \gamma_s^{\mathrm{new}}$ と対応させて下限の式に変形する。

　現在の値を $\alpha_k, \beta_v, \gamma_s$ 、更新後の値を $\alpha_k^{\mathrm{new}}, \beta_v^{\mathrm{new}}, \gamma_s^{\mathrm{new}}$ とする( $a, b$ の添字の $\alpha, \beta, \gamma$ は識別用で計算上の意味はない)。周辺尤度に関して $\alpha_k, \beta_v, \gamma_s$ の周りでテイラー展開(近似)して下限として用いる。
　下限への変形については「対数ガンマ関数とディガンマ関数の不等式の導出【青トピックモデルのノート】 - からっぽのしょこ」を参照のこと。

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の下限 $G$ の対数をとり対数下限 $F$ とおく。

$\displaystyle \begin{aligned} F &= \log G \\ &= \sum_{d=1}^D \Biggl[ \log \frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\Gamma(N_d + M_{dk} + \sum_{k=1}^K \alpha_k)} + (\alpha_k - \alpha_k^{\mathrm{new}}) b_{\alpha} \Biggr. \\ &\qquad \qquad \Biggl. + \sum_{k=1}^K \left\{ \log \frac{\Gamma(N_{dk} + M_{dk} + \alpha_k)}{\Gamma(\alpha_k)} - a_{\alpha} \log \alpha_k + a_{\alpha} \log \alpha_k^{\mathrm{new}} \right\} \Biggr] \\ &\quad + \sum_{k=1}^K \Biggl[ \log \frac{\Gamma(\sum_{v=1}^V \beta_v)}{\Gamma(N_k + \sum_{v=1}^V \beta_v)} + (\beta_v - \beta_v^{\mathrm{new}}) b_{\beta} \Biggr. \\ &\qquad \qquad \Biggl. + \sum_{v=1}^V \left\{ \log \frac{\Gamma(N_{kv} + \beta_v)}{\Gamma(\beta_v)} - a_{\beta} \log \beta_v + a_{\beta} \log \beta_v^{\mathrm{new}} \right\} \Biggr] \\ &\quad + \sum_{k=1}^K \Biggl[ \log \frac{\Gamma(\sum_{s=1}^S \gamma_s)}{\Gamma(M_k + \sum_{s=1}^S \gamma_s)} + (\gamma_s - \gamma_s^{\mathrm{new}}) b_{\gamma} \Biggr. \\ &\qquad \qquad \Biggl. + \sum_{s=1}^S \left\{ \log \frac{\Gamma(M_{ks} + \gamma_s)}{\Gamma(\gamma_s)} - a_{\gamma} \log \gamma_s + a_{\gamma} \log \gamma_s^{\mathrm{new}} \right\} \Biggr] \end{aligned}$

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の対数下限の式が得られた。

トピック分布のハイパーパラメータ

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の対数下限 $F$ から $\alpha_k^{\mathrm{new}}$ に関する項を取り出し(無関係な項を定数 $\mathrm{const.}$ にまとめ)関数 $F(\alpha_k^{\mathrm{new}})$ とおく。

$\displaystyle F(\alpha_k^{\mathrm{new}}) = \sum_{d=1}^D \Bigl\{ - b_{\alpha} \alpha_k^{\mathrm{new}} + a_{\alpha} \log \alpha_k^{\mathrm{new}} \Bigr\} + \mathrm{const.}$

　関数 $F(\alpha_k^{\mathrm{new}})$ を $\alpha_k^{\mathrm{new}}$ に関して微分する。

$\displaystyle \begin{aligned} \frac{\partial F(\alpha_k^{\mathrm{new}})}{\partial \alpha_k^{\mathrm{new}}} &= \frac{\partial}{\partial \alpha_k^{\mathrm{new}}} \left\{ \sum_{d=1}^D \Bigl\{ - b_{\alpha} \alpha_k^{\mathrm{new}} + a_{\alpha} \log \alpha_k^{\mathrm{new}} \Bigr\} + \mathrm{const.} \right\} \\ &= \sum_{d=1}^D \frac{\partial}{\partial \alpha_k^{\mathrm{new}}} \Bigl\{ - b_{\alpha} \alpha_k^{\mathrm{new}} \Bigr\} + \sum_{d=1}^D \frac{\partial}{\partial \alpha_k^{\mathrm{new}}} \Bigl\{ a_{\alpha} \log \alpha_k^{\mathrm{new}} \Bigr\} + \frac{\partial \mathrm{const.}}{\partial \alpha_k^{\mathrm{new}}} \\ &= - \sum_{d=1}^D b_{\alpha} \frac{\partial \alpha_k^{\mathrm{new}}}{\partial \alpha_k^{\mathrm{new}}} + \sum_{d=1}^D a_{\alpha} \frac{\partial \log \alpha_k^{\mathrm{new}}}{\partial \alpha_k^{\mathrm{new}}} + 0 \\ &= - \sum_{d=1}^D b_{\alpha} + \sum_{d=1}^D a_{\alpha} \frac{1}{\alpha_k^{\mathrm{new}}} \end{aligned}$

途中式の途中式(クリックで展開)

1: $F$ の式全体の偏微分を考える。 $\alpha_k^{\mathrm{new}}$ に関する微分なので、 $\alpha_k$ は定数として扱う。
2: 和の微分 $\{f(x) + g(x)\}' = f'(x) + g'(x)$ より、項ごとの微分の和に分割する。
3: $\alpha_k^{\mathrm{new}}$ の係数を $\frac{\partial}{\partial \alpha_k^{\mathrm{new}}}$ の外に出す。
4: 自然対数の微分 $\{\log x\}' = \frac{1}{x}$ を行う。

　 $\frac{\partial F(\alpha_k^{\mathrm{new}})}{\partial \alpha_k^{\mathrm{new}}} = 0$ となる $\alpha_k^{\mathrm{new}}$ を求める。

$\displaystyle \begin{aligned} && - \sum_{d=1}^D b_{\alpha} + \frac{ \sum_{d=1}^D a_{\alpha} }{ \alpha_k^{\mathrm{new}} } &= 0 \\ \Rightarrow && \alpha_k^{\mathrm{new}} &= \frac{ \sum_{d=1}^D a_{\alpha} }{ \sum_{d=1}^D b_{\alpha} } \\ && &= \frac{ \sum_{d=1}^D \Bigl( \Psi(N_{dk} + M_{dk} + \alpha_k) - \Psi(\alpha_k) \Bigr) \alpha_k }{ \sum_{d=1}^D \Bigl\{ \Psi(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) - \Psi(\sum_{k'=1}^K \alpha_{k'}) \Bigr\} } \\ && &= \alpha_k \frac{ \sum_{d=1}^D \Psi(N_{dk} + M_{dk} + \alpha_k) - D \Psi(\alpha_k) }{ \sum_{d=1}^D \Psi(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) - D \Psi(\sum_{k'=1}^K \alpha_{k'}) } \end{aligned}$

途中式の途中式(クリックで展開)

1: $\frac{\partial F(\alpha_k^{\mathrm{new}})}{\partial \alpha_k^{\mathrm{new}}}$ を $0$ とおく。
2: $\alpha_k^{\mathrm{new}}$ について式を整理する。
3: $a_{\alpha}, b_{\alpha}$ に式(9)を代入する。
4: 括弧を展開する。

　不動点反復法によるハイパーパラメータの計算式が得られた。

　 $i$ 回目の更新において、 $\alpha_k$ を更新前の値( $i-1$ 回目の更新値) $\alpha_k^{(i-1)}$ 、 $\alpha_k^{\mathrm{new}}$ を更新後の値( $i$ 回目の更新値) $\alpha_k^{(i)}$ とする。また、初期値は $\alpha_k^{(0)}$ とする。

$\displaystyle \alpha_k^{(i)} = \alpha_k^{(i-1)} \frac{ \sum_{d=1}^D \Psi \Bigl( N_{dk}^{(i-1)} + M_{dk}^{(i-1)} + \alpha_k^{(i-1)} \Bigr) - D \Psi \Bigl( \alpha_k^{(i-1)} \Bigr) }{ \sum_{d=1}^D \Psi \Bigl( N_d^{(i-1)} + M_d^{(i-1)} + \sum_{k'=1}^K \alpha_{k'}^{(i-1)} \Bigr) - D \Psi \Bigl( \sum_{k'=1}^K \alpha_{k'}^{(i-1)} \Bigr) }$

　 $\alpha_k$ の更新式が得られた。

単語分布のハイパーパラメータ

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の対数下限 $F$ から $\beta_v^{\mathrm{new}}$ に関する項を取り出し関数 $F(\beta_v^{\mathrm{new}})$ とおく。

$\displaystyle F(\beta_v^{\mathrm{new}}) = \sum_{k=1}^K \Bigl\{ - b_{\beta} \beta_v^{\mathrm{new}} + a_{\beta} \log \beta_v^{\mathrm{new}} \Bigr\} + \mathrm{const.}$

　この式は、トピックモデル(4.5節)と同じ式なので、関数 $F(\beta_v^{\mathrm{new}})$ を $\beta_v^{\mathrm{new}}$ に関して微分して解くと、次の式になる。

$\displaystyle \beta_v^{\mathrm{new}} = \beta_v \frac{ \sum_{k=1}^K \Psi(N_{kv} + \beta_v) - K \Psi(\beta_v) }{ \sum_{k=1}^K \Psi(N_k + \sum_{v'=1}^V \beta_{v'}) - K \Psi(\sum_{v'=1}^V \beta_{v'}) } \tag{4.17}$

　 $i$ 回目の更新において、 $\beta_v$ を更新前の値( $i-1$ 回目の更新値) $\beta_v^{(i-1)}$ 、 $\beta_v^{\mathrm{new}}$ を更新後の値( $i$ 回目の更新値) $\beta_v^{(i)}$ とする。また、初期値は $\beta_v^{(0)}$ とする。

$\displaystyle \beta_v^{(i)} = \beta_v^{(i-1)} \frac{ \sum_{k=1}^K \Psi \Bigl( N_{kv}^{(i-1)} + \beta_v^{(i-1)} \Bigr) - K \Psi \Bigl( \beta_v^{(i-1)} \Bigr) }{ \sum_{k=1}^K \Psi \Bigl( N_k^{(i-1)} + \sum_{v'=1}^V \beta_{v'}^{(i-1)} \Bigr) - K \Psi \Bigl( \sum_{v'=1}^V \beta_{v'}^{(i-1)} \Bigr) }$

　詳しくは「トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合」を参照のこと。
　 $\beta_v$ の更新式が得られた。

補助情報分布のハイパーパラメータ

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合周辺分布の対数下限 $F$ から $\gamma_s^{\mathrm{new}}$ に関する項を取り出し関数 $F(\gamma_s^{\mathrm{new}})$ とおく。

$\displaystyle F(\gamma_s^{\mathrm{new}}) = \sum_{k=1}^K \Bigl\{ - b_{\gamma} \gamma_s^{\mathrm{new}} + a_{\gamma} \log \gamma_s^{\mathrm{new}} \Bigr\} + \mathrm{const.}$

　関数 $F(\gamma_s^{\mathrm{new}})$ を $\gamma_s^{\mathrm{new}}$ に関して微分する。

$\displaystyle \begin{aligned} \frac{\partial F(\gamma_s^{\mathrm{new}})}{\partial \gamma_s^{\mathrm{new}}} &= \frac{\partial}{\partial \gamma_s^{\mathrm{new}}} \left\{ \sum_{k=1}^K \Bigl\{ - b_{\gamma} \gamma_s^{\mathrm{new}} + a_{\gamma} \log \gamma_s^{\mathrm{new}} \Bigr\} + \mathrm{const.} \right\} \\ &= \sum_{k=1}^K \frac{\partial}{\partial \gamma_s^{\mathrm{new}}} \Bigl\{ - b_{\gamma} \gamma_s^{\mathrm{new}} \Bigr\} + \sum_{k=1}^K \frac{\partial}{\partial \gamma_s^{\mathrm{new}}} \Bigl\{ a_{\gamma} \log \gamma_s^{\mathrm{new}} \Bigr\} + \frac{\partial \mathrm{const.}}{\partial \gamma_s^{\mathrm{new}}} \\ &= - \sum_{k=1}^K b_{\gamma} \frac{\partial \gamma_s^{\mathrm{new}}}{\partial \gamma_s^{\mathrm{new}}} + \sum_{k=1}^K a_{\gamma} \frac{\partial \log \gamma_s^{\mathrm{new}}}{\partial \gamma_s^{\mathrm{new}}} + 0 \\ &= - \sum_{k=1}^K b_{\gamma} + \sum_{k=1}^K a_{\gamma} \frac{1}{\gamma_s^{\mathrm{new}}} \end{aligned}$

途中式の途中式(クリックで展開)

1: $F$ の式全体の偏微分を考える。 $\gamma_s^{\mathrm{new}}$ に関する微分なので、 $\gamma_s$ は定数として扱う。
2: 和の微分より、項ごとの微分の和に分割する。
3: $\gamma_s^{\mathrm{new}}$ 係数を $\frac{\partial}{\partial \gamma_s^{\mathrm{new}}}$ の外に出す。
4: 自然対数の微分を行う。

　 $\frac{\partial F(\gamma_s^{\mathrm{new}})}{\partial \gamma_s^{\mathrm{new}}} = 0$ となる $\gamma_s^{\mathrm{new}}$ を求める。

$\displaystyle \begin{aligned} && - \sum_{k=1}^K b_{\gamma} + \frac{ \sum_{k=1}^K a_{\gamma} }{ \gamma_s^{\mathrm{new}} } &= 0 \\ \Rightarrow && \gamma_s^{\mathrm{new}} &= \frac{ \sum_{k=1}^K a_{\gamma} }{ \sum_{k=1}^K b_{\gamma} } \\ && &= \frac{ \sum_{k=1}^K \Bigl( \Psi(M_{ks} + \gamma_s) - \Psi(\gamma_s) \Bigr) \gamma_s }{ \sum_{k=1}^K \Big\{ \Psi(M_k + \sum_{s'=1}^S \gamma_{s'}) - \Psi(\sum_{s'=1}^S \gamma_{s'}) \Bigr\} } \\ && &= \gamma_s \frac{ \sum_{k=1}^K \Psi(M_{ks} + \gamma_s) - K \Psi(\gamma_s) }{ \sum_{k=1}^K \Psi(M_k + \sum_{s'=1}^S \gamma_{s'}) - K \Psi(\sum_{s'=1}^S \gamma_{s'}) } \end{aligned}$

途中式の途中式(クリックで展開)

1: $\frac{\partial F(\gamma_s^{\mathrm{new}})}{\partial \gamma_s^{\mathrm{new}}}$ を $0$ とおく。
2: $\gamma_s^{\mathrm{new}}$ について式を整理する。
3: $a_{\gamma}, b_{\gamma}$ に式(9)を代入する。
4: 括弧を展開する。

　不動点反復法によるハイパーパラメータの計算式が得られた。

　 $i$ 回目の更新において、 $\gamma_s$ を更新前の値( $i-1$ 回目の更新値) $\gamma_s^{(i-1)}$ 、 $\gamma_s^{\mathrm{new}}$ を更新後の値( $i$ 回目の更新値) $\gamma_s^{(i)}$ とする。また、初期値は $\gamma_s^{(0)}$ とする。

$\displaystyle \gamma_s^{(i)} = \gamma_s^{(i-1)} \frac{ \sum_{k=1}^K \Psi \Bigl( M_{ks}^{(i-1)} + \gamma_s^{(i-1)} \Bigr) - K \Psi \Bigl( \gamma_s^{(i-1)} \Bigr) }{ \sum_{k=1}^K \Psi \Bigl( M_k^{(i-1)} + \sum_{s'=1}^S \gamma_{s'}^{(i-1)} \Bigr) - K \Psi \Bigl( \sum_{s'=1}^S \gamma_{s'}^{(i-1)} \Bigr) }$

　 $\gamma_s$ の更新式が得られた。

　以上で、各分布のハイパーパラメータの更新式が得られた。

スポンサードリンク

事後予測分布の導出

　最後は、各変数の周辺分布を用いて、未知(新規)の各変数の事後予測分布を導出する。

　既存の文書 $d$ において新たに生成される( $N_d+1$ 番目の)単語(の語彙)を $w_d^{*}$ 、トピックを $z_d^{*}$ 、新たに生成される( $M_d+1$ 番目の)補助情報(の種類)を $x_d^{*}$ 、トピックを $y_d^{*}$ で表す。

トピックの事後予測分布の設定

　トピック集合 $\mathbf{Z}, \mathbf{Y}$ が与えられたときの文書 $d$ の未知の単語 $w_d^{*}$ のトピック $z_d^{*}$ (または補助情報 $x_d^{*}$ のトピック $y_d^{*}$ )の予測分布を求める。

$\displaystyle \begin{aligned} p(z_d^{*} = k \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\alpha}) &= \int p(z_d^{*} = k, \boldsymbol{\theta}_d \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\theta}_d \\ &= \int p(z_d^{*} = k \mid \boldsymbol{\theta}_d) p(\boldsymbol{\theta}_d \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\alpha}) \mathrm{d} \boldsymbol{\theta}_d \end{aligned}$

途中式の途中式(クリックで展開)

1: サンプリングした潜在変数 $\mathbf{Z}, \mathbf{Y}$ と事前分布のパラメータ $\boldsymbol{\alpha}$ を条件とする未観測の潜在変数 $z_d^{*}$ (または $y_d^{*}$ )とパラメータ $\boldsymbol{\theta}_d$ の結合分布を $\boldsymbol{\theta}_d$ に関して周辺化した式を立てる。
2: 潜在変数 $z_d^{*}$ とパラメータ $\boldsymbol{\theta}_d$ の項を分割する。

　 $p(\boldsymbol{\theta}_d \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\alpha})$ は、 $\mathbf{Z}, \mathbf{Y}$ が与えられたときの文書 $d$ のトピック分布のパラメータ $\boldsymbol{\theta}_d$ の事後分布である。つまり、 $p(z_d^{*} = k \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\alpha})$ は、 $\boldsymbol{\theta}_d$ の事後分布を用いたトピック $z_d^{*}$ の周辺分布である。

トピックの事後予測分布

　 $z_d^{*}$ の事後予測分布の式は、 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布の式(2)を用いて求められる。

$\displaystyle \begin{aligned} p(z_d^{*} = k \mid \mathbf{Z}, \mathbf{Y}, \boldsymbol{\alpha}) &= \frac{ p(z_d^{*} = k, \mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) }{ p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) } \\ &= \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})^D}{\prod_{k'=1}^K \Gamma(\alpha_{k'})^D} \frac{ \Gamma(N_{dk}+1 + M_{dk} + \alpha_k) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk'} + \alpha_{k'}) }{ \Gamma(N_d+1 + M_d + \sum_{k'=1}^K \alpha_{k'}) } \prod_{d' \neq d} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha_{k'}) }{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \\ &\quad * \frac{\prod_{k'=1}^K \Gamma(\alpha_{k'})^D}{\Gamma(\sum_{k'=1}^K \alpha_{k'})^D} \frac{ \Gamma(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk'} + \alpha_{k'}) } \prod_{d' \neq d} \frac{ \Gamma(N_{d'} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha_{k'}) } \\ &= \frac{ (N_{dk} + M_{dk} + \alpha_k) \Gamma(N_{dk} + M_{dk} + \alpha_k) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk'} + \alpha_{k'}) }{ (N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) \Gamma(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) } \\ &\quad * \frac{ \Gamma(N_d + M_d + \sum_{k'=1}^K \alpha_{k'}) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk'} + \alpha_{k'}) } \\ &= \frac{ N_{dk} + M_{dk} + \alpha_k }{ N_d + M_d + \sum_{k'=1}^K \alpha_{k'} } \equiv \hat{\theta}_{dk} \end{aligned}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、未知の変数 $z_d^{*}$ 以外の既知の変数 $\mathbf{Z}, \mathbf{Y}$ を条件に移した式を立てる。
2: 式(2)を用いて、分母分子を具体的な式に置き換える。

　 $z_d^{*}, \mathbf{Z}, \mathbf{Y}$ の周辺分布(分子)は式(2)に新たな単語 $w_d^{*}$ に関して追加した式であり、 $\mathbf{Z}, \mathbf{Y}$ の周辺分布(分母)は式(2)である。

$\displaystyle p(z_d^{*} = k, \mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\alpha}) = \prod_{d'=1}^D \left\{ \frac{\Gamma(\sum_{k'=1}^K \alpha_{k'})}{\prod_{k'=1}^K \Gamma(\alpha_{k'})} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'}^{*} + M_{d'k'} + \alpha_{k'}) }{ \Gamma(N_{d'}^{*} + M_{d'} + \sum_{k'=1}^K \alpha_{k'}) } \right\}$

　ここで、新規(未知)の単語 $w_d^{*}$ を含めた数を $N_{dk}^{*}, N_d^{*}$ とすると、次の関係である。詳しくは「トピックモデル(基本形)の一様版」を参照のこと。

$\displaystyle \begin{aligned} N_{dk}^{*} &= \begin{cases} N_{dk} + 1 &\quad (z_{dn} = k) \\ N_{dk} &\quad (z_{dn} \neq k) \end{cases} \\ N_d^{*} &= N_d + 1 \end{aligned}$

　 $z_d^{*}, \mathbf{Z}, \mathbf{Y}$ の周辺分布の式について、 $N_{dk}^{*}, N_d^{*}$ を $N_{dk}, N_d$ に置き換える。(「単語トピックの事後周辺分布」のときとは置き換え方が異なる点に注意。)
　文書 $d$ やトピック $k$ の項のみ形が異なるので、 $\prod_{d=1}^D, \prod_{k=1}^K$ から取り出しておく。

3: ガンマ関数の性質より、項を変形する。
4:約分すると $d, k$ に関する項のみが残る。

　1つの補助情報のトピック $y_d^{*}$ を追加した場合を考えても同じ式になる。
　 $z_d^{*}$ または $y_d^{*}$ (に割り当てられるトピック $k$ )の事後予測分布の式が得られた。この式を $\hat{\theta}_{dk}$ とおく。

トピック分布のパラメータ

　他のトピックについても同様に求められるので、 $z_d^{*}$ の事後予測分布のパラメータは、次の $K$ 次元ベクトルになる。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\theta}}_d &= (\hat{\theta}_{d1}, \hat{\theta}_{d2}, \cdots, \hat{\theta}_{dK}) \\ &= \left( \frac{N_{d1} + M_{d1} + \alpha_1}{N_d + M_d + \sum_{k=1}^K \alpha_k}, \frac{N_{d2} + M_{d2} + \alpha_2}{N_d + M_d + \sum_{k=1}^K \alpha_k}, \cdots, \frac{N_{dK} + M_{dK} + \alpha_K}{N_d + M_d + \sum_{k=1}^K \alpha_k} \right) \end{aligned}$

　非負の分子の総和が分母に一致するので、カテゴリ分布のパラメータの条件を満たす。
　サンプリングデータ $\mathbf{Z}, \mathbf{Y}$ から推定したトピック分布のパラメータ $\boldsymbol{\theta}_d$ の推定値と言える。

単語の事後予測分布の設定

　文書集合 $\mathbf{W}$ と単語トピック集合 $\mathbf{Z}$ 、未知の単語のトピック $z_d^{*}$ が与えられたときの未知の単語(の語彙) $w_d^{*}$ の予測分布を求める。

$\displaystyle p(w_d^{*} = v \mid z_d^{*} = k, \mathbf{W}, \mathbf{Z}, \boldsymbol{\beta}) = \int p(w_d^{*} = v \mid z_d^{*} = k, \boldsymbol{\phi}_k) p(\boldsymbol{\phi}_k \mid \mathbf{W}, \mathbf{Z}, \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\phi}_k$

　 $\boldsymbol{\phi}_k$ の事後分布を用いた単語 $w_d^{*}$ の周辺分布である。

単語の事後予測分布

　この式はトピックモデル(4.5節)と同じ式なので、 $\mathbf{W}$ の周辺分布の式(4.11)を用いて、次の式になる。

$\displaystyle \begin{aligned} p(w_d^{*} = v \mid \mathbf{W}, z_d^{*} = k, \mathbf{Z}, \boldsymbol{\beta}) &= \frac{ p(w_d^{*} = v, \mathbf{W} \mid z_d^{*} = k, \mathbf{Z}, \boldsymbol{\beta}) }{ p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\beta}) } \\ &= \frac{ N_{kv} + \beta_v }{ N_k + \sum_{v'=1}^V \beta_{v'} } \equiv \hat{\phi}_{kv} \end{aligned}$

　詳しくは「トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合」を参照のこと。
　 $w_d^{*}$ (に割り当てられる語彙 $v$ )の事後予測分布の式が得られた。この式を $\hat{\phi}_{kv}$ とおく。

単語分布のパラメータ

　他の語彙についても同様に求められるので、 $w_d^{*}$ の事後予測分布のパラメータは、次の $V$ 次元ベクトルになる。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\phi}}_k &= (\hat{\phi}_{k1}, \hat{\phi}_{k2}, \cdots, \hat{\phi}_{kV}) \\ &= \left( \frac{N_{k1} + \beta_1}{N_k + \sum_{v=1}^V \beta_v}, \frac{N_{k2} + \beta_2}{N_k + \sum_{v=1}^V \beta_v}, \cdots, \frac{N_{kV} + \beta_V}{N_k + \sum_{v=1}^V \beta_v} \right) \end{aligned}$

　観測・サンプリングデータ $\mathbf{W}, \mathbf{Z}$ から推定した単語分布のパラメータ $\boldsymbol{\phi}_k$ の推定値と言える。

補助情報の事後予測分布の設定

　補助情報集合 $\mathbf{X}$ と補助情報トピック集合 $\mathbf{Y}$ 、未知の補助情報のトピック $y_d^{*}$ が与えられたときの未知の補助情報(の種類) $x_d^{*}$ の予測分布を求める。

$\displaystyle \begin{aligned} p(x_d^{*} = s \mid \mathbf{X}, y_d^{*} = k, \mathbf{Y}, \boldsymbol{\gamma}) &= \int p(x_d^{*} = s, \boldsymbol{\psi}_k \mid \mathbf{X}, y_d^{*} = k, \mathbf{Y}, \boldsymbol{\gamma}) \mathrm{d} \boldsymbol{\psi}_k \\ &= \int p(x_d^{*} = s \mid y_d^{*} = k, \boldsymbol{\psi}_k) p(\boldsymbol{\psi}_k \mid \mathbf{X}, \mathbf{Y}, \boldsymbol{\gamma}) \mathrm{d} \boldsymbol{\psi}_k \end{aligned}$

途中式の途中式(クリックで展開)

1: 観測・サンプリングした変数 $y_d^{*}, \mathbf{X}, \mathbf{Y}$ と事前分布のパラメータ $\boldsymbol{\gamma}$ を条件とする未観測の観測変数 $x_d^{*}$ とパラメータ $\boldsymbol{\psi}_k$ の結合分布を $\boldsymbol{\psi}_k$ に関して周辺化した式を立てる。
2: 観測変数 $x_d^{*}$ とパラメータ $\boldsymbol{\psi}_k$ の項を分割する。

　 $p(\boldsymbol{\psi}_k \mid \mathbf{X}, \mathbf{Y}, \boldsymbol{\gamma})$ は、 $\mathbf{X}, \mathbf{Y}$ が与えられたときの補助情報分布のパラメータ $\boldsymbol{\psi}_k$ の事後分布である。つまり、 $p(x_d^{*} = s \mid y_d^{*} = k, \mathbf{X}, \mathbf{Y}, \boldsymbol{\gamma})$ は、 $\boldsymbol{\psi}_k$ の事後分布を用いた補助情報 $x_d^{*}$ の周辺分布である。

補助情報の事後予測分布

　 $x_d^{*}$ の事後予測分布の式は、 $\mathbf{X}$ の周辺分布の式(3)を用いて求められる。

$\displaystyle \begin{aligned} p(x_d^{*} = s \mid \mathbf{X}, y_d^{*} = k, \mathbf{Y}, \boldsymbol{\gamma}) &= \frac{ p(x_d^{*} = s, \mathbf{X} \mid y_d^{*} = k, \mathbf{Y}, \boldsymbol{\gamma}) }{ p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\gamma}) } \\ &= \frac{\Gamma(\sum_{s'=1}^S \gamma_{s'})^K}{\prod_{s'=1}^S \Gamma(\gamma_{s'})^K} \frac{ \Gamma(M_{ks}+1 + \gamma_s) \prod_{s' \neq s} \Gamma(M_{ks'} + \gamma_{s'}) }{ \Gamma(M_k+1 + \sum_{s'=1}^S \gamma_{s'}) } \prod_{k' \neq k} \frac{ \prod_{s'=1}^S \Gamma(M_{k's'} + \gamma_{s'}) }{ \Gamma(M_{k'} + \sum_{s'=1}^S \gamma_{s'}) } \\ &\quad * \frac{\prod_{s'=1}^S \Gamma(\gamma_{s'})^K}{\Gamma(\sum_{s'=1}^S \gamma_{s'})^K} \frac{ \Gamma(M_k + \sum_{s'=1}^S \gamma_{s'}) }{ \prod_{s'=1}^S \Gamma(M_{ks'} + \gamma_{s'}) } \prod_{k' \neq k} \frac{ \Gamma(M_{k'} + \sum_{s'=1}^S \gamma_{s'}) }{ \prod_{s'=1}^S \Gamma(M_{k's'} + \gamma_{s'}) }\ \\ &= \frac{ (M_{ks} + \gamma_s) \Gamma(M_{ks} + \gamma_s) \prod_{s' \neq v} \Gamma(M_{ks'} + \gamma_{s'}) }{ (M_k + \sum_{s'=1}^S \gamma_{s'}) \Gamma(M_k + \sum_{s'=1}^S \gamma_{s'}) } \\ &\quad * \frac{ \Gamma(M_k + \sum_{s'=1}^S \gamma_{s'}) }{ \prod_{s'=1}^S \gamma(M_{ks'} + \gamma_{s'}) } \\ &= \frac{ M_{ks} + \gamma_s }{ M_k + \sum_{s'=1}^S \gamma_{s'} } \equiv \hat{\psi}_{ks} \end{aligned}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、未知の変数 $x_d^{*}$ 以外の既知の変数 $\mathbf{X}$ を条件に移した式を立てる。
2: 式(3)を用いて、分母分子を具体的な式に置き換える。

　 $x_d^{*}, \mathbf{X}$ の周辺分布(分子)は式(3)に新たな補助情報 $x_d^{*}$ に関して追加した式であり、 $\mathbf{X}$ の周辺分布(分母)は式(3)である。

$\displaystyle p(x_d^{*} = s, \mathbf{X} \mid \mathbf{Y}_{\backslash dm}, \boldsymbol{\gamma}) = \prod_{k'=1}^K \left\{ \frac{\Gamma(\prod_{s'=1}^S \gamma_{s'})}{\sum_{s'=1}^S \Gamma(\gamma_{s'})} \frac{ \prod_{s'=1}^S \Gamma(M_{k's'}^{*} + \gamma_{s'}) }{ \Gamma(M_{k'}^{*} + \sum_{s'=1}^S \gamma_{s'}) } \right\}$

　ここで、新規(未知)の補助情報 $x_d^{*}$ を含めた数を $M_{ks}^{*}, M_k^{*}$ とすると、次の関係である。詳しくは「一様版」を参照のこと。

$\displaystyle \begin{aligned} M_{ks}^{*} &= \begin{cases} M_{ks} + 1 &\quad (y_d^{*} = k) \\ M_{ks} &\quad (y_d^{*} \neq k) \end{cases} \\ M_k^{*} &= \begin{cases} M_k + 1 &\quad (y_d^{*} = k) \\ M_k &\quad (y_d^{*} \neq k) \end{cases} \end{aligned}$

　 $x_d^{*}, \mathbf{X}$ の周辺分布の式について、 $M_{ks}^{*}, M_k^{*}$ を $M_{ks}, M_k$ に置き換える。
　トピック $k$ や種類 $s$ の項のみ形が異なるので、 $\prod_{k=1}^K, \prod_{s=1}^S$ から取り出しておく。

3: ガンマ関数の性質より、項を変形する。
4: 約分すると $d, s$ に関する項のみが残る。

　 $x_d^{*}$ (に割り当てられる種類 $s$ )の事後予測分布の式が得られた。この式を $\hat{\psi}_{ks}$ とおく。

補助情報分布のパラメータ

　他の種類についても同様に求められるので、 $x_d^{*}$ の事後予測分布のパラメータは、次の $S$ 次元ベクトルになる。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\psi}}_k &= (\hat{\psi}_{k1}, \hat{\psi}_{k2}, \cdots, \hat{\psi}_{kS}) \\ &= \left( \frac{M_{k1} + \gamma_1}{M_k + \sum_{s=1}^S \gamma_s}, \frac{M_{k2} + \gamma_2}{M_k + \sum_{s=1}^S \gamma_s}, \cdots, \frac{M_{kS} + \gamma_S}{M_k + \sum_{s=1}^S \gamma_s} \right) \end{aligned}$

　非負の分子の総和が分母に一致するので、カテゴリ分布のパラメータの条件を満たす。
　観測・サンプリングデータ $\mathbf{X}, \mathbf{Y}$ から推定した補助情報分布のパラメータ $\boldsymbol{\psi}_k$ の推定値と言える。

　以上で、各変数の事後予測分布の式と、各分布のパラメータの推定値の計算式が得られた。

　この節では、結合トピックモデルを扱った。次の節では、対応トピックモデルを扱う。

参考書籍

トピックモデル (機械学習プロフェッショナルシリーズ)

作者:岩田具治
講談社

Amazon

おわりに

　トピックモデルまでで書いたこともあり拡張トピックモデルでもやっていこうと、多様版も書きました。書き始めはやったるぞ！と思ってるのはいつものことですが、、あと4つもモデルが残ってる、、、
　多様版と一様版で式が微妙に違うわけですが、この微妙な違いのためにどこまで深入りするかはいつも悩みどころです。導出してみたところ、微分の際に多様版だとハイパラが1つだけ残るのに対して、一様版だとハイパラがパラメータ数個残るので、更新式の各項が定数倍される形になるわけですね。
　今回はなるほどな！と思えたのでやってみた価値はありましたが、コスパは、、そもそも気付いたのはトピックモデルの導出のときですし、両方実装してみたらまた何か発見がありますかね？
　5章の記事は4年近く前に書いた初稿の状態なので今となっては気になる書き方が多く、今回は書き直すことが優先なので実装は後回しで続きを書いていきます。まぁこの記事は新規で書いたものなんですがね。

　この記事の投稿日に公開された佐藤優樹さんのMVを絶対に聴いてください！

　まーちゃん楽曲でかっけーMVを作るの大好きー！新シングルのリリースが楽しみだーー♪

2025.05.20：加筆修正しました。

　5章までのギブスサンプリング数式編の記事の加筆修正が済んだので、全体の構成を統一するために再度調整しました。大きな変更はありませんが、端折っていた事後予測分布の途中式の途中式などを追加しました。
　ついでにブログの記事カテゴリも弄り始めました。現状は一部の記事だけカテゴリ名などを変更したので、このまま止めてしまうと修正前よりカオスな有様になってしまうが、はたして。

【次節の内容】

数式読解編

　結合トピックモデルの生成モデルを数式で確認します。

からっぽのしょこ

読んだら書く！書いたら読む！同じ事は二度調べ(たく)ない

5.1：結合トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合【青トピックモデルのノート】

はじめに

5.1 結合トピックモデルの崩壊型ギブズサンプリングの導出：多様なハイパーパラメータの場合

パラメータの周辺化の導出

結合周辺分布の設定

トピック集合の結合周辺分布

文書集合の周辺分布

補助情報集合の周辺分布

結合周辺分布

サンプリング式の導出

単語トピックの条件付き分布の設定

単語トピックの事後周辺分布

単語の事後周辺分布

単語トピックの条件付き分布

補助情報トピックの条件付き分布の設定

補助情報トピックの事後周辺分布

補助情報の事後周辺分布

補助情報トピックの条件付き分布

ハイパーパラメータの更新式の導出

周辺結合分布の下限の設定

トピック分布のハイパーパラメータ

単語分布のハイパーパラメータ

補助情報分布のハイパーパラメータ

事後予測分布の導出

トピックの事後予測分布の設定

トピックの事後予測分布

トピック分布のパラメータ

単語の事後予測分布の設定

単語の事後予測分布

単語分布のパラメータ

補助情報の事後予測分布の設定

補助情報の事後予測分布

補助情報分布のパラメータ

参考書籍

おわりに