　ここでは、トピック分布・単語分布・補助情報分布のハイパーパラメータ $\boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma}$ をそれぞれ一様な値 $\alpha_k = \alpha, \beta_v = \beta, \gamma_s = \gamma$ として、 $K, V, S$ 次元ベクトルをスカラで表記する。

結合周辺分布の設定

　パラメータ $\boldsymbol{\Theta}, \boldsymbol{\Phi}, \boldsymbol{\Psi}$ を周辺化(積分消去)したときの文書集合 $\mathbf{W}$ 、補助情報集合 $\mathbf{X}$ とトピック集合 $\mathbf{Z}, \mathbf{Y}$ の結合分布(同時分布)を求める。

$\displaystyle p(\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \alpha, \beta, \gamma) = \iiint p( \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}, \boldsymbol{\Theta}, \boldsymbol{\Phi}, \boldsymbol{\Psi} \mid \alpha, \beta, \gamma ) \mathrm{d} \boldsymbol{\Theta} \mathrm{d} \boldsymbol{\Phi} \mathrm{d} \boldsymbol{\Psi}$

　結合トピックモデルの生成過程(依存関係)に従って、 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布を分割する。

$\displaystyle \begin{align} p(\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \alpha, \beta, \gamma) &= p(\mathbf{Z}, \mathbf{Y} \mid \alpha) p(\mathbf{W}, \mathbf{X} \mid \mathbf{Z}, \mathbf{Y}, \beta, \gamma) \\ &= p(\mathbf{Z}, \mathbf{Y} \mid \alpha) p(\mathbf{W} \mid \mathbf{Z}, \beta) p(\mathbf{X} \mid \mathbf{Y}, \gamma) \tag{1}\\ &= p(\mathbf{Z} \mid \alpha) p(\mathbf{Y} \mid \alpha) p(\mathbf{W} \mid \mathbf{Z}, \beta) p(\mathbf{X} \mid \mathbf{Y}, \gamma) \end{align}$

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ に関する周辺分布から得られることが分かった。

トピック集合の周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式(1)の1つ目の項は、トピック分布のパラメータ $\boldsymbol{\Theta}$ の事前分布 $p(\boldsymbol{\Theta} \mid \alpha)$ を用いたトピック集合 $\mathbf{Z}, \mathbf{Y}$ の結合周辺分布である。
　この式について、パラメータを明示して変形する。

$\displaystyle \begin{aligned} p(\mathbf{Z}, \mathbf{Y} \mid \alpha) &= \int p(\mathbf{Z}, \mathbf{Y}, \boldsymbol{\Theta} \mid \alpha) \mathrm{d} \boldsymbol{\Theta} \\ &= \int p(\mathbf{Z}, \mathbf{Y} \mid \boldsymbol{\Theta}) p(\boldsymbol{\Theta} \mid \alpha) \mathrm{d} \boldsymbol{\Theta} \\ &= \int p(\mathbf{Z} \mid \boldsymbol{\Theta}) p(\mathbf{Y} \mid \boldsymbol{\Theta}) p(\boldsymbol{\Theta} \mid \alpha) \mathrm{d} \boldsymbol{\Theta} \\ &= \prod_{d=1}^D \left[ \int p(\mathbf{z}_d \mid \boldsymbol{\theta}_d) p(\mathbf{y}_d \mid \boldsymbol{\theta}_d) p(\boldsymbol{\theta}_d \mid \alpha) \mathrm{d} \boldsymbol{\theta}_d \right] \\ &= \prod_{d=1}^D \left[ \int \left\{ \prod_{n=1}^{N_d} p(z_{dn} \mid \boldsymbol{\theta}_d) \right\} \left\{ \prod_{m=1}^{M_d} p(y_{dm} \mid \boldsymbol{\theta}_d) \right\} p(\boldsymbol{\theta}_d \mid \alpha) \mathrm{d} \boldsymbol{\theta}_d \right] \end{aligned}$

途中式の途中式(クリックで展開)

1: 周辺化された $\boldsymbol{\Theta}$ を明示する。
2: 潜在変数 $\mathbf{Z}, \mathbf{Y}$ とパラメータ $\boldsymbol{\Theta}$ の項を分割する。
3: 単語に関する変数 $\mathbf{Z}$ と補助情報に関する変数 $\mathbf{Y}$ の項を分割する。
4: 文書ごとの積に分解する。
5: 単語・補助情報ごとの積に分解する。

　さらに、確率分布を具体的な式に置き換えて、式を整理する。

$\displaystyle \begin{align} p(\mathbf{Z}, \mathbf{Y} \mid \alpha) &= \prod_{d=1}^D \left[ \int \left\{ \prod_{n=1}^{N_d} \theta_{dz_{dn}} \right\} \left\{ \prod_{m=1}^{M_d} \theta_{dy_{dm}} \right\} \frac{\Gamma(\sum_{k=1}^K \alpha)}{\prod_{k=1}^K \Gamma(\alpha)} \left\{ \prod_{k=1}^K \theta_{dk}^{\alpha-1} \right\} \mathrm{d} \boldsymbol{\theta}_d \right] \\ &= \prod_{d=1}^D \left[ \int \left\{ \prod_{k=1}^K \theta_{dk}^{N_{dk}} \right\} \left\{ \prod_{k=1}^K \theta_{dk}^{M_{dk}} \right\} \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \left\{ \prod_{k=1}^K \theta_{dk}^{\alpha-1} \right\} \mathrm{d} \boldsymbol{\theta}_d \right] \\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \int \prod_{k=1}^K \theta_{dk}^{N_{dk} + M_{dk} + \alpha-1} \mathrm{d} \boldsymbol{\theta}_d \right\} \\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \frac{ \prod_{k=1}^K \Gamma(N_{dk} + M_{dk} + \alpha) }{ \Gamma(\sum_{k=1}^K \{N_{dk} + M_{dk} + \alpha\}) } \right\} \\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \frac{ \prod_{k=1}^K \Gamma(N_{dk} + M_{dk} + \alpha) }{ \Gamma(N_d + M_d + K \alpha) } \right\} \tag{2}\\ &= \prod_{d=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(N_d + M_d + K \alpha)} \prod_{k=1}^K \frac{\Gamma(N_{dk} + M_{dk} + \alpha)}{\Gamma(\alpha)} \right\} \tag{2'} \end{align}$

途中式の途中式(クリックで展開)

1: 各単語・補助情報のトピック $z_{dn}, y_{dm}$ はカテゴリ分布、各文書のトピック分布のパラメータ $\boldsymbol{\theta}_d$ はディリクレ分布を仮定しているので、それぞれ定義式に置き換える。

$\displaystyle \begin{aligned} p(z_{dn} \mid \boldsymbol{\theta}_d) &= \mathrm{Cat}(z_{dn} \mid \boldsymbol{\theta}_d) = \theta_{dz_{dn}} \\ p(y_{dm} \mid \boldsymbol{\theta}_d) &= \mathrm{Cat}(y_{dm} \mid \boldsymbol{\theta}_d) = \theta_{dy_{dm}} \\ p(\boldsymbol{\theta}_d \mid \alpha) &= \mathrm{Dir}(\boldsymbol{\theta}_d \mid \alpha) = \frac{\Gamma(\sum_{k=1}^K \alpha)}{\prod_{k=1}^K \Gamma(\alpha)} \prod_{k=1}^K \theta_{dk}^{\alpha-1} \end{aligned}$

2: 一様なハイパーパラメータなので、正規化項は $\sum_{k=1}^K \alpha = K \alpha$ 、 $\prod_{k=1}^K \Gamma(\alpha) = \Gamma(\alpha)^K$ となる。
2: $N_d$ 個の単語に対応するパラメータ $\theta_{dz_{dn}}$ について、各単語に割り当てられたトピック番号 $z_{dn} = k$ を用いてトピックごとにまとめると、 $N_{dk}$ 個の $\theta_{dk}$ に置き換えられる。
2: $M_d$ 個の補助情報に対応するパラメータ $\theta_{dy_{dm}}$ について、各補助情報に割り当てられたトピック番号 $y_{dm} = k$ を用いてトピックごとにまとめると、 $M_{dk}$ 個の $\theta_{dk}$ に置き換えられる。
3: $\boldsymbol{\theta}_d$ と無関係な正規化項を $\int$ の外に出し、 $\theta_{dk}$ の項をまとめる。
4: ディリクレ分布の正規化項(1.2.4項)より、積分全体を正規化項の逆数の形に置き換える。
5: トピックごとの単語数・補助情報数の関係より、 $N_d = \sum_{k=1}^K N_{dk}$ 、 $M_d = \sum_{k=1}^K M_{dk}$ である。
6: 不動点反復法を行うために、 $\prod_{k=1}^K \Gamma(\alpha)$ に戻し、分母を入れ替えて $\alpha, K \alpha$ の項をそれぞれまとめる。

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式が得られた。

文書集合の周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式(1)の2つ目の項は、単語分布のパラメータ $\boldsymbol{\Phi}$ の事前分布 $p(\boldsymbol{\Phi} \mid \beta)$ を用いた文書集合 $\mathbf{W}$ の周辺分布である。
　この式はトピックモデル(4.5節)と同じ式なので、次の式になる。

$\displaystyle \begin{align} p(\mathbf{W} \mid \mathbf{Z}, \beta) &= \int p(\mathbf{W} \mid \mathbf{Z}, \boldsymbol{\Phi}) p(\boldsymbol{\Phi} \mid \beta) \mathrm{d} \boldsymbol{\Phi} \\ &= \int \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}_{z_{dn}}) \right\} \prod_{k=1}^K p(\boldsymbol{\phi}_k \mid \beta) \mathrm{d} \boldsymbol{\Phi} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(V \beta)}{\Gamma(\beta)^V} \int \prod_{v=1}^V \phi_{kv}^{N_{kv}+\beta-1} \mathrm{d} \boldsymbol{\phi}_k \right\} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(V \beta)}{\Gamma(\beta)^V} \frac{ \prod_{v=1}^V \Gamma(N_{kv} + \beta) }{ \Gamma(N_k + V \beta) } \right\} \tag{4.11}\\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(V \beta)}{\Gamma(N_k + V \beta)} \prod_{v=1}^V \frac{\Gamma(N_{kv} + \beta)}{\Gamma(\beta)} \right\} \tag{4.11'} \end{align}$

　詳しくは「4.5：トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合【青トピックモデルのノート】 - からっぽのしょこ」を参照のこと。
　 $\mathbf{W}$ の周辺分布の式が得られた。

補助情報集合の周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式(1)の3つ目の項は、補助情報分布のパラメータ $\boldsymbol{\Psi}$ の事前分布 $p(\boldsymbol{\Psi} \mid \gamma)$ を用いた補助情報集合 $\mathbf{X}$ の周辺分布である。
　同様に、パラメータを明示して変形する。

$\displaystyle \begin{aligned} p(\mathbf{X} \mid \mathbf{Y}, \gamma) &= \int p(\mathbf{X}, \boldsymbol{\Psi} \mid \mathbf{Y}, \gamma) \mathrm{d} \boldsymbol{\Psi} \\ &= \int p(\mathbf{X} \mid \mathbf{Y}, \boldsymbol{\Psi}) p(\boldsymbol{\Psi} \mid \gamma) \mathrm{d} \boldsymbol{\Psi} \\ &= \int \left\{ \prod_{d=1}^D p(\mathbf{x}_d \mid \mathbf{y}_d, \boldsymbol{\Psi}) \right\} \prod_{k=1}^K p(\boldsymbol{\psi}_k \mid \gamma) \mathrm{d} \boldsymbol{\Psi} \\ &= \int \left\{ \prod_{d=1}^D \prod_{m=1}^{M_d} p(x_{dm} \mid \boldsymbol{\psi}_{y_{dm}}) \right\} \prod_{k=1}^K p(\boldsymbol{\psi}_k \mid \gamma) \mathrm{d} \boldsymbol{\Psi} \end{aligned}$

途中式の途中式(クリックで展開)

1: 周辺化された $\boldsymbol{\Psi}$ を明示する。
2: 観測変数 $\mathbf{X}$ とパラメータ $\boldsymbol{\Psi}$ の項を分割する。
3: 文書・トピックごとの積に分解する。
4: 補助情報ごとの積に分解する。

　さらに、確率分布を具体的な式に置き換えて、式を整理する。

$\displaystyle \begin{align} p(\mathbf{X} \mid \mathbf{Y}, \gamma) &= \int \left\{ \prod_{d=1}^D \prod_{m=1}^{M_d} \psi_{y_{dm}x_{dm}} \right\} \prod_{k=1}^K \left\{ \frac{\Gamma(\sum_{s=1}^S \gamma)}{\prod_{s=1}^S \Gamma(\gamma)} \prod_{s=1}^S \psi_{ks}^{\gamma-1} \right\} \mathrm{d} \boldsymbol{\Psi} \\ &= \int \left\{ \prod_{k=1}^K \prod_{s=1}^S \psi_{ks}^{M_{ks}} \right\} \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} \prod_{s=1}^S \psi_{ks}^{\gamma-1} \right\} \mathrm{d} \boldsymbol{\Psi} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} \int \prod_{s=1}^S \psi_{ks}^{M_{ks} + \gamma-1} \mathrm{d} \boldsymbol{\psi}_k \right\} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} \frac{ \prod_{s=1}^S \Gamma(M_{ks} + \gamma) }{ \Gamma(\sum_{s=1}^S \{M_{ks} + \gamma\}) } \right\} \\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} \frac{ \prod_{s=1}^S \Gamma(M_{ks} + \gamma) }{ \Gamma(M_k + S \gamma) } \right\} \tag{3}\\ &= \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(M_k + S \gamma)} \prod_{s=1}^S \frac{\Gamma(M_{ks} + \gamma)}{\Gamma(\gamma)} \right\} \tag{3'} \end{align}$

途中式の途中式(クリックで展開)

1: 各補助情報の種類(内容) $x_{dm}$ はカテゴリ分布、各トピックの補助情報分布のパラメータ $\boldsymbol{\psi}_k$ はディリクレ分布を仮定しているので、それぞれ定義式に置き換える。

$\displaystyle \begin{aligned} p(x_{dm} \mid \boldsymbol{\psi}_{y_{dm}}) &= \mathrm{Cat}(w_{dn} \mid \boldsymbol{\phi}_{y_{dm}}) = \psi_{y_{dm}x_{dm}} \\ p(\boldsymbol{\psi}_k \mid \gamma) &= \mathrm{Dir}(\boldsymbol{\psi}_k \mid \gamma) = \frac{\Gamma(\sum_{s=1}^S \gamma)}{\prod_{s=1}^S \Gamma(\gamma)} \prod_{s=1}^S \psi_{ks}^{\gamma-1} \end{aligned}$

2: 一様なハイパーパラメータなので、正規化項は $\sum_{s=1}^S \gamma = S \gamma$ 、 $\prod_{s=1}^S \Gamma(\gamma) = \Gamma(\gamma)^S$ となる。
2: $M = \sum_{d=1}^D M_d$ 個の補助情報に対応するパラメータ $\psi_{y_{dm}x_{dm}}$ について、各補助情報に割り当てられたトピック番号 $y_{dm} = k$ と種類番号 $x_{dm} = s$ を用いてトピックと種類ごとにまとめると、 $M_{ks}$ 個の $\psi_{ks}$ に置き換えられる。
3: $\boldsymbol{\psi}_k$ と無関係な正規化項を $\int$ の外に出し、 $\psi_{ks}$ の項をまとめる。
4: ディリクレ分布の正規化項(1.2.4項)より、積分全体を正規化項の逆数の形に置き換える。
5: トピックごとの補助情報数の関係より、 $M_k = \sum_{s=1}^S M_{ks}$ である。
6: 不動点反復法を行うために、 $\prod_{s=1}^S \Gamma(\gamma)$ に戻し、分母を入れ替えて $\gamma, S \gamma$ の項をそれぞれまとめる。

　 $\mathbf{X}$ の周辺分布の式が得られた。

結合周辺分布

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式(1)に、 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式(2')と $\mathbf{W}$ の周辺分布の式(4.11')、 $\mathbf{X}$ の周辺分布の式(3')を代入する。

$\displaystyle \begin{align} p(\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \alpha, \beta, \gamma) &= \prod_{d=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(N_d + M_d + K \alpha)} \prod_{k=1}^K \frac{\Gamma(N_{dk} + M_{dk} + \alpha)}{\Gamma(\alpha)} \right\} \\ &\qquad * \prod_{k=1}^K \left\{ \frac{\Gamma(V \beta)}{\Gamma(N_k + V \beta)} \prod_{v=1}^V \frac{\Gamma(N_{kv} + \beta)}{\Gamma(\beta)} \right\} \\ &\qquad * \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(M_k + S \gamma)} \prod_{s=1}^S \frac{\Gamma(M_{ks} + \gamma)}{\Gamma(\gamma)} \right\} \end{align}$

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式が得られた。

　以上で、文書集合・補助情報集合とトピック集合の周辺分布の式、結合周辺分布の式が得られた。

サンプリング式の導出

　次は、文書集合・補助情報集合とトピック集合の周辺分布を用いて、各単語・補助情報のトピックのサンプリング式を導出する。

　文書 $d$ の $n$ 番目の単語 $w_{dn}$ を除いた文書集合を $\mathbf{W}_{\backslash dn}$ 、単語トピック集合を $\mathbf{Z}_{\backslash dn}$ とする。全ての文書集合は $\mathbf{W} = \{w_{dn}, \mathbf{W}_{\backslash dn}\}$ 、全ての単語トピック集合は $\mathbf{Z} = \{z_{dn}, \mathbf{Z}_{\backslash dn}\}$ で表せる。
　文書 $d$ の $m$ 番目の補助情報 $x_{dm}$ を除いた補助情報集合を $\mathbf{X}_{\backslash dm}$ 、補助情報トピック集合を $\mathbf{Y}_{\backslash dm}$ とする。全ての補助情報集合は $\mathbf{X} = \{x_{dm}, \mathbf{X}_{\backslash dm}\}$ 、全ての補助情報トピック集合は $\mathbf{Y} = \{y_{dm}, \mathbf{Y}_{\backslash dm}\}$ で表せる。
　同様に、 $w_{dn}$ を除く単語数を $N_{dk \backslash dn}, N_{kv \backslash dn}, N_{k \backslash dn}$ 、 $x_{dm}$ を除く補助情報数を $M_{dk \backslash dm}, M_{ks \backslash dm}, M_{k \backslash dm}$ で表す。

単語トピックのサンプリング確率の設定

　全単語の文書集合 $\mathbf{W}$ と単語 $w_{dn}$ 以外のトピック集合 $\mathbf{Z}_{\backslash dn}$ 、補助情報集合 $\mathbf{X}$ と補助情報トピック集合 $\mathbf{Y}$ が与えられた(条件とする)ときの単語 $w_{dn}$ のトピック $z_{dn}$ の条件付き分布を求める。

$\displaystyle \begin{align} p(z_{dn} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha, \beta, \gamma) &= \frac{ p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha, \beta, \gamma ) }{ p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha, \beta, \gamma ) } \\ &\propto p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha, \beta, \gamma ) \\ &= p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha) p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \beta) \\ &\qquad * p(\mathbf{Z}_{\backslash dn} \mid \alpha) p(\mathbf{W}_{\backslash dn} \mid \mathbf{Z}_{\backslash dn}, \beta) p(\mathbf{Y} \mid \alpha) p(\mathbf{X} \mid \mathbf{Y}, \gamma) \\ &\propto p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha) p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \beta) \tag{4} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、 $z_{dn}$ 以外の観測・潜在変数 $w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}$ を条件に移した式を立てる。
2: $z_{dn}$ と無関係な項を省く。
3: 変数ごとの項に分割する。

　単語 $w_{dn}$ に関する変数 $w_{dn}, z_{dn}$ と単語 $w_{dn}$ 以外に関する変数 $\mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}$ 、補助情報に関する変数 $\mathbf{X}, \mathbf{Y}$ の項を分割する。

$\displaystyle \begin{aligned} & p( w_{dn}, \mathbf{W}_{\backslash dn}, \mathbf{X}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha, \beta, \gamma ) \\ &= p( w_{dn}, z_{dn} = k \mid \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha, \beta ) p( \mathbf{W}_{\backslash dn}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha, \beta, \gamma ) \\ &= p( w_{dn}, z_{dn} = k \mid \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha, \beta ) p( \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn} \mid \alpha, \beta ) p(\mathbf{X}, \mathbf{Y} \mid \alpha, \gamma) \end{aligned}$

　さらに1つ目の項の、観測変数 $w_{dn}$ と潜在変数 $z_{dn}$ の項を分割する。

$\displaystyle p( w_{dn}, z_{dn} = k \mid \mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha, \beta ) = p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \beta) p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha)$

　2つ目の項の、観測変数 $\mathbf{W}_{\backslash dn}$ と潜在変数 $\mathbf{Z}_{\backslash dn}$ の項を分割する。

$\displaystyle p(\mathbf{W}_{\backslash dn}, \mathbf{Z}_{\backslash dn} \mid \alpha, \beta) = p(\mathbf{W}_{\backslash dn} \mid \mathbf{Z}_{\backslash dn}, \beta) p(\mathbf{Z}_{\backslash dn} \mid \alpha)$

　3つ目の項の、観測変数 $\mathbf{X}$ と潜在変数 $\mathbf{Y}$ の項を分割する。

$\displaystyle p(\mathbf{X}, \mathbf{Y} \mid \alpha, \gamma) = p(\mathbf{X} \mid \mathbf{Y}, \gamma) p(\mathbf{Y} \mid \alpha)$

4: $z_{dn}$ と無関係な項を省く。

　 $z_{dn}$ に影響しない項を省いて比例関係のみに注目すると、 $w_{dn}, z_{dn}$ に関する事後周辺分布から得られることが分かった。

単語トピックの事後周辺分布

　 $z_{dn}$ の条件付き分布の式(4)の前の項は、単語 $w_{dn}$ 以外のトピック集合 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ が与えられた(条件とする)ときの単語 $w_{dn}$ のトピック $z_{dn}$ の事後分布である。
　この式は、 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式(2)を用いて求められる。

$\displaystyle \begin{align} p(z_{dn} = k \mid \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha) &= \frac{ p(z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha) }{ p(\mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha) } \\ &= \frac{\Gamma(K \alpha)^D}{\Gamma(\alpha)^{DK}} \frac{ \Gamma(N_{dk \backslash dn} + 1 + M_{dk} + \alpha) \prod_{k' \neq k} \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha) }{ \Gamma(N_d + M_d + K \alpha) } \prod_{d' \neq d} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k' \backslash dn} + M_{d'k'} + \alpha) }{ \Gamma(N_{d'} + M_{d'} + K \alpha) } \\ &\qquad * \frac{\Gamma(\alpha)^{DK}}{\Gamma(K \alpha)^D} \frac{ \Gamma(N_d-1 + M_d + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha) } \prod_{d' \neq d} \frac{ \Gamma(N_{d'} + M_{d'} + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{d'k' \backslash dn} + M_{d'k'} + \alpha) } \\ &= \frac{ (N_{dk \backslash dn} + M_{dk} + \alpha) \Gamma(N_{dk \backslash dn} + M_{dk} + \alpha) \prod_{k' \neq k} \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha) }{ (N_d-1 + M_d + K \alpha) \Gamma(N_d-1 + M_d + K \alpha) } \frac{ \Gamma(N_d-1 + M_d + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{dk' \backslash dn} + M_{dk'} + \alpha) } \\ &= \frac{ N_{dk \backslash dn} + M_{dk} + \alpha }{ N_d-1 + M_d + K \alpha } \tag{5} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、 $z_{dn}$ 以外の潜在変数 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ を条件に移した式を立てる。
2: 式(2)を用いて、分母分子を具体的な式に置き換える。

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布(分子)は式(2)であり、 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ の周辺分布(分母)は式(2)から単語 $w_{dn}$ に関して取り除いた式である。

$\displaystyle \begin{align} p(z_{dn} = k, \mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha) }{ \Gamma(N_{d'} + M_{d'} + K \alpha) } \right\} \tag{2}\\ p(\mathbf{Z}_{\backslash dn}, \mathbf{Y} \mid \alpha) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k' \backslash dn} + M_{d'k'} + \alpha) }{ \Gamma(N_{d' \backslash dn} + M_{d'} + K \alpha) } \right\} \end{align}$

　単語 $w_{dn}$ のトピック $z_{dn}$ が $k$ のとき、 $w_{dn}$ を含めない数 $N_{dk \backslash dn}$ は、 $w_{dn}$ を含めた数 $N_{dk}$ から $w_{dn}$ の数 $1$ を引いた単語数となる。 $k$ 以外のとき、 $w_{dn}$ の数が元々含まれていないので、 $N_{dk}$ である。また、文書 $d$ やトピック $k$ 以外の単語数も変わらない。 $N_{d \backslash dn}$ についても同様である。

$\displaystyle \begin{aligned} N_{dk \backslash dn} &= \begin{cases} N_{dk} - 1 &\quad (z_{dn} = k) \\ N_{dk} &\quad (z_{dn} \neq k) \end{cases} \\ N_{d' \backslash dn} &= \begin{cases} N_{d'} - 1 &\quad (d' = d) \\ N_{d'} &\quad (d' \neq d) \end{cases} \end{aligned}$

　これを $N_{dk}, N_{d'}$ について解くと、次の関係が分かる。

$\displaystyle \begin{aligned} N_{dk} &= \begin{cases} N_{dk \backslash dn} + 1 &\quad (z_{dn} = k) \\ N_{dk \backslash dn} &\quad (z_{dn} \neq k) \end{cases} \\ N_{d'} &= \begin{cases} N_{d' \backslash dn} + 1 &\quad (d' = d) \\ N_{d' \backslash dn} &\quad (d' \neq d) \end{cases} \end{aligned}$

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式について $N_{d'k'}$ を $N_{d'k' \backslash dn}$ 、 $\mathbf{Z}_{\backslash dn}, \mathbf{Y}$ の周辺分布の式について $N_{d' \backslash dn}$ を $N_{d'}$ に置き換える。
　文書 $d$ またはトピック $k$ の項のみ形が異なるので、 $\prod_{d'=1}^D$ や $\prod_{k'=1}^K$ から取り出し、 $d$ 以外の項の積を $\prod_{d' \neq d}$ 、 $k$ 以外の項の積を $\prod_{k' \neq k}$ で表す。

　正規化項は $\prod_{d'=1}^D \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} = \frac{\Gamma(K \alpha)^D}{\Gamma(\alpha)^{DK}}$ となる。

3: ガンマ関数の性質 $\Gamma(x + 1) = (x) \Gamma(x)$ より、項を変形する。
4: $\prod_{k'=1}^K \Gamma(x_{k'}) = \Gamma(x_k) \prod_{k' \neq k} \Gamma(x_{k'})$ なので、約分すると $d, k$ に関する項のみが残る。

　 $z_{dn}$ の事後分布の式が得られた。

単語の事後周辺分布

　 $z_{dn}$ の条件付き分布の式(4)の後の項は、単語 $w_{dn}$ 以外の文書集合 $\mathbf{W}_{\backslash dn}$ と全単語のトピック集合 $\mathbf{Z}$ が与えられた(条件とする)ときの単語 $w_{dn}$ の事後分布である。
　この式はトピックモデル(4.5節)と同じ式なので、 $\mathbf{W}$ の周辺分布の式(4.11)を用いて次の式になる。

$\displaystyle \begin{align} p(w_{dn} \mid \mathbf{W}_{\backslash dn}, z_{dn} = k, \mathbf{Z}_{\backslash dn}, \beta) &= \frac{ p(w_{dn}, \mathbf{W}_{\backslash dn} \mid z_{dn} = k, \mathbf{Z}_{\backslash dn}, \beta) }{ p(\mathbf{W}_{\backslash dn} \mid \mathbf{Z}_{\backslash dn}, \beta) } \\ &= \frac{ N_{kw_{dn} \backslash dn} + \beta }{ N_{k \backslash dn} + V \beta } \tag{4.14} \end{align}$

　詳しくは「トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合」を参照のこと。
　 $w_{dn}$ の事後分布の式が得られた。

単語トピックのサンプリング確率

　 $z_{dn}$ の条件付き分布の式(4)に、 $z_{dn}$ の事後分布の式(5)と $w_{dn}$ の事後分布の式(4.14)を代入する。

$\displaystyle \begin{aligned} p(z_{dn} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}_{\backslash dn}, \mathbf{Y}, \alpha, \beta, \gamma) &\propto \frac{ N_{dk \backslash dn} + M_{dk} + \alpha }{ N_d-1 + M_d + K \alpha } \frac{ N_{kw_{dn} \backslash dn} + \beta }{ N_{k \backslash dn} + V \beta } \\ &\propto (N_{dk \backslash dn} + M_{dk} + \alpha) \frac{ N_{kw_{dn} \backslash dn} + \beta }{ N_{k \backslash dn} + V \beta } \end{aligned}$

　 $z_{dn} = k$ に影響しない項を省いた。
　他のトピックについても同様に計算でき、全てのトピックに関する総和で割ることで正規化できる。

補助情報トピックのサンプリング確率の設定

　単語集合 $\mathbf{W}$ と単語トピック集合 $\mathbf{Z}$ 、全ての補助情報集合 $\mathbf{X}$ と補助情報 $x_{dm}$ 以外のトピック集合 $\mathbf{Y}_{\backslash dm}$ が与えられた(条件とする)ときの補助情報 $x_{dm}$ のトピック $y_{dm}$ の条件付き分布を求める。

$\displaystyle \begin{align} p(y_{dm} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha, \beta, \gamma) &= \frac{ p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \alpha, \beta, \gamma ) }{ p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \alpha, \beta, \gamma ) } \\ &\propto p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \alpha, \beta, \gamma ) \\ &= p(y_{dm} = k \mid \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha) p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \gamma) \\ &\qquad * p(\mathbf{Y}_{\backslash dm} \mid \alpha) p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \gamma) p(\mathbf{Z} \mid \alpha) p(\mathbf{W} \mid \mathbf{Z}, \beta) \\ &\propto p(y_{dm} = k \mid \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha) p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \gamma) \tag{6} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、 $y_{dm}$ 以外の観測・潜在変数 $\mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}$ を条件に移した式を立てる。
2: $y_{dm}$ と無関係な項を省く。
3: 変数ごとの項に分割する。

　単語に関する変数 $\mathbf{W}, \mathbf{Z}$ 、補助情報 $x_{dm}$ に関する変数 $x_{dm}, y_{dm}$ と補助情報 $x_{dm}$ 以外に関する変数 $\mathbf{X}_{\backslash dm}, \mathbf{Y}_{\backslash dm}$ の項を分割する。

$\displaystyle \begin{aligned} & p( \mathbf{W}, x_{dm}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \alpha, \beta, \gamma ) \\ &= p( x_{dm}, y_{dm} = k \mid \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha, \gamma ) p( \mathbf{W}, \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \alpha, \beta, \gamma ) \\ &= p( x_{dm}, y_{dm} = k \mid \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha, \gamma ) p( \mathbf{X}_{\backslash dm}, \mathbf{Y}_{\backslash dm} \mid \alpha, \gamma ) p(\mathbf{W}, \mathbf{Z} \mid \alpha, \beta) \end{aligned}$

　さらに1つ目の項の、観測変数 $x_{dm}$ と潜在変数 $y_{dm}$ の項を分割する。

$\displaystyle p( x_{dm}, y_{dm} = k \mid \mathbf{X}_{\backslash dm}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha, \gamma ) = p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \gamma) p(y_{dm} = k \mid \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha)$

　2つ目の項の、観測変数 $\mathbf{X}_{\backslash dm}$ と潜在変数 $\mathbf{Y}_{\backslash dm}$ の項を分割する。

$\displaystyle p(\mathbf{X}_{\backslash dm}, \mathbf{Y}_{\backslash dm} \mid \alpha, \gamma) = p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \gamma) p(\mathbf{Y}_{\backslash dm} \mid \alpha)$

　3つ目の項の、観測変数 $\mathbf{W}$ と潜在変数 $\mathbf{Z}$ の項を分割する。

$\displaystyle p(\mathbf{W}, \mathbf{Z} \mid \alpha, \beta) = p(\mathbf{W} \mid \mathbf{Z}, \beta) p(\mathbf{Z} \mid \alpha)$

4: $y_{dm}$ と無関係な項を省く。

　 $y_{dm}$ に影響しない項を省いて比例関係のみに注目すると、 $x_{dm}, y_{dm}$ に関する事後周辺分布から得られることが分かった。

補助情報トピックの事後周辺分布

　 $y_{dm}$ の条件付き分布の式(6)の前の項は、補助情報 $x_{dm}$ 以外のトピック集合 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ が与えられた(条件とする)ときの補助情報 $x_{dm}$ のトピック $y_{dm}$ の事後分布である。
　式(5)と同様に、 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式(2)を用いて求められる。

$\displaystyle \begin{align} p(y_{dm} = k \mid \mathbf{Y}_{\backslash dm}, \mathbf{Z}, \alpha) &= \frac{ p(\mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \alpha) }{ p(\mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \alpha) } \\ &= \frac{\Gamma(K \alpha)^D}{\Gamma(\alpha)^{DK}} \frac{ \Gamma(N_{dk} + M_{dk \backslash dm} + 1 + \alpha) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha) }{ \Gamma(N_d + M_d + K \alpha) } \prod_{d' \neq d} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k' \backslash dm} + \alpha) }{ \Gamma(N_{d'} + M_{d'} + K \alpha) } \\ &\qquad * \frac{\Gamma(\alpha)^{DK}}{\Gamma(K \alpha)^D} \frac{ \Gamma(N_d + M_d-1 + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha) } \prod_{d' \neq d} \frac{ \Gamma(N_{d'} + M_{d'} + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k' \backslash dm} + \alpha) } \\ &= \frac{ (N_{dk} + M_{dk \backslash dm} + \alpha) \Gamma(N_{dk} + M_{dk \backslash dm} + \alpha) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha) }{ (N_d + M_d-1 + K \alpha) \Gamma(N_d + M_d-1 + K \alpha) } \frac{ \Gamma(N_d + M_d-1 + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk' \backslash dm} + \alpha) } \\ &= \frac{ N_{dk} + M_{dk \backslash dm} + \alpha }{ N_d + M_d-1 + K \alpha } \tag{7} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、 $y_{dm}$ 以外の潜在変数 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ を条件に移した式を立てる。
2: 式(2)を用いて、分母分子を具体的な式に置き換える。

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布(分子)は式(2)であり、 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ の周辺分布(分母)は式(2)から補助情報 $x_{dm}$ に関して取り除いた式である。

$\displaystyle \begin{align} p(\mathbf{Z}, y_{dm} = k, \mathbf{Y}_{\backslash dm} \mid \alpha) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha) }{ \Gamma(N_{d'} + M_{d'} + K \alpha) } \right\} \tag{2}\\ p(\mathbf{Z}, \mathbf{Y}_{\backslash dm} \mid \alpha) &= \prod_{d'=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(\alpha)^K} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k' \backslash dm} + \alpha) }{ \Gamma(N_{d'} + M_{d' \backslash dm} + K \alpha) } \right\} \end{align}$

　補助情報 $x_{dm}$ のトピック $y_{dm}$ が $k$ のとき、 $x_{dm}$ を含めない数 $M_{dk \backslash dm}$ は、 $x_{dm}$ を含めた数 $M_{dk}$ から $x_{dm}$ の数 $1$ を引いた補助情報数となる。 $k$ 以外のとき、 $x_{dm}$ の数が元々含まれていないので、 $M_{dk}$ である。また、文書 $d$ やトピック $k$ 以外の補助情報数も変わらない。 $M_{d \backslash dm}$ についても同様である。

$\displaystyle \begin{aligned} M_{dk \backslash dm} &= \begin{cases} M_{dk} - 1 &\quad (y_{dm} = k) \\ M_{dk} &\quad (y_{dm} \neq k) \end{cases} \\ M_{d' \backslash dm} &= \begin{cases} M_{d'} - 1 &\quad (d' = d) \\ M_{d'} &\quad (d' \neq d) \end{cases} \end{aligned}$

　これを $M_{dk}, M_{d'}$ について解くと、次の関係が分かる。

$\displaystyle \begin{aligned} M_{dk} &= \begin{cases} M_{dk \backslash dm} + 1 &\quad (y_{dm} = k) \\ M_{dk \backslash dm} &\quad (y_{dm} \neq k) \end{cases} \\ M_{d'} &= \begin{cases} M_{d' \backslash dm} + 1 &\quad (d' = d) \\ M_{d \backslash dm} &\quad (d' \neq d) \end{cases} \end{aligned}$

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式について $M_{d'k'}$ を $M_{d'k' \backslash dm}$ 、 $\mathbf{Z}, \mathbf{Y}_{\backslash dm}$ の周辺分布の式について $M_{d' \backslash dm}$ を $M_{d'}$ に置き換える。
　文書 $d$ またはトピック $k$ の項のみ形が異なるので、 $\prod_{d'=1}^D$ や $\prod_{k'=1}^K$ から取り出し、 $d$ 以外の項の積を $\prod_{d' \neq d}$ 、 $k$ 以外の項の積を $\prod_{k' \neq k}$ で表す。

3: ガンマ関数の性質 $\Gamma(x + 1) = (x) \Gamma(x)$ より、項を変形する。
4: $\prod_{k'=1}^K \Gamma(x_{k'}) = \Gamma(x_k) \prod_{k' \neq k} \Gamma(x_{k'})$ なので、約分すると $d, k$ に関する項のみが残る。

　 $y_{dm}$ の事後分布の式が得られた。

補助情報の事後周辺分布

　 $y_{dm}$ の条件付き分布の式(6)の後の項は、補助情報 $x_{dm}$ 以外の補助情報集合 $\mathbf{X}_{\backslash dm}$ と全補助情報のトピック集合 $\mathbf{Y}$ が与えられた(条件とする)ときの補助情報 $x_{dm}$ の事後分布である。
　同様に、 $\mathbf{X}$ の周辺分布の式(3)を用いて求められる。

$\displaystyle \begin{align} p(x_{dm} \mid \mathbf{X}_{\backslash dm}, y_{dm} = k, \mathbf{Y}_{\backslash dm}, \gamma) &= \frac{ p(x_{dm}, \mathbf{X}_{\backslash dm} \mid y_{dm} = k, \mathbf{Y}_{\backslash dm}, \gamma) }{ p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \gamma) } \\ &= \frac{\Gamma(S \gamma)^K}{\Gamma(\gamma)^{KS}} \frac{ \Gamma(M_{kx_{dm} \backslash dm} + 1 + \gamma) \prod_{s \neq x_{dm}} \Gamma(M_{ks \backslash dm} + \gamma) }{ \Gamma(M_{k \backslash dm} + 1 + S \gamma) } \prod_{k' \neq k} \frac{ \prod_{s \neq x_{dm}} \Gamma(M_{k's \backslash dm} + \gamma) }{ \Gamma(M_{k' \backslash dm} + S \gamma) } \\ &\qquad * \frac{\Gamma(\gamma)^{KS}}{\Gamma(S \gamma)^K} \frac{ \Gamma(M_{k \backslash dm} + S \gamma) }{ \prod_{s=1}^S \Gamma(M_{ks \backslash dm} + \gamma) } \prod_{k' \neq k} \frac{ \Gamma(M_{k' \backslash dm} + S \gamma) }{ \prod_{s=1}^S \Gamma(M_{k's \backslash dm} + \gamma) } \\ &= \frac{ (M_{kx_{dm} \backslash dm} + \gamma) \Gamma(M_{kx_{dm} \backslash dm} + \gamma) \prod_{s' \neq x_{dm}} \Gamma(M_{ks' \backslash dm} + \gamma) }{ (M_{k \backslash dm} + S \gamma) \Gamma(M_{k \backslash dm} + S \gamma) } \frac{ \Gamma(M_{k \backslash dm} + S \gamma) }{ \prod_{s=1}^S \Gamma(M_{ks \backslash dm} + \gamma) } \\ &= \frac{ M_{kx_{dm} \backslash dm} + \gamma }{ M_{k \backslash dm} + S \gamma } \tag{8} \end{align}$

途中式の途中式(クリックで展開)

1: 条件付き確率より、 $x_{dm}$ 以外の潜在変数 $\mathbf{X}_{\backslash dm}$ を条件に移した式を立てる。
2: 式(3)を用いて、分母分子を具体的な式に置き換える。

　 $\mathbf{X}$ の周辺分布(分子)は式(3)であり、 $\mathbf{X}_{\backslash dm}$ の周辺分布(分母)は式(3)から補助情報 $x_{dm}$ に関して取り除いた式である。

$\displaystyle \begin{align} p(x_{dm}, \mathbf{X}_{\backslash dm} \mid y_{dm} = k, \mathbf{Y}_{\backslash dm}, \gamma) &= \prod_{k'=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} \frac{ \prod_{s=1}^S \Gamma(M_{k's} + \gamma) }{ \Gamma(M_{k'} + S \gamma) } \right\} \tag{3}\\ p(\mathbf{X}_{\backslash dm} \mid \mathbf{Y}_{\backslash dm}, \gamma) &= \prod_{k'=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} \frac{ \prod_{s=1}^S \Gamma(M_{k's \backslash dm} + \gamma) }{ \Gamma(M_{k' \backslash dm} + S \gamma) } \right\} \end{align}$

　補助情報 $x_{dm}$ のトピック $y_{dm}$ が $k$ のとき、 $x_{dm}$ を含めない(種類 $s = x_{dm}$ の)数 $M_{ks \backslash dm}, M_{k \backslash dm}$ は、 $x_{dm}$ を含めた数 $M_{ks}, M_k$ から $x_{dm}$ の数 $1$ を引いた補助情報数となる。 $k$ 以外のとき、 $x_{dm}$ の数が元々含まれていないので、 $M_{ks}, M_k$ である。また、トピック $k$ や種類 $x_{dm}$ 以外の補助情報数も変わらない。

$\displaystyle \begin{aligned} M_{kx_{dm} \backslash dm} &= \begin{cases} M_{kx_{dm}} - 1 &\quad (y_{dm} = k) \\ M_{kx_{dm}} &\quad (y_{dm} \neq k) \end{cases} \\ M_{k \backslash dm} &= \begin{cases} M_k - 1 &\quad (y_{dm} = k) \\ M_k &\quad (y_{dm} \neq k) \end{cases} \end{aligned}$

　これを $M_{kx_{dm}}, M_k$ について解くと、次の関係が分かる。

$\displaystyle \begin{aligned} M_{kx_{dm}} &= \begin{cases} M_{kx_{dm} \backslash dm} + 1 &\quad (y_{dm} = k) \\ M_{kx_{dm} \backslash dm} &\quad (y_{dm} \neq k) \end{cases} \\ M_k &= \begin{cases} M_{k \backslash dm} + 1 &\quad (y_{dm} = k) \\ M_{k \backslash dm} &\quad (y_{dm} \neq k) \end{cases} \end{aligned}$

　 $\mathbf{X}$ の周辺分布の式について $M_{k's}, M_{k'}$ を $M_{k's \backslash dm}, M_{k' \backslash dm}$ に置き換える。
　トピック $k$ または種類 $x_{dm}$ の項のみ形が異なるので、 $\prod_{k'=1}^K$ や $\prod_{s=1}^S$ から取り出し、 $k$ 以外の項の積を $\prod_{k' \neq k}$ 、 $x_{dm}$ 以外の項の積を $\prod_{s \neq x_{dm}}$ で表す。

　正規化項は $\prod_{k'=1}^K \frac{\Gamma(S \gamma)}{\Gamma(\gamma)^S} = \frac{\Gamma(S \gamma)^K}{\Gamma(\gamma)^{KS}}$ となる。

3: ガンマ関数の性質 $\Gamma(x + 1) = (x) \Gamma(x)$ より、項を変形する。
4: $\prod_{s'=1}^S \Gamma(x_{s'}) = \Gamma(x_s) \prod_{s' \neq s} \Gamma(x_{s'})$ なので、約分すると $d, s = x_{dm}$ に関する項のみが残る。

　 $x_{dm}$ の事後分布の式が得られた。

補助情報トピックのサンプリング確率

　 $y_{dm}$ の条件付き分布の式(6)に、 $y_{dm}$ の事後分布の式(7)と $x_{dm}$ の事後分布の式(8)を代入する。

$\displaystyle \begin{aligned} p(y_{dm} = k \mid \mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}_{\backslash dm}, \alpha, \beta, \gamma) &\propto \frac{ N_{dk} + M_{dk \backslash dm} + \alpha }{ N_d + M_d-1 + K \alpha } \frac{ M_{kx_{dm} \backslash dm} + \gamma }{ M_{k \backslash dm} + S \gamma } \\ &\propto (N_{dk} + M_{dk \backslash dm} + \alpha) \frac{ M_{kx_{dm} \backslash dm} + \gamma }{ M_{k \backslash dm} + S \gamma } \end{aligned}$

　 $y_{dm} = k$ に影響しない項を省いた。
　他のトピックについても同様に計算でき、全てのトピックに関する総和で割ることで正規化できる。

　以上で、各単語・補助情報のトピックのサンプリング式が得られた。

ハイパーパラメータの更新式の導出

　続いて、サンプリングしたトピック集合を用いて、文書集合・補助情報集合とトピック集合の周辺結合分布を最大化するハイパーパラメータを推定する。しかし、解析的に求められない。そこで、不動点反復法により周辺結合分布の下限を繰り返し更新することで最大化を行うためのハイパーパラメータの更新式を導出する。

周辺結合分布の下限の設定

　 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式(2')を

$\displaystyle \begin{align} p(\mathbf{Z}, \mathbf{Y} \mid \alpha) &= \prod_{d=1}^D \left\{ \frac{\Gamma(K \alpha)}{\Gamma(N_d + M_d + K \alpha)} \prod_{k=1}^K \frac{\Gamma(N_{dk} + M_{dk} + \alpha)}{\Gamma(\alpha)} \right\} \tag{2'}\\ &\geq \prod_{d=1}^D \left[ \frac{\Gamma(K \alpha)}{\Gamma(N_d + M_{dk} + K \alpha)} \exp \Bigl( (K \alpha - K \alpha^{\mathrm{new}}) b_{\alpha} \Bigr) \prod_{k=1}^K \left\{ \frac{\Gamma(N_{dk} + M_{dk} + \alpha)}{\Gamma(\alpha)} \alpha^{-a_{\alpha}} (\alpha^{\mathrm{new}})^{a_{\alpha}} \right\} \right] \end{align}$

と変形し、また $\mathbf{W}$ の周辺分布の式(4.11')を

$\displaystyle \begin{align} p(\mathbf{W} \mid \mathbf{Z}, \beta) &= \prod_{k=1}^K \left\{ \frac{\Gamma(V \beta)}{\Gamma(N_k + V \beta)} \prod_{v=1}^V \frac{\Gamma(N_{kv} + \beta)}{\Gamma(\beta)} \right\} \tag{4.11'}\\ &\geq \prod_{k=1}^K \left[ \frac{\Gamma(V \beta)}{\Gamma(N_k + V \beta)} \exp \Bigl( (V \beta - V \beta^{\mathrm{new}}) b_{\beta} \Bigr) \prod_{v=1}^V \left\{ \frac{\Gamma(N_{kv} + \beta)}{\Gamma(\beta)} \beta^{-a_{\beta}} (\beta^{\mathrm{new}})^{a_{\beta}} \right\} \right] \end{align}$

と変形し、 $\mathbf{X}$ の周辺分布の式(3')を

$\displaystyle \begin{align} p(\mathbf{X} \mid \mathbf{Y}, \gamma) &= \prod_{k=1}^K \left\{ \frac{\Gamma(S \gamma)}{\Gamma(M_k + S \gamma)} \prod_{s=1}^S \frac{\Gamma(M_{ks} + \gamma)}{\Gamma(\gamma)} \right\} \tag{3'}\\ &\geq \prod_{k=1}^K \left[ \frac{\Gamma(S \gamma)}{\Gamma(M_k + S \gamma)} \exp \Bigl( (S \gamma - S \gamma^{\mathrm{new}}) b_{\gamma} \Bigr) \prod_{s=1}^S \left\{ \frac{\Gamma(M_{ks} + \gamma)}{\Gamma(\gamma)} \gamma^{-a_{\gamma}} (\gamma^{\mathrm{new}})^{a_{\gamma}} \right\} \right] \end{align}$

と変形して、 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の式(1)を置き換え下限 $G$ とおく。

$\displaystyle \begin{aligned} p(\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y} \mid \alpha, \beta) &\geq \prod_{d=1}^D \Biggl[ \frac{\Gamma(K \alpha)}{\Gamma(N_d + M_{dk} + K \alpha)} \exp \Bigl( (K \alpha - K \alpha^{\mathrm{new}}) b_{\alpha} \Bigr) \Biggr. \\ &\qquad \qquad * \Biggl. \prod_{k=1}^K \left\{ \frac{\Gamma(N_{dk} + M_{dk} + \alpha)}{\Gamma(\alpha)} \alpha^{-a_{\alpha}} (\alpha^{\mathrm{new}})^{a_{\alpha}} \right\} \Biggr] \\ &\quad * \prod_{k=1}^K \Biggl[ \frac{\Gamma(V \beta)}{\Gamma(N_k + V \beta)} \exp \Bigl( (V \beta - V \beta^{\mathrm{new}}) b_{\beta} \Bigr) \Biggr. \\ &\qquad \qquad * \Biggl. \prod_{v=1}^V \left\{ \frac{\Gamma(N_{kv} + \beta)}{\Gamma(\beta)} \beta^{-a_{\beta}} (\beta^{\mathrm{new}})^{a_{\beta}} \right\} \Biggr] \\ &\quad * \prod_{k=1}^K \Biggl[ \frac{\Gamma(S \gamma)}{\Gamma(M_k + S \gamma)} \exp \Bigl( (S \gamma - S \gamma^{\mathrm{new}}) b_{\gamma} \Bigr) \Biggr. \\ &\qquad \qquad * \Biggl. \prod_{s=1}^S \left\{ \frac{\Gamma(M_{ks} + \gamma)}{\Gamma(\gamma)} \gamma^{-a_{\gamma}} (\gamma^{\mathrm{new}})^{a_{\gamma}} \right\} \Biggr] \equiv G \end{aligned}$

　また、次のようにおいた。

$\displaystyle \begin{aligned} a_{\alpha} &= \Bigl( \Psi(N_{dk} + M_{dk} + \alpha) - \Psi(\alpha) \Bigr) \alpha \\ b_{\alpha} &= \Psi(N_d + M_d + K \alpha) - \Psi(K \alpha) \\ a_{\beta} &= \Bigl( \Psi(N_{kv} + \beta) - \Psi(\beta) \Bigr) \beta \\ b_{\beta} &= \Psi(N_k + V \beta) - \Psi(V \beta) \\ a_{\gamma} &= \Bigl( \Psi(M_{ks} + \gamma) - \Psi(\gamma) \Bigr) \gamma \\ b_{\gamma} &= \Psi(M_k + S \gamma) - \Psi(S \gamma) \end{aligned} \tag{9}$

途中式の途中式(クリックで展開)

1: 対数ガンマとディガンマ関数の不等式を用いて、項を置き換える。

　 $\hat{x} \geq 0$ に対して、 $x \gt 0$ 、 $n \geq 0$ のとき、次の関係が成り立つ。

$\displaystyle \begin{aligned} \frac{\Gamma(x)}{\Gamma(n + x)} &\geq \frac{\Gamma(\hat{x})}{\Gamma(n + \hat{x})} \exp \Bigl( (\hat{x} - x) b \Bigr) \\ b &= \Psi(n + \hat{x}) - \Psi(\hat{x}) \end{aligned}$

　また、 $\hat{x} \geq 0$ に対して、 $n \geq 1$ のとき、次の関係が成り立つ。

$\displaystyle \begin{aligned} \frac{\Gamma(n + x)}{\Gamma(x)} &\geq \frac{\Gamma(n + \hat{x})}{\Gamma(\hat{x})} \hat{x}^{-a} x^a \\ a &= \Bigl( \Psi(n + \hat{x}) - \Psi(\hat{x}) \Bigr) \hat{x} \end{aligned}$

　現在の値(中心) $\hat{x}$ を $\alpha, \beta, \gamma$ 、更新後の値(変数) $x$ を $\alpha^{\mathrm{new}}, \beta^{\mathrm{new}}, \gamma^{\mathrm{new}}$ と対応させて下限の式に変形する。

　現在の値を $\alpha, \beta, \gamma$ 、更新後の値を $\alpha^{\mathrm{new}}, \beta^{\mathrm{new}}, \gamma^{\mathrm{new}}$ とする( $a, b$ の添字の $\alpha, \beta, \gamma$ は識別用で計算上の意味はない)。周辺尤度に関して $\alpha, \beta, \gamma$ の周りでテイラー展開(近似)して下限として用いる。
　下限への変形については「対数ガンマ関数とディガンマ関数の不等式の導出【青トピックモデルのノート】 - からっぽのしょこ」を参照のこと。

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の下限 $G$ の対数をとり対数下限 $F$ とおく。

$\displaystyle \begin{aligned} F &= \log G \\ &= \sum_{d=1}^D \Biggl[ \log \frac{\Gamma(K \alpha)}{\Gamma(N_d + M_{dk} + K \alpha)} + (K \alpha - K \alpha^{\mathrm{new}}) b_{\alpha} \Biggr. \\ &\qquad \qquad \Biggl. + \sum_{k=1}^K \left\{ \log \frac{\Gamma(N_{dk} + M_{dk} + \alpha)}{\Gamma(\alpha)} - a_{\alpha} \log \alpha + a_{\alpha} \log \alpha^{\mathrm{new}} \right\} \Biggr] \\ &\quad + \sum_{k=1}^K \Biggl[ \log \frac{\Gamma(V \beta)}{\Gamma(N_k + V \beta)} + (V \beta - V \beta^{\mathrm{new}}) b_{\beta} \Biggr. \\ &\qquad \qquad \Biggl. + \sum_{v=1}^V \left\{ \log \frac{\Gamma(N_{kv} + \beta)}{\Gamma(\beta)} - a_{\beta} \log \beta + a_{\beta} \log \beta^{\mathrm{new}} \right\} \Biggr] \\ &\quad + \sum_{k=1}^K \Biggl[ \log \frac{\Gamma(S \gamma)}{\Gamma(M_k + S \gamma)} + (S \gamma - S \gamma^{\mathrm{new}}) b_{\gamma} \Biggr. \\ &\qquad \qquad \Biggl. + \sum_{s=1}^S \left\{ \log \frac{\Gamma(M_{ks} + \gamma)}{\Gamma(\gamma)} - a_{\gamma} \log \gamma + a_{\gamma} \log \gamma^{\mathrm{new}} \right\} \Biggr] \end{aligned}$

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の対数下限の式が得られた。

トピック分布のハイパーパラメータ

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の対数下限 $F$ から $\alpha^{\mathrm{new}}$ に関する項を取り出し(無関係な項を定数 $\mathrm{const.}$ にまとめ)関数 $F(\alpha^{\mathrm{new}})$ とおく。

$\displaystyle F(\alpha^{\mathrm{new}}) = \sum_{d=1}^D \left\{ - K b_{\alpha} \alpha^{\mathrm{new}} + \sum_{k=1}^K a_{\alpha} \log \alpha^{\mathrm{new}} \right\} + \mathrm{const.}$

　関数 $F(\alpha^{\mathrm{new}})$ を $\alpha^{\mathrm{new}}$ に関して微分する。

$\displaystyle \begin{aligned} \frac{\partial F(\alpha^{\mathrm{new}})}{\partial \alpha^{\mathrm{new}}} &= \frac{\partial}{\partial \alpha^{\mathrm{new}}} \left\{ \sum_{d=1}^D \left\{ - K b_{\alpha} \alpha^{\mathrm{new}} + \sum_{k=1}^K a_{\alpha} \log \alpha^{\mathrm{new}} \right\} + \mathrm{const.} \right\} \\ &= \sum_{d=1}^D \frac{\partial}{\partial \alpha^{\mathrm{new}}} \Bigl\{ - K b_{\alpha} \alpha^{\mathrm{new}} \Bigr\} + \sum_{d=1}^D \sum_{k=1}^K \frac{\partial}{\partial \alpha^{\mathrm{new}}} \Bigl\{ a_{\alpha} \log \alpha^{\mathrm{new}} \Bigr\} + \frac{\partial \mathrm{const.}}{\partial \alpha^{\mathrm{new}}} \\ &= - \sum_{d=1}^D K b_{\alpha} \frac{\partial \alpha^{\mathrm{new}}}{\partial \alpha^{\mathrm{new}}} + \sum_{d=1}^D \sum_{k=1}^K a_{\alpha} \frac{\partial \log \alpha^{\mathrm{new}}}{\partial \alpha^{\mathrm{new}}} + 0 \\ &= - \sum_{d=1}^D K b_{\alpha} + \sum_{d=1}^D \sum_{k=1}^K a_{\alpha} \frac{1}{\alpha^{\mathrm{new}}} \end{aligned}$

途中式の途中式(クリックで展開)

1: $F$ の式全体の偏微分を考える。ただし、 $\alpha^{\mathrm{new}}$ に関する微分なので、 $\alpha$ は定数として扱う。
2: 和の微分 $\{f(x) + g(x)\}' = f'(x) + g'(x)$ より、項ごとの微分の和に分割する。
3: $\alpha^{\mathrm{new}}$ の係数は $\frac{\partial}{\partial \alpha^{\mathrm{new}}}$ の外に出せる。
4: 自然対数の微分は $\{\log x\}' = \frac{1}{x}$ である。

　 $\frac{\partial F(\alpha^{\mathrm{new}})}{\partial \alpha^{\mathrm{new}}} = 0$ となる $\alpha^{\mathrm{new}}$ を求める。

$\displaystyle \begin{aligned} && - \sum_{d=1}^D K b_{\alpha} + \frac{ \sum_{d=1}^D \sum_{k=1}^K a_{\alpha} }{ \alpha^{\mathrm{new}} } &= 0 \\ \Rightarrow && \alpha^{\mathrm{new}} &= \frac{ \sum_{d=1}^D \sum_{k=1}^K a_{\alpha} }{ \sum_{d=1}^D K b_{\alpha} } \\ && &= \frac{ \sum_{d=1}^D \sum_{k=1}^K \Bigl( \Psi(N_{dk} + M_{dk} + \alpha) - \Psi(\alpha) \Bigr) \alpha }{ \sum_{d=1}^D K \Bigl( \Psi(N_d + M_d + K \alpha) - \Psi(K \alpha) \Bigr) } \\ && &= \alpha \frac{ \sum_{d=1}^D \sum_{k=1}^K \Psi(N_{dk} + M_{dk} + \alpha) - D K \Psi(\alpha) }{ \sum_{d=1}^D K \Psi(N_d + M_d + K \alpha) - D K \Psi(K \alpha) } \end{aligned}$

途中式の途中式(クリックで展開)

1: $\frac{\partial F(\alpha^{\mathrm{new}})}{\partial \alpha^{\mathrm{new}}}$ を $0$ とおく。
2: $\alpha^{\mathrm{new}}$ について式を整理する。
3: $a_{\alpha}, b_{\alpha}$ に式(9)を代入する。
4: 括弧を展開する。

　不動点反復法によるハイパーパラメータの更新式が得られた。

　 $i$ 回目の更新において、 $\alpha$ を更新前の値( $i-1$ 回目の更新値) $\alpha^{(i-1)}$ 、 $\alpha^{\mathrm{new}}$ を更新後の値( $i$ 回目の更新値) $\alpha^{(i)}$ とする。また、初期値は $\alpha^{(0)}$ とする。

$\displaystyle \alpha^{(i)} = \alpha^{(i-1)} \frac{ \sum_{d=1}^D \sum_{k=1}^K \Psi \Bigl( N_{dk}^{(i-1)} + M_{dk}^{(i-1)} + \alpha^{(i-1)} \Bigr) - D K \Psi \Bigl( \alpha^{(i-1)} \Bigr) }{ \sum_{d=1}^D K \Psi \Bigl( N_d^{(i-1)} + M_d^{(i-1)} + K \alpha^{(i-1)} \Bigr) - D K \Psi \Bigl( K \alpha^{(i-1)} \Bigr) }$

　 $\alpha$ の更新式が得られた。

単語分布のハイパーパラメータ

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の対数下限 $F$ から $\beta^{\mathrm{new}}$ に関する項を取り出し関数 $F(\beta^{\mathrm{new}})$ とおく。

$\displaystyle F(\beta^{\mathrm{new}}) = \sum_{k=1}^K \left\{ - V b_{\beta} \beta^{\mathrm{new}} + \sum_{v=1}^V a_{\beta} \log \beta^{\mathrm{new}} \right\} + \mathrm{const.}$

　この式はトピックモデル(4.5節)と同じ式なので、関数 $F(\beta^{\mathrm{new}})$ を $\beta^{\mathrm{new}}$ に関して微分して解くと、次の式になる。

$\displaystyle \beta^{\mathrm{new}} = \beta \frac{ \sum_{k=1}^K \sum_{v=1}^V \Psi(N_{kv} + \beta) - K V \Psi(\beta) }{ \sum_{k=1}^K V \Psi(N_k + V \beta) - K V \Psi(V \beta) } \tag{4.17}$

　 $i$ 回目の更新において、 $\beta$ を更新前の値( $i-1$ 回目の更新値) $\beta^{(i-1)}$ 、 $\beta^{\mathrm{new}}$ を更新後の値( $i$ 回目の更新値) $\beta^{(i)}$ とする。また、初期値は $\beta^{(0)}$ とする。

$\displaystyle \beta^{(i)} = \beta^{(i-1)} \frac{ \sum_{k=1}^K \sum_{v=1}^V \Psi \Bigl( N_{kv}^{(i-1)} + \beta^{(i-1)} \Bigr) - K V \Psi \Bigl( \beta^{(i-1)} \Bigr) }{ \sum_{k=1}^K V \Psi \Bigl( N_k^{(i-1)} + V \beta^{(i-1)} \Bigr) - K V \Psi \Bigl( V \beta^{(i-1)} \Bigr) }$

　詳しくは「トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合」を参照のこと。
　 $\beta$ の更新式が得られた。

補助情報分布のハイパーパラメータ

　 $\mathbf{W}, \mathbf{X}, \mathbf{Z}, \mathbf{Y}$ の結合分布の対数下限 $F$ から $\gamma^{\mathrm{new}}$ に関する項を取り出し関数 $F(\gamma^{\mathrm{new}})$ とおく。

$\displaystyle F(\gamma^{\mathrm{new}}) = \sum_{k=1}^K \left\{ - S b_{\gamma} \gamma^{\mathrm{new}} + \sum_{s=1}^S a_{\gamma} \log \gamma^{\mathrm{new}} \right\} \mathrm{const.}$

　関数 $F(\gamma^{\mathrm{new}})$ を $\gamma^{\mathrm{new}}$ に関して微分する。

$\displaystyle \begin{aligned} \frac{\partial F(\gamma^{\mathrm{new}})}{\partial \gamma^{\mathrm{new}}} &= \frac{\partial}{\partial \gamma^{\mathrm{new}}} \left\{ \sum_{k=1}^K \left\{ - S b_{\gamma} \gamma^{\mathrm{new}} + \sum_{s=1}^S a_{\gamma} \log \gamma^{\mathrm{new}} \right\} + \mathrm{const.} \right\} \\ &= \sum_{k=1}^K \frac{\partial}{\partial \gamma^{\mathrm{new}}} \Bigl\{ - S b_{\gamma} \gamma^{\mathrm{new}} \Bigr\} + \sum_{k=1}^K \sum_{s=1}^S \frac{\partial}{\partial \gamma^{\mathrm{new}}} \Bigl\{ a_{\gamma} \log \gamma^{\mathrm{new}} \Bigr\} + \frac{\partial \mathrm{const.}}{\partial \gamma^{\mathrm{new}}} \\ &= - \sum_{k=1}^K S b_{\gamma} \frac{\partial \gamma^{\mathrm{new}}}{\partial \gamma^{\mathrm{new}}} + \sum_{k=1}^K \sum_{s=1}^S a_{\gamma} \frac{\partial \log \gamma^{\mathrm{new}}}{\partial \gamma^{\mathrm{new}}} + 0 \\ &= - \sum_{k=1}^K S b_{\gamma} + \sum_{k=1}^K \sum_{s=1}^S a_{\gamma} \frac{1}{\gamma^{\mathrm{new}}} \end{aligned}$

途中式の途中式(クリックで展開)

1: $F$ の式全体の偏微分を考える。ただし、 $\gamma^{\mathrm{new}}$ に関する微分なので、 $\gamma$ は定数として扱う。
2-4: 和の微分より、項ごとの微分の和に分割して、それぞれ係数を $\frac{\partial}{\partial \gamma^{\mathrm{new}}}$ の外に出して、微分する。

　 $\frac{\partial F(\gamma^{\mathrm{new}})}{\partial \gamma^{\mathrm{new}}} = 0$ となる $\gamma^{\mathrm{new}}$ を求める。

$\displaystyle \begin{aligned} && - \sum_{k=1}^K S b_{\gamma} + \frac{ \sum_{k=1}^K \sum_{s=1}^S a_{\gamma} }{ \gamma^{\mathrm{new}} } &= 0 \\ \Rightarrow && \gamma^{\mathrm{new}} &= \frac{ \sum_{k=1}^K \sum_{s=1}^S a_{\gamma} }{ \sum_{k=1}^K S b_{\gamma} } \\ && &= \frac{ \sum_{k=1}^K \sum_{s=1}^S \Bigl( \Psi(M_{ks} + \gamma) - \Psi(\gamma) \Bigr) \gamma }{ \sum_{k=1}^K S \Bigl( \Psi(M_k + S \gamma) - \Psi(S \gamma) \Bigr) } \\ && &= \gamma \frac{ \sum_{k=1}^K \sum_{s=1}^S \Psi(M_{ks} + \gamma) - K S \Psi(\gamma) }{ \sum_{k=1}^K S \Psi(M_k + S \gamma) - K S \Psi(S \gamma) } \end{aligned}$

途中式の途中式(クリックで展開)

1: $\frac{\partial F(\gamma^{\mathrm{new}})}{\partial \gamma^{\mathrm{new}}}$ を $0$ とおく。
2: $\gamma^{\mathrm{new}}$ について式を整理する。
3: $a_{\gamma}, b_{\gamma}$ に式(9)を代入する。
4: 括弧を展開する。

　不動点反復法によるハイパーパラメータの更新式が得られた。

　 $i$ 回目の更新において、 $\gamma$ を更新前の値( $i-1$ 回目の更新値) $\gamma^{(i-1)}$ 、 $\gamma^{\mathrm{new}}$ を更新後の値( $i$ 回目の更新値) $\gamma^{(i)}$ とする。また、初期値は $\gamma^{(0)}$ とする。

$\displaystyle \gamma^{(i)} = \gamma^{(i-1)} \frac{ \sum_{k=1}^K \sum_{s=1}^S \Psi \Bigl( M_{ks}^{(i-1)} + \gamma^{(i-1)} \Bigr) - K S \Psi \Bigl( \gamma^{(i-1)} \Bigr) }{ \sum_{k=1}^K S \Psi \Bigl( M_k^{(i-1)} + S \gamma^{(i-1)} \Bigr) - K S \Psi \Bigl( S \gamma^{(i-1)} \Bigr) }$

　 $\gamma$ の更新式が得られた。

　以上で、トピック分布・単語分布・補助情報分布のハイパーパラメータの更新式が得られた。

事後予測分布の導出

　最後は、文書集合・補助情報集合とトピック集合の事後周辺分布を用いて、未知(新規)の単語・補助情報とトピックの事後予測分布を導出する。

　既存の文書 $d$ において新たに生成される( $N_d+1$ 番目の)単語(の語彙)を $w_d^{*}$ 、トピックを $z_d^{*}$ 、また新たに生成される( $M_d+1$ 番目の)補助情報(の種類) $x_d^{*}$ 、トピックを $y_d^{*}$ で表す。

トピックの事後予測分布の設定

　トピック集合 $\mathbf{Z}, \mathbf{Y}$ が与えられたときの文書 $d$ の未知の単語 $w_d^{*}$ のトピック $z_d^{*}$ (または補助情報 $x_d^{*}$ のトピック $y_d^{*}$ )の予測分布を求める。

$\displaystyle \begin{aligned} p(z_d^{*} = k \mid \mathbf{Z}, \mathbf{Y}, \alpha) &= \int p(z_d^{*} = k, \boldsymbol{\theta}_d \mid \mathbf{Z}, \mathbf{Y}, \alpha) \mathrm{d} \boldsymbol{\theta}_d \\ &= \int p(z_d^{*} = k \mid \boldsymbol{\theta}_d) p(\boldsymbol{\theta}_d \mid \mathbf{Z}, \mathbf{Y}, \alpha) \mathrm{d} \boldsymbol{\theta}_d \end{aligned}$

途中式の途中式(クリックで展開)

1: 観測(サンプリング)した潜在変数 $\mathbf{Z}, \mathbf{Y}$ と事前分布のパラメータ $\alpha$ を条件とする未観測の潜在変数 $z_d^{*}$ (または $y_d^{*}$ )とパラメータ $\boldsymbol{\theta}_d$ の結合分布を $\boldsymbol{\theta}_d$ に関して周辺化した式を立てる。
2: 変数 $z_d^{*}$ とパラメータ $\boldsymbol{\theta}_d$ の項を分割する。

　 $p(\boldsymbol{\theta}_d \mid \mathbf{Z}, \mathbf{Y}, \alpha)$ は、 $\mathbf{Z}, \mathbf{Y}$ が与えられたときの文書 $d$ のトピック分布のパラメータ $\boldsymbol{\theta}_d$ の事後分布である。つまり、 $p(z_d^{*} = k \mid \mathbf{Z}, \mathbf{Y}, \alpha)$ は、 $\boldsymbol{\theta}_d$ の事後分布を用いたトピック $z_d^{*}$ の周辺分布である。

トピック分布のパラメータ

　 $z_d^{*}$ の予測分布の式は、 $\mathbf{Z}, \mathbf{Y}$ の周辺分布の式(2)を用いて求められる。

$\displaystyle \begin{aligned} p(z_d^{*} = k \mid \mathbf{Z}, \mathbf{Y}, \alpha) &= \frac{ p(z_d^{*} = k, \mathbf{Z}, \mathbf{Y} \mid \alpha) }{ p(\mathbf{Z}, \mathbf{Y} \mid \alpha) } \\ &= \frac{\Gamma(K \alpha)^D}{\Gamma(\alpha)^{DK}} \frac{ \Gamma(N_{dk}+1 + M_{dk} + \alpha) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk'} + \alpha) }{ \Gamma(N_d+1 + M_d + K \alpha) } \prod_{d' \neq d} \frac{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha) }{ \Gamma(N_{d'} + M_{d'} + K \alpha) } \\ &\qquad * \frac{\Gamma(\alpha)^{DK}}{\Gamma(K \alpha)^D} \frac{ \Gamma(N_d + M_d + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk'} + \alpha) } \prod_{d' \neq d} \frac{ \Gamma(N_{d'} + M_{d'} + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{d'k'} + M_{d'k'} + \alpha) } \\ &= \frac{ (N_{dk} + M_{dk} + \alpha) \Gamma(N_{dk} + M_{dk} + \alpha) \prod_{k' \neq k} \Gamma(N_{dk'} + M_{dk'} + \alpha) }{ (N_d + M_d + K \alpha) \Gamma(N_d + M_d + K \alpha) } \frac{ \Gamma(N_d + M_d + K \alpha) }{ \prod_{k'=1}^K \Gamma(N_{dk'} + M_{dk'} + \alpha) } \\ &= \frac{ N_{dk} + M_{dk} + \alpha }{ N_d + M_d + K \alpha } \equiv \hat{\theta}_{dk} \end{aligned}$

　1つの単語 $w_{dn}$ を除いた「単語トピックの事後周辺分布」のときと同様に、1つの単語 $w_d^{*}$ を追加した場合を考えて、 $\hat{\theta}_{dk}$ とおく。または、1つの補助情報 $x_{dm}$ を除いた「補助情報トピックの事後周辺分布」のときと同様に、1つの補助情報 $x_d^{*}$ を追加した場合を考えても同じ式になる。

　他のトピックについても同様に求められるので、 $z_d^{*}$ の予測分布のパラメータは、次の $K$ 次元ベクトルになる。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\theta}}_d &= (\hat{\theta}_{d1}, \hat{\theta}_{d2}, \cdots, \hat{\theta}_{dK}) \\ &= \left( \frac{N_{d1} + M_{d1} + \alpha}{N_d + M_d + K \alpha}, \frac{N_{d2} + M_{d2} + \alpha}{N_d + M_d + K \alpha}, \cdots, \frac{N_{dK} + M_{dK} + \alpha}{N_d + M_d + K \alpha} \right) \end{aligned}$

　非負の分子の総和が分母に一致するので、カテゴリ分布のパラメータの条件を満たす。
　観測データ $\mathbf{Z}, \mathbf{Y}$ から推定したトピック分布のパラメータ $\mathbf{\theta}_d$ の推定値と言える。

単語分布のパラメータ

　文書集合 $\mathbf{W}$ と単語トピック集合 $\mathbf{Z}$ 、未知の単語のトピック $z_d^{*}$ が与えられたときの未知の単語(の語彙) $w_d^{*}$ の予測分布を求める。

$\displaystyle p(w_d^{*} = v \mid z_d^{*} = k, \mathbf{W}, \mathbf{Z}, \beta) = \int p(w_d^{*} = v \mid z_d^{*} = k, \boldsymbol{\phi}_k) p(\boldsymbol{\phi}_k \mid \mathbf{W}, \mathbf{Z}, \beta) \mathrm{d} \boldsymbol{\phi}_k$

　この式はトピックモデル(4.5節)と同じ式なので、 $\mathbf{W}$ の周辺分布の式(4.11)を用いて次の式になる。

$\displaystyle \begin{aligned} p(w_d^{*} = v \mid z_d^{*} = k, \mathbf{W}, \mathbf{Z}, \beta) &= \frac{ p(w_d^{*} = v, \mathbf{W} \mid z_d^{*} = k, \mathbf{Z}, \beta) }{ p(\mathbf{W} \mid \mathbf{Z}, \beta) } \\ &= \frac{ N_{kv} + \beta }{ N_k + V \beta } \equiv \hat{\phi}_{kv} \end{aligned}$

　1つの単語 $w_{dn}$ を除いた「単語の事後周辺分布」のときと同様に、1つの単語 $w_d^{*}$ を追加した場合を考えて、 $\hat{\phi}_{kv}$ とおく。

　他の語彙についても同様に求められるので、 $w_d^{*}$ の予測分布のパラメータは、次の $V$ 次元ベクトルになる。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\phi}}_k &= (\hat{\phi}_{k1}, \hat{\phi}_{k2}, \cdots, \hat{\phi}_{kV}) \\ &= \left( \frac{N_{k1} + \beta}{N_k + V \beta}, \frac{N_{k2} + \beta}{N_k + V \beta}, \cdots, \frac{N_{kV} + \beta}{N_k + V \beta} \right) \end{aligned}$

　詳しくは「トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合」を参照のこと。
　観測データ $\mathbf{W}, \mathbf{Z}$ から推定した単語分布のパラメータ $\mathbf{\phi}_k$ の推定値と言える。

補助情報の事後予測分布の設定

　補助情報集合 $\mathbf{X}$ と補助情報トピック集合 $\mathbf{Y}$ 、未知の補助情報のトピック $y_d^{*}$ が与えられたときの未知の補助情報(の種類) $x_d^{*}$ の予測分布を求める。

$\displaystyle \begin{aligned} p(x_d^{*} = s \mid y_d^{*} = k, \mathbf{X}, \mathbf{Y}, \gamma) &= \int p(x_d^{*} = s, \boldsymbol{\psi}_k \mid y_d^{*} = k, \mathbf{X}, \mathbf{Y}, \gamma) \mathrm{d} \boldsymbol{\psi}_k \\ &= \int p(x_d^{*} = s \mid y_d^{*} = k, \boldsymbol{\psi}_k) p(\boldsymbol{\psi}_k \mid \mathbf{X}, \mathbf{Y}, \gamma) \mathrm{d} \boldsymbol{\psi}_k \end{aligned}$

途中式の途中式(クリックで展開)

1: 観測(またはサンプリング)した変数 $y_d^{*}, \mathbf{X}, \mathbf{Y}$ と事前分布のパラメータ $\gamma$ を条件とする未観測の観測変数 $x_d^{*}$ とパラメータ $\boldsymbol{\psi}_k$ の結合分布を $\boldsymbol{\psi}_k$ に関して周辺化した式を立てる。
2: 変数 $x_d^{*}$ とパラメータ $\boldsymbol{\psi}_k$ の項を分割する。

　 $p(\boldsymbol{\psi}_k \mid \mathbf{X}, \mathbf{Y}, \gamma)$ は、 $\mathbf{X}, \mathbf{Y}$ が与えられたときの補助情報分布のパラメータ $\boldsymbol{\psi}_k$ の事後分布である。つまり、 $p(x_d^{*} = s \mid y_d^{*} = k, \mathbf{X}, \mathbf{Y}, \gamma)$ は、 $\boldsymbol{\psi}_k$ の事後分布を用いた補助情報 $x_d^{*}$ の周辺分布である。

補助情報分布のパラメータ

　 $x_d^{*}$ の予測分布の式は、 $\mathbf{X}$ の周辺分布の式(3)を用いて求められる。

$\displaystyle \begin{aligned} p(x_d^{*} = s \mid y_d^{*} = k, \mathbf{X}, \mathbf{Y}, \gamma) &= \frac{ p(x_d^{*} = s, \mathbf{X} \mid y_d^{*} = k, \mathbf{Y}, \gamma) }{ p(\mathbf{X} \mid \mathbf{Y}, \gamma) } \\ &= \frac{\Gamma(S \gamma)^K}{\Gamma(\gamma)^{KS}} \frac{ \Gamma(M_{ks}+1 + \gamma) \prod_{s' \neq s} \Gamma(M_{ks'} + \gamma) }{ \Gamma(M_k+1 + S \gamma) } \prod_{k' \neq k} \frac{ \prod_{s'=1}^S \Gamma(M_{k's'} + \gamma) }{ \Gamma(M_{k'} + S \gamma) } \\ &\qquad * \frac{\Gamma(\gamma)^{KS}}{\Gamma(S \gamma)^K} \frac{ \Gamma(M_k + S \gamma) }{ \prod_{s'=1}^S \Gamma(M_{ks'} + \gamma) } \prod_{k' \neq k} \frac{ \Gamma(M_{k'} + S \gamma) }{ \prod_{s'=1}^S \Gamma(M_{k's'} + \gamma) }\ \\ &= \frac{ (M_{ks} + \gamma) \Gamma(M_{ks} + \gamma) \prod_{s' \neq v} \Gamma(M_{ks'} + \gamma) }{ (M_k + S \gamma) \Gamma(M_k + S \gamma) } \frac{ \Gamma(M_k + S \gamma) }{ \prod_{s'=1}^S \gamma(M_{ks'} + \gamma) } \\ &= \frac{ M_{kv} + \gamma }{ M_k + S \gamma } \equiv \hat{\psi}_{ks} \end{aligned}$

　1つの補助情報 $x_{dm}$ を除いた「補助情報の事後周辺分布」のときと同様に、1つの補助情報 $x_d^{*}$ を追加した場合を考えて、 $\hat{\psi}_{ks}$ とおく。

　他の種類についても同様に求められるので、 $x_d^{*}$ の事後予測分布のパラメータは、次の $S$ 次元ベクトルになる。

$\displaystyle \begin{aligned} \hat{\boldsymbol{\psi}}_k &= (\hat{\psi}_{k1}, \hat{\psi}_{k2}, \cdots, \hat{\psi}_{kS}) \\ &= \left( \frac{M_{k1} + \gamma}{M_k + S \gamma}, \frac{M_{k2} + \gamma}{M_k + S \gamma}, \cdots, \frac{M_{kS} + \gamma}{M_k + S \gamma} \right) \end{aligned}$

　非負の分子の総和が分母に一致するので、カテゴリ分布のパラメータの条件を満たす。
　観測データ $\mathbf{X}, \mathbf{Y}$ から推定した補助情報分布のパラメータ $\mathbf{\psi}_k$ の推定値と言える。

　以上で、各単語・補助情報とトピックの事後予測分布の式が得られた。

　この記事では、一様なハイパーパラメータの場合の結合トピックモデルに対する崩壊型ギブスサンプリングによるパラメータの計算式を導出した。次の記事では、多様なハイパーパラメータの場合を導出する。

参考書籍

トピックモデル (機械学習プロフェッショナルシリーズ)

作者:岩田具治
講談社

Amazon

おわりに

2024.09.20：加筆修正の際に「結合トピックモデルの生成モデルの導出」から記事を独立しました。

　補助情報分布に関する式自体やその変形は、単語分布に関する式と記号が違うだけで同じなので、初稿では省略していたのですが一応書き下しました。その他の途中式も少なめだったので書き足しました。ただし、基本形のトピックモデルの解説を読んでいる想定の構成にしています。事後予測分布については全て書き足しました。
　そんなこんなでこの記事だけで、独立前の元の記事の全ての内容の文字数(表示上ではなくLaTeXコマンドでのカウントでインテンドのスペースも含まれる)の3倍になりました。頑張って読んでください。
　さらに、多様なハイパラ版も新規で書いて次の記事になりました。ちなみに、ハイパラを多様にした方が文字数が少なくなります。

　先ほど公開されたAMEFURASSHIのMVをどうぞ。

　私が追っかけ始めてからは初めてのアルバムがリリースされたり関西でのイベントが発表されたりと楽しい日々を過ごさせてもらってます♪

【次節の内容】

数式読解編

　ハイパーパラメータが多様な場合の結合トピックモデルに対する周辺化ギブズサンプリングを数式で確認します。

からっぽのしょこ

読んだら書く！書いたら読む！同じ事は二度調べ(たく)ない

5.1：結合トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合【青トピックモデルのノート】

はじめに

5.1 結合トピックモデルの崩壊型ギブズサンプリングの導出：一様なハイパーパラメータの場合

パラメータの周辺化の導出

結合周辺分布の設定

トピック集合の周辺分布

文書集合の周辺分布

補助情報集合の周辺分布

結合周辺分布

サンプリング式の導出

単語トピックのサンプリング確率の設定

単語トピックの事後周辺分布

単語の事後周辺分布

単語トピックのサンプリング確率

補助情報トピックのサンプリング確率の設定

補助情報トピックの事後周辺分布

補助情報の事後周辺分布

補助情報トピックのサンプリング確率

ハイパーパラメータの更新式の導出

周辺結合分布の下限の設定

トピック分布のハイパーパラメータ

単語分布のハイパーパラメータ

補助情報分布のハイパーパラメータ

事後予測分布の導出

トピックの事後予測分布の設定

トピック分布のパラメータ

単語分布のパラメータ

補助情報の事後予測分布の設定

補助情報分布のパラメータ

参考書籍

おわりに