はじめに

　機械学習で登場する確率分布について色々な角度から理解したいシリーズです。

　この記事では、ベータ分布の定義式を確認します。

【他の記事一覧】

www.anarchive-beta.com

【この記事の内容】

はじめに
ベータ分布の定義式
関連する記事
参考文献
おわりに

ベータ分布の定義式

　ベータ分布(Beta Distribution)の定義式を確認します。

定義式

　ベータ分布は、パラメータ$\alpha, \beta$を用いて、次の式で定義されます。

$$ \mathrm{Beta}(\phi | \alpha, \beta) = \frac{ \Gamma(\alpha + \beta) }{ \Gamma(\alpha) \Gamma(\beta) } \phi^{\alpha-1} (1 - \phi)^{\beta-1} $$

　ここで、$\Gamma(x)$はガンマ関数です。正規化項とベータ関数については「ベータ分布の正規化項の導出 - からっぽのしょこ」、ガンマ関数については「ガンマ関数の性質の導出 - からっぽのしょこ」を参照してください。
　確率変数は$0 < \phi < 1$の値をとり、2つのパラメータはそれぞれ非負の実数$\alpha > 0, \beta > 0$を満たす必要があります。

　ベータ分布は、ベルヌーイ分布と二項分布の共役事前分布であり、$\phi$はベルヌーイ分布と二項分布のパラメータ$\phi$の条件を満たします。

　ベータ分布の対数をとると、次の式になります。

$$ \begin{aligned} \log \mathrm{Beta}(\phi | \alpha, \beta) &= \log \Gamma(\alpha + \beta) - \log \Gamma(\alpha) - \log \Gamma(\beta) \\ &\quad + (\alpha - 1) \phi + (\beta - 1) \log (1 - \phi) \end{aligned} $$

　対数の性質より$\log x^a = a \log x$、$\log (x y) = \log x + \log y$、$\log (x y) = \log x + \log y$です。

一様分布との関係

　2つパラメータがそれぞれ1のとき、ベータ分布は連続型の一様分布(Continuous Uniform Distribution)になります。

　$\alpha = 1, \beta = 1$のときのベータ分布を考えます。ガンマ関数の性質$\Gamma(x) = (x - 1) \Gamma(x - 1)$、$\Gamma(1) = 1$、べき乗の性質$x^0 = 1$より、$\phi$の値に関わらず確率密度が1になります。

$$ \begin{aligned} \mathrm{Beta}(\phi | \alpha = 1, \beta = 1) &= \frac{ \Gamma(1 + 1) }{ \Gamma(1) \Gamma(1) } \phi^{1-1} (1 - \phi)^{1-1} \\ &= 1 \\ &= \frac{1}{b - a} = \mathrm{U}(\phi | a = 0, b = 1) \end{aligned} $$

　確率変数が$0 < \phi < 1$の値をとる(パラメータが$a = 0, b = 1$の)連続一様分布と一致しました。

統計量の計算式

　ベータ分布の期待値・分散・最頻値は、それぞれ次の式で計算できます。詳しくは「ベータ分布の統計量の導出 - からっぽのしょこ」を参照してください。

$$ \begin{aligned} \mathbb{E}[\phi] &= \frac{\alpha}{\alpha + \beta} \\ \mathbb{V}[\phi] &= \frac{ \alpha \beta }{ (\alpha + \beta)^2 (\alpha + \beta + 1) } \\ \mathrm{mode}[\phi] &= \frac{\alpha - 1}{\alpha + \beta - 2} \qquad (\alpha > 1, \beta > 1) \end{aligned} $$

　この記事では、ベータ分布の定義式を確認しました。次は、正規化項を導出します。

参考文献

岩田具治『トピックモデル』(機械学習プロフェッショナルシリーズ)講談社,2015年.

おわりに

　加筆修正の際に「統計量の導出」から記事を分割して青トピシリーズから独立させました。

　無情報事前分布としてパラメータを1にして使っていましたが、あれを一様分布と呼んで良かったんですね。

【次の内容】