からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

ベルヌーイ分布の定義式

はじめに

 機械学習で登場する確率分布について色々な角度から理解したいシリーズです。

 ベルヌーイ分布の定義を確認します。

【他の記事一覧】

www.anarchive-beta.com

【この記事の内容】

ベルヌーイ分布の定義式

 ベルヌーイ分布(Bernoulli Distribution)の定義を確認します。

定義式

 コインの裏表やくじの当たり外れのように、2値をとる変数の確率分布をベルヌーイ分布と言います。

 コインを投げて表なら$x = 1$、裏なら$x = 0$で表します(裏に注目する場合は裏を$x = 1$とします)。$x$が0か1の値をとることを

$$ x \in \{0,1\} $$

で表します。ちなみに、コインを1回投げて表が1回出ることを$x = 1$、表が1回も出ない(裏が出る)ことを$x = 0$で表していると考えると、二項分布との関係が分かりやすくなります。

 $x = 1$となる(表が出る)確率を$\phi$で表すことにします。$\phi$は、0から1の値

$$ 0 < \phi < 1 $$

を満たす必要があります。$\phi$が0より大きく1より小さい値をとることを$\phi \in (0, 1)$とも表記します。
 また、$x = 0$となる(裏が出る)確率は$1 - \phi$になります。

 ベルヌーイ分布は、パラメータ$\phi$を用いて次の式で定義されます。

$$ \mathrm{Bern}(x | \phi) = \phi^x (1 - \phi)^{1 - x} $$

 この式は、コインが表つまり$x = 1$のとき

$$ \begin{aligned} \mathrm{Bern}(x = 1 | \phi) &= \phi^1 (1 - \phi)^{1-1} \\ &= \phi * 1 \\ &= \phi \end{aligned} $$

となります。また、コインが裏つまり$x = 0$のとき

$$ \begin{aligned} \mathrm{Bern}(x = 0 | \phi) &= \phi^0 (1 - \phi)^{1-0} \\ &= 1 * (1 - \phi) \\ &= 1 - \phi \end{aligned} $$

となります。指数の定義より$x^0 = 1$です。
 このように、$x$の値に対応した確率となるように式が定義されています。

 ベルヌーイ分布の対数をとると

$$ \log \mathrm{Bern}(x | \phi) = x \log \phi + (1 - x) \log (1 - \phi) $$

となります。対数の性質より$\log x^a = a \log x$、$\log (x y) = \log x + \log y$です。

統計量の計算式

 ベルヌーイ分布の平均と分散は、次の式で計算できます。詳しくは「1.2.1:ベルヌーイ分布【『トピックモデル』の勉強ノート】 - からっぽのしょこ」を参照してください。

$$ \begin{aligned} \mathbb{E}[x] &= \phi \\ \mathbb{V}[x] &= \phi (1 - \phi) \end{aligned} $$


関連する記事

 ベルヌーイ分布を扱う記事を貼っておきます。

 グラフを描きます。

www.anarchive-beta.com

www.anarchive-beta.com

 統計量を導出します。

www.anarchive-beta.com

 ベイズ推論を導出します。

www.anarchive-beta.com

 ベイズ推論を実装します。

www.anarchive-beta.com

www.anarchive-beta.com

 その他、混合ベルヌーイ分布やロジスティック回帰も一応ベルヌーイ分布ネタかな?がこちらにあります。

www.anarchive-beta.com


参考文献

  • 岩田具治『トピックモデル』(機械学習プロフェッショナルシリーズ)講談社,2015年.

おわりに

 加筆修正の際に青トピシリーズから独立させました。

 基礎的な内容ほどごまかしがきかず書くのが難しいです。加えて良質な記事がたくさん見付かるので書く必要性も感じないです。でも私の頭の中にもこのブログの記事にもないので書いておかねば。何か間違いがあればご指摘ください。

【次の内容】

www.anarchive-beta.com