はじめに

　機械学習で登場する確率分布について色々な角度から理解したいシリーズです。

　ベルヌーイ分布の定義を確認します。

【他の記事一覧】

【この記事の内容】

ベルヌーイ分布の定義式

　ベルヌーイ分布(Bernoulli Distribution)の定義を確認します。

　コインの裏表やくじの当たり外れのように、2値をとる変数の確率分布をベルヌーイ分布と言います。

　コインを投げて表なら$x = 1$、裏なら$x = 0$で表します(裏に注目する場合は裏を$x = 1$とします)。$x$が0か1の値をとることを

$$ x \in \{0,1\} $$

で表します。ちなみに、コインを1回投げて表が1回出ることを$x = 1$、表が1回も出ない(裏が出る)ことを$x = 0$で表していると考えると、二項分布との関係が分かりやすくなります。

　$x = 1$となる(表が出る)確率を$\phi$で表すことにします。$\phi$は、0から1の値

$$ 0 < \phi < 1 $$

を満たす必要があります。$\phi$が0より大きく1より小さい値をとることを$\phi \in (0, 1)$とも表記します。
　また、$x = 0$となる(裏が出る)確率は$1 - \phi$になります。

　ベルヌーイ分布は、パラメータ$\phi$を用いて次の式で定義されます。

$$ \mathrm{Bern}(x | \phi) = \phi^x (1 - \phi)^{1 - x} $$

　この式は、コインが表つまり$x = 1$のとき

$$ \begin{aligned} \mathrm{Bern}(x = 1 | \phi) &= \phi^1 (1 - \phi)^{1-1} \\ &= \phi * 1 \\ &= \phi \end{aligned} $$

となります。また、コインが裏つまり$x = 0$のとき

$$ \begin{aligned} \mathrm{Bern}(x = 0 | \phi) &= \phi^0 (1 - \phi)^{1-0} \\ &= 1 * (1 - \phi) \\ &= 1 - \phi \end{aligned} $$

となります。指数の定義より$x^0 = 1$です。
　このように、$x$の値に対応した確率となるように式が定義されています。

　ベルヌーイ分布の対数をとると

$$ \log \mathrm{Bern}(x | \phi) = x \log \phi + (1 - x) \log (1 - \phi) $$

となります。対数の性質より$\log x^a = a \log x$、$\log (x y) = \log x + \log y$です。

　ベルヌーイ分布の平均と分散は、次の式で計算できます。詳しくは「ベルヌーイ分布の平均と分散の導出 - からっぽのしょこ」を参照してください。

$$ \begin{aligned} \mathbb{E}[x] &= \phi \\ \mathbb{V}[x] &= \phi (1 - \phi) \end{aligned} $$

　加筆修正の際に青トピシリーズから独立させました。

　基礎的な内容ほどごまかしがきかず書くのが難しいです。加えて良質な記事がたくさん見付かるので書く必要性も感じないです。でも私の頭の中にもこのブログの記事にもないので書いておかねば。何か間違いがあればご指摘ください。

【次の内容】