はじめに

　機械学習で登場する確率分布について色々な角度から理解したいシリーズです。

　二項分布の定義を確認します。

【前の内容】

www.anarchive-beta.com

【他の記事一覧】

www.anarchive-beta.com

【この記事の内容】

はじめに
二項分布の定義式
関連する記事
参考文献
おわりに

二項分布の定義式

　二項分布(Binomial Distribution)の定義を確認します。

定義式

　コインの裏表やくじの当たりはずれのように、2値をとる試行を複数回行ったときの「一方の結果となる回数」の確率分布を二項分布と言います。

　試行回数を$M$、注目する方(ここでは表とします)の回数を$x$で表します。$x$は、全て裏のときの0から全て表のときの$M$までの整数になります。$x$が0から$M$の整数をとることを

$$ x \in \{0, 1, \cdots, M\} $$

で表します。
　裏の回数は$M - x$になります。

　成功確率(表・当たりとなる確率)を$\phi$で表すことにします。$\phi$は、0から1の値

$$ 0 < \phi < 1 $$

を満たす必要があります。$\phi$が0より大きく1より小さい値をとることを$\phi \in (0, 1)$とも表記します。
　また、失敗確率(裏・外れとなる確率)は$1 - \phi$になります。

　二項分布は、パラメータ$\phi$を用いて次の式で定義されます。

$$ \mathrm{Bin}(x | M, \phi) = \frac{M!}{(M - x)! x!} \phi^x (1 - \phi)^{M-x} $$

　ここで

$$ \binom{M}{x} = {}_M\mathrm{C}_x = \frac{M!}{(M - x)! x!} $$

は、試行回数$M$のとき表の数が$x$となる組合せの数を表します。

　例えば、コインを3回投げて($M = 3$で)表が2回出る($x = 2$となる)とき

$$ {}_3\mathrm{C}_2 = \frac{3!}{(3 - 2)! 2!} = 3 $$

となります。これは、3回中2回表となる組み合わせが「表・表・裏」「表・裏・表」「裏・表・表」の3通りであることを求めています。

　また、$M = 3, x = 2$のとき、二項分布の式は

$$ \begin{aligned} \mathrm{Bin}(x = 2 | M = 3, \phi) &= \frac{3!}{(3 - 2)! 2!} \phi^2 (1 - \phi)^{3-2} \\ &= 3 \phi^2 (1 - \phi) \end{aligned} $$

「3通りの組み合わせ」と「表が2回出る確率$\phi^2$」と「裏が1回出る確率$1 - \phi$」の積となります。
　このように、$x$の値に対応した確率となるように式が定義されています。

　二項分布の対数をとると

$$ \begin{aligned} \log \mathrm{Bin}(x | N, \phi) &= \log N! - \log (N - x)! - \log x! \\ &\quad + x \log \phi + (N - x) \log (1 - \phi) \end{aligned} $$

となります。対数の性質より$\log x^a = a \log x$、$\log (x y) = \log x + \log y$です。

他の分布との関係

　試行回数が1回($M = 1$)のとき、二項分布は

$$ \begin{aligned} \mathrm{Bin}(x | 1, \phi) &= \frac{1!}{(1 - x)! x!} \phi^x (1 - \phi)^{1-x} \\ &= \frac{1!}{1! 0!} \phi^x (1 - \phi)^{1-x} \\ &= \phi^x (1 - \phi)^{1-x} = \mathrm{Bern}(x | \phi) \end{aligned} $$

ベルヌーイ分布と等しくなります。階乗の定義より$0! = 1$なので、$x$が0か1のどちらであっても組み合わせの項は1になります。
　ベルヌーイ分布は、コインを1回投げて表が1回出ることを$x = 1$、表が1回も出ない(裏が出る)ことを$x = 0$で表していると言えます。

　つまり、ベルヌーイ分布は二項分布の特殊な形であると言えます。逆に、二項分布はベルヌーイ分布を拡張(多試行化)した形と言えます。

統計量の計算式

　二項分布の平均と分散は、次の式で計算できます。詳しくは「二項分布の平均と分散の導出：定義式を利用 - からっぽのしょこ」を参照してください。

$$ \begin{aligned} \mathbb{E}[x] &= M \phi \\ \mathbb{V}[x] &= M \phi (1 - \phi) \end{aligned} $$

　$M, \phi$が大きいほど平均が大きくなります。
　$M$が大きいまたは$\phi$が0.5に近いほど分散が大きくなります。

　試行回数が$M = 1$のとき、ベルヌーイ分布の平均・分散と一致します。

参考文献

岩田具治『トピックモデル』(機械学習プロフェッショナルシリーズ)講談社,2015年.

おわりに

　加筆修正の際に青トピシリーズから独立させました。

【次の内容】