はじめに
機械学習で登場する確率分布について色々な角度から理解したいシリーズです。
二項分布の統計量をモーメント母関数から導出します。
【前の内容】
www.anarchive-beta.com
【他の記事一覧】
www.anarchive-beta.com
【この記事の内容】
二項分布の統計量の導出
モーメント母関数(積率母関数)を利用して、二項分布(Binomial Distribution)の平均(期待値)と分散を導出します。モーメン母関数については「モーメント母関数 - からっぽのしょこ」、二項分布については「二項分布の定義式の確認 - からっぽのしょこ」を参照してください。
モーメント母関数の確認
二項分布のモーメント母関数は、次の式になります。詳しくは「二項分布のモーメント母関数の導出 - からっぽのしょこ」を参照してください。
$$
M(t)
= (\phi e^t + 1 - \phi)^M
$$
ここで、$\phi, M$は二項分布のパラメータで成功確率と試行回数、$e$はネイピア数です。
二項分布の平均と分散は、次の式で計算できます。
$$
\begin{aligned}
\mathbb{E}[x]
&= M \phi
\\
\mathbb{V}[x]
&= M \phi (1 - \phi)
\end{aligned}
$$
試行回数が$M = 1$のとき、ベルヌーイ分布の平均・分散と一致します。
モーメント母関数の微分を用いて、平均と分散の計算式を導出します。
モーメント母関数の1階微分の計算
モーメント母関数を$t$に関して微分します。
$$
\frac{d M(t)}{d t}
= \frac{d}{d t} \Bigl\{
(\phi e^t + 1 - \phi)^M
\Bigr\}
$$
式全体を$g(f(x))$、丸括弧を$f(x)$として、合成関数の微分$\frac{d g(f(x))}{d x} = \frac{d g(x)}{d f(x)} \frac{d f(x)}{d x}$を行います。
$$
\begin{aligned}
\frac{d M(t)}{d t}
&= M (\phi e^t + 1 - \phi)^{M-1}
\frac{d}{d t} \Bigl\{
\phi e^t + 1 - \phi
\Bigr\}
\\
&= M (\phi e^t + 1 - \phi)^{M-1}
\phi e^t
\end{aligned}
$$
指数関数の微分は$\frac{d e^x}{d x} = e^x$です。
式を整理します。
$$
\frac{d M(t)}{d t}
= M \phi e^t
(\phi e^t + 1 - \phi)^{M-1}
$$
1階微分が求まりました。
モーメント母関数の2階微分の計算
続いて、モーメント母関数を$t$に関して2階微分します。1階微分$\frac{d M(t)}{d t}$を更に微分します。
$$
\begin{aligned}
\frac{d^2 M(t)}{d t^2}
&= \frac{d}{d t} \frac{d M(t)}{d t}
\\
&= \frac{d}{d t} \Bigl\{
M \phi e^t
(\phi e^t + 1 - \phi)^{M-1}
\Bigr\}
\end{aligned}
$$
$t$に関する項を2つ含むので、積の微分$\frac{d f(x) g(x)}{d x} = \frac{d f(x)}{d x} g(x) + f(x) \frac{d g(x)}{d x}$を行います。
$$
\frac{d^2 M(t)}{d t^2}
= \frac{d}{d t} \Bigl\{
M \phi e^t
\Bigr\}
(\phi e^t + 1 - \phi)^{M-1}
+ M \phi e^t
\frac{d}{d t} \Bigl\{
(\phi e^t + 1 - \phi)^{M-1}
\Bigr\}
$$
前の項は指数関数の微分、後の項は合成関数の微分になります。
$$
\begin{aligned}
\frac{d^2 M(t)}{d t^2}
&= M \phi e^t
(\phi e^t + 1 - \phi)^{M-1}
+ M \phi e^t
(M - 1)
(\phi e^t + 1 - \phi)^{M-2}
\frac{d}{d t} \Bigl\{
\phi e^t + 1 - \phi
\Bigr\}
\\
&= M \phi e^t
(\phi e^t + 1 - \phi)^{M-1}
+ M \phi e^t
(M - 1)
(\phi e^t + 1 - \phi)^{M-2}
\phi e^t
\end{aligned}
$$
式を整理します。
$$
\frac{d^2 M(t)}{d t^2}
= M \phi e^t
(\phi e^t + 1 - \phi)^{M-1}
+ M (M - 1) \phi^2 e^{2t}
(\phi e^t + 1 - \phi)^{M-2}
$$
2階微分が求まりました。
平均の計算
モーメント母関数の微分に$t = 0$を代入すると、平均が得られます。
$$
\begin{aligned}
\mathbb{E}[x]
&= \frac{d M(0)}{d t}
\\
&= M \phi e^0
(\phi e^0 + 1 - \phi)^{M-1}
\\
&= M \phi
\end{aligned}
$$
0乗は$x^0 = 1$です。
二乗の平均の計算
同様に、モーメント母関数の2階微分に$t = 0$を代入すると、二乗の平均が得られます。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= \frac{d^2 M(0)}{d t^2}
\\
&= M \phi e^0
(\phi e^0 + 1 - \phi)^{M-1}
+ M \phi e^0
(M - 1)
(\phi e^0 + 1 - \phi)^{M-2}
\phi e^0
\\
&= M \phi
+ M (M - 1)
\phi^2
\end{aligned}
$$
分散の計算
分散は「$x$の2乗の平均」と「$x$の平均の2乗」の差で求められます。詳しくは「1.1.1-7：確率の基礎【『トピックモデル』の勉強ノート】 - からっぽのしょこ」を参照してください。
$$
\begin{aligned}
\mathbb{V}[x]
&= \mathbb{E}[x^2]
- (\mathbb{E}[x])^2
\\
&= M (M - 1) \phi^2
+ M \phi
- (M \phi)^2
\end{aligned}
$$
括弧を展開して、式を整理します。
$$
\begin{aligned}
\mathbb{V}[x]
&= M^2 \phi^2 - M \phi^2
+ M \phi
- M^2 \phi^2
\\
&= M \phi (1 - \phi)
\end{aligned}
$$
二項分布の分散の計算式が得られました。
参考書籍
- 星野満博・西崎雅仁『数理統計の探求』晃洋書房,2012年.
おわりに
定義式から以外に導出する必要があるのかは知りませんが、こういうやり方もあると知ったので一応やっておきます。
【次の内容】
www.anarchive-beta.com
