はじめに
機械学習で登場する確率分布について色々な角度から理解したいシリーズです。
ポアソン分布の統計量を定義式から導出します。
【前の内容】
今書いてる
【他の記事一覧】
www.anarchive-beta.com
【この記事の内容】
ポアソン分布の統計量の導出
定義式を利用して、ポアソン分布(Poisson Distribution)の平均(期待値)と分散を導出します。ポアソン分布については「ポアソン分布の定義式 - からっぽのしょこ」を参照してください。
ポアソン分布は、次の式で定義されます。
$$
\mathrm{Poi}(x | \lambda)
= \frac{\lambda^x}{x!}
e^{-\lambda}
$$
ここで、$x$は単位時間における事象の発生回数、$\lambda$は発生回数の期待値です。
確率変数の値$x$は0以上の整数となります。パラメータ$\lambda$は、$\lambda > 0$を満たす必要があります。
ポアソン分布の平均と分散は、どちらもパラメータ$\lambda$になります。
$$
\begin{aligned}
\mathbb{E}[x]
&= \lambda
\\
\mathbb{V}[x]
&= \lambda
\end{aligned}
$$
定義式を用いて、平均と分散の計算式を導出します。
平均の計算
ポアソン分布の平均を導出します。
$$
\begin{aligned}
\mathbb{E}[x]
&= \sum_{x=0}^{\infty}
x
\mathrm{Poi}(x | \lambda)
\\
&= \sum_{x=0}^{\infty}
x
\frac{\lambda^x}{x!}
e^{-\lambda}
\end{aligned}
$$
$x = 0$について、0になり計算結果に影響しないので、$\sum_{x=0}^{\infty}$から取り出します。
$$
\begin{aligned}
\mathbb{E}[x]
&= 0
\frac{\lambda^0}{0!}
e^{-\lambda}
+ \sum_{x=1}^{\infty}
x
\frac{\lambda^x}{x!}
e^{-\lambda}
\\
&= e^{-\lambda}
\sum_{x=1}^{\infty}
x
\frac{\lambda^x}{x!}
\end{aligned}
$$
階乗の項について
$$
\frac{1}{x!}
= \frac{1}{x}
\frac{1}{(x - 1)!}
$$
と分割します。
$$
\begin{aligned}
\mathbb{E}[x]
&= e^{-\lambda}
\sum_{x=1}^{\infty}
x
\frac{1}{x}
\frac{\lambda^x}{(x - 1)!}
\\
&= e^{-\lambda}
\sum_{x=1}^{\infty}
\frac{\lambda^x}{(x - 1)!}
\end{aligned}
$$
総和について$\sum_{x=1}^{\infty} = \sum_{x-1=0}^{\infty}$と変形して、さらに$x' = x - 1$に置き換えます。
$$
\begin{aligned}
\mathbb{E}[x]
&= e^{-\lambda}
\sum_{x-1=0}^{\infty}
\frac{\lambda^x}{(x - 1)!}
\\
&= e^{-\lambda}
\sum_{x'=0}^{\infty}
\frac{\lambda^{x'+1}}{x'!}
\end{aligned}
$$
$\lambda^{x'+1} = \lambda \lambda^{x'}$に分割します。
$$
\mathbb{E}[x]
= \lambda
e^{-\lambda}
\sum_{x'=0}^{\infty}
\frac{\lambda^{x'}}{x'!}
\tag{1}
$$
式(1)は指数関数のマクローリン展開$e^x = \sum_{x=0}^{\infty} \frac{x^n}{x!}$の形をしているので、右辺から左辺の式に変形します。
$$
\begin{aligned}
\mathbb{E}[x]
&= \lambda
e^{-\lambda}
e^{\lambda}
\\
&= \lambda
e^{\lambda-\lambda}
\\
&= \lambda
\end{aligned}
$$
平均の計算式が得られました。
次のようにも解釈できます。式(1)はパラメータ$\lambda$のポアソン分布になっています。
$$
\mathbb{E}[x]
= \lambda
\sum_{x'=0}^{\infty}
\mathrm{Poi}(x' | \lambda)
$$
全事象$x' = 0, 1, \ldots, \infty$の和なので1になります。
$$
\mathbb{E}[x]
= \lambda
$$
先ほどの結果と一致しました。
二乗の平均の計算
続いて、$x^2$の平均を求めます。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= \sum_{x=0}^{\infty}
x^2
\mathrm{Poi}(x | \lambda)
\\
&= \sum_{x=0}^{\infty}
x^2
\frac{\lambda^x}{x!}
e^{-\lambda}
\end{aligned}
$$
$x^2 = x (x - 1) + x$に分割します。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= \sum_{x=0}^{\infty}
\{x (x - 1) + x\}
\frac{\lambda^x}{x!}
e^{-\lambda}
\\
&= \sum_{x=0}^{\infty}
x (x - 1)
\frac{\lambda^x}{x!}
e^{-\lambda}
+ \sum_{x=0}^{\infty}
x
\frac{\lambda^x}{x!}
e^{-\lambda}
\end{aligned}
$$
前の項に関して、$x = 0, 1$は0になるので取り出します。後の項は、$x$の平均なので置き換えます。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= 0 (0 - 1)
\frac{\lambda^0}{0!}
e^{-\lambda} \\
&\quad
+ 1 (1 - 1)
\frac{\lambda^1}{1!}
e^{-\lambda} \\
&\quad
+ \sum_{x=2}^{\infty}
x (x - 1)
\frac{\lambda^x}{x!}
e^{-\lambda} \\
&\quad
+ \mathbb{E}[x]
\\
&= e^{-\lambda}
\sum_{x=2}^{\infty}
x (x - 1)
\frac{\lambda^x}{x!}
+ \lambda
\end{aligned}
$$
階乗の項について
$$
\frac{1}{x!}
= \frac{1}{x (x - 1)}
\frac{1}{(x - 2)!}
$$
と分割します。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= e^{-\lambda}
\sum_{x=2}^{\infty}
x (x - 1)
\frac{1}{x (x - 1)}
\frac{\lambda^x}{(x - 2)!}
+ \lambda
\\
&= e^{-\lambda}
\sum_{x=2}^{\infty}
\frac{\lambda^x}{(x - 2)!}
+ \lambda
\end{aligned}
$$
総和について$\sum_{x=2}^{\infty} = \sum_{x-2=0}^{\infty}$と変形して、さらに$x' = x - 2$に置き換えます。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= e^{-\lambda}
\sum_{x-2=0}^{\infty}
\frac{\lambda^x}{(x - 2)!}
+ \lambda
\\
&= e^{-\lambda}
\sum_{x'=0}^{\infty}
\frac{\lambda^{x'+2}}{x'!}
+ \lambda
\end{aligned}
$$
$\lambda^{x'+2} = \lambda^2 \lambda^{x'}$に分割します。
$$
\mathbb{E}[x^2]
= \lambda^2 e^{-\lambda}
\sum_{x'=0}^{\infty}
\frac{\lambda^{x'}}{x'!}
+ \lambda
\tag{2}
$$
指数関数のマクローリン展開$e^x = \sum_{x=0}^{\infty} \frac{x^n}{x!}$の変形を行います。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= \lambda^2 e^{-\lambda}
e^{\lambda}
+ \lambda
\\
&= \lambda^2 e^{\lambda-\lambda}
+ \lambda
\\
&= \lambda^2 + \lambda
\end{aligned}
$$
二乗の平均が求まりました。
あるいは、式(2)をパラメータ$\lambda$のポアソン分布の全事象の和と考えても同じ結果が得られます。
$$
\begin{aligned}
\mathbb{E}[x^2]
&= \lambda^2
\sum_{x'=0}^{\infty}
\mathrm{Poi}(x' | \lambda)
+ \lambda
\\
&= \lambda^2 + \lambda
\end{aligned}
$$
分散の計算
分散は「$x$の2乗の平均」と「$x$の平均の2乗」の差で求められます。
$$
\begin{aligned}
\mathbb{V}[x]
&= \mathbb{E}[x^2]
- (\mathbb{E}[x])^2
\\
&= \lambda^2 + \lambda
- \lambda^2
\\
&= \lambda
\end{aligned}
$$
分散の計算式が得られました。
参考文献
- 星野満博・西崎雅仁『数理統計の探求』晃洋書房,2012年.
おわりに
記事をアップという意味では進捗があるのですが、知のアキレスと亀って感じがします。
【次の内容】
