はじめに

　機械学習や統計学で登場する各種の確率分布について、「計算式の導出・計算のスクラッチ実装・計算過程や結果の可視化」などの「数式・プログラム・図」を用いた解説により、様々な角度から理解を目指すシリーズです。

　この記事では、ポアソン分布の統計量について数式を使って確認します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
ポアソン分布の統計量の導出：定義式の場合
- 統計量の導出
参考文献
おわりに

ポアソン分布の統計量の導出：定義式の場合

　ポアソン分布(Poisson distribution)の期待値(平均)と分散の計算式を導出します。この記事では、定義式から各種の統計量を求めます。
　ポアソン分布については「ポアソン分布の定義式 - からっぽのしょこ」を参照してください。

統計量の導出

　ポアソン分布の定義式を用いて、統計量の計算式を求めます。

定義式の確認

　ポアソン分布は、パラメータ $\lambda$ を用いて、次の式で定義されます。

$\displaystyle \mathrm{Poisson}(x \mid \lambda) = e^{-\lambda} \frac{\lambda^x}{x!}$

　ここで、 $x$ は単位時間における事象の発生回数、 $\lambda$ は発生回数の期待値を表します。 $x$ は非負の整数 $x \in \{0, 1, 2, \cdots\}$ をとり、 $\lambda$ は正の値 $\lambda \gt 0$ を満たす必要があります。
　また、 $e$ はネイピア数、 $x!$ は $x$ の階乗です。
　詳しくは「分布の定義式」を参照してください。

期待値の計算式

　離散型確率分布の期待値は、変数と対応する確率の積の総和で定義されます。

$\displaystyle \begin{aligned} \mathbb{E}[x] &= \sum_{x=0}^{\infty} x \mathrm{Poi}(x \mid \lambda) \\ &= \sum_{x=0}^{\infty} x e^{-\lambda} \frac{\lambda^x}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: 離散型確率分布の期待値の定義式 $\mathbb{E}[x] = \sum_x x p(x)$ より、 $x$ の期待値の式を立てます。
2: ポアソン分布の定義式より、確率分布を具体的な式に置き換えます。

　 $x = 0$ の項は0になり消えるので、 $x$ に関する総和 $\sum_{x=0}^{\infty}$ から取り出します。

$\displaystyle \begin{aligned} \mathbb{E}[x] &= e^{-\lambda} 0 \frac{\lambda^0}{0!} \\ &\quad + \sum_{x=1}^{\infty} e^{-\lambda} x \frac{\lambda^x}{x!} \\ &= 0 + \sum_{x=1}^{\infty} e^{-\lambda} x \frac{\lambda^x}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: $\sum_{x=0}^{\infty}$ から $x = 0$ の項を取り出して、 $x = 0$ を代入します。

　次のように変形して、総和から一部の項を取り出します。

$\displaystyle \begin{aligned} \sum_{x=0}^{\infty} x &= 0 + 1 + 2 + \cdots \\ &= 0 + (1 + 2 + \cdots) \\ &= 0 + \sum_{x=1}^{\infty} x \end{aligned}$

　後の項は、次の式となります。

$\displaystyle \sum_{x=1}^{\infty} x = 1 + 2 + \cdots$

　 $x$ に関する総和について、 $\sum_{x=1}^{\infty} = \sum_{x-1=0}^{\infty}$ と変形して、さらに $x' = x - 1$ とおきます。

$\displaystyle \begin{align} \mathbb{E}[x] &= \sum_{x=1}^{\infty} e^{-\lambda} x \frac{\lambda}{x} \frac{\lambda^{x-1}}{(x - 1)!} \\ &= \lambda \sum_{x-1=0}^{\infty} e^{-\lambda} \frac{\lambda^{x-1}}{(x - 1)!} \\ &= \lambda \sum_{x'=0}^{\infty} e^{-\lambda} \frac{\lambda^{x'}}{x'!} \tag{1} \end{align}$

途中式の途中式(クリックで展開)

1: 指数の性質より、 $\lambda^x = \lambda \lambda^{x-1}$ で分割します。
1: 階乗の性質より、 $x! = x (x - 1)!$ で分割します。
2: $x$ と無関係な項を $\sum_{x=1}^{\infty}$ の外に出します。ただし後ほどの操作のため、正規化項 $e^{-\lambda}$ は残しておきます。
2: $x = 1 \Leftrightarrow x-1 = 0$ で置き換えます。
3: $x' = x - 1$ で置き換えます。

　総和の項について、 $x'$ に関するポアソン分布の定義式の形をしており、また $x'$ の全事象の和なので1になり消えます。

$\displaystyle \begin{align} \mathbb{E}[x] &= \lambda \sum_{x'=0}^{\infty} \mathrm{Poi}(x' \mid \lambda) \\ &= \lambda \tag{2} \end{align}$

途中式の途中式(クリックで展開)

1: 確率分布の式を置き換えます。

　確率変数を $x'$ とするパラメータ $\lambda$ のポアソン分布は、次の式です。

$\displaystyle \mathrm{Poisson}(x' \mid \lambda) = e^{-\lambda} \frac{\lambda^{x'}}{x'!}$

2: 確率分布の全事象の和 $\sum_x p(x) = 1$ より、総和の項が1になり消えます。

　 $x'$ に関して全事象 $x' = 0, 1, \dots$ の和をとります。

$\displaystyle \sum_{x'=0}^{\infty} \mathrm{Poisson}(x' \mid \lambda) = 1$

　期待値の式が得られました。

　式(1)は次のようにも解釈できます。
　式(1)の総和の項について、指数関数のマクローリン展開の式の形をしているので、指数関数に変形します。

$\displaystyle \begin{align} \mathbb{E}[x] &= \lambda e^{-\lambda} \sum_{x'=0}^{\infty} \frac{\lambda^{x'}}{x'!} \tag{1'}\\ &= \lambda e^{-\lambda} e^{\lambda} \\ &= \lambda \frac{e^{\lambda}}{e^{\lambda}} \\ &= \lambda \tag{2} \end{align}$

途中式の途中式(クリックで展開)

1: $x$ と無関係な項を $\sum_{x=0}^{\infty}$ の外に出します。
2: 指数関数のマクローリン展開 $e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!}$ より、非負の整数 $x'$ を $n$ 、 $\lambda$ を $x$ に対応させて、総和の項を置き換えます。
3: 指数の性質 $x^{-a} = \frac{1}{x^a}$ より、ネイピア数の項をまとめます。

　先ほどの式と一致しました。

スポンサードリンク

2乗の期待値の計算式

　2乗の期待値は、変数の2乗と対応する確率の積の総和で定義されます。

$\displaystyle \begin{aligned} \mathbb{E}[x^2] &= \sum_{x=0}^{\infty} x^2 \mathrm{Poi}(x \mid \lambda) \\ &= \sum_{x=0}^{\infty} x^2 e^{-\lambda} \frac{\lambda^x}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: 期待値の定義式より、 $x^2$ の期待値の式を立てます。
2: ポアソン分布の定義式より、確率分布を具体的な式に置き換えます。

　 $x^2$ の項を変形します。

$\displaystyle \begin{aligned} \mathbb{E}[x^2] &= \sum_{x=0}^{\infty} e^{-\lambda} \{x (x - 1) + x\} \frac{\lambda^x}{x!} \\ &= \sum_{x=0}^{\infty} e^{-\lambda} x (x - 1) \frac{\lambda^x}{x!} \\ &\quad + \sum_{x=0}^{\infty} e^{-\lambda} x \frac{\lambda^x}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: $x^2 = x (x - 1) + x$ で分割します。
2: 波括弧を展開して、総和の項を分割します。

　前の項について、 $x = 0, 1$ の項は0になり消えるので、 $x$ に関する総和 $\sum_{x=0}^{\infty}$ から取り出します。また後の項は、 $x$ の期待値の式の形をしているので、期待値の式に置き換えます。

$\displaystyle \begin{aligned} \mathbb{E}[x^2] &= e^{-\lambda} 0 (0 - 1) \frac{\lambda^0}{0!} \\ &\quad + e^{-\lambda} 1 (1 - 1) \frac{\lambda^1}{1!} \\ &\quad + \sum_{x=2}^{\infty} e^{-\lambda} x (x - 1) \frac{\lambda^x}{x!} \\ &\quad + \mathbb{E}[x] \\ &= 0 + 0 + \sum_{x=2}^{\infty} e^{-\lambda} x (x - 1) \frac{\lambda^x}{x!} + \lambda \end{aligned}$

途中式の途中式(クリックで展開)

1: 前の項の $\sum_{x=0}^{\infty}$ から $x = 0, 1$ の項を取り出して、 $x = 0, 1$ をそれぞれ代入します。
1: 期待値の定義式より、後の総和の項を $x$ の期待値の項に置き換えます。
2: 式(2)より、期待値の項を具体的な式に置き換えます。

　 $x$ に関する総和について、 $\sum_{x=2}^{\infty} = \sum_{x-2=0}^{\infty}$ と変形して、さらに $x' = x - 2$ とおきます。

$\displaystyle \begin{align} \mathbb{E}[x^2] &= \sum_{x=2}^{\infty} e^{-\lambda} x (x - 1) \frac{\lambda^2}{x (x - 1)} \frac{\lambda^{x-2}}{(x - 2)!} + \lambda \\ &= \lambda^2 \sum_{x-2=0}^{\infty} e^{-\lambda} \frac{\lambda^{x-2}}{(x - 2)!} + \lambda \\ &= \lambda^2 \sum_{x'=0}^{\infty} e^{-\lambda} \frac{\lambda^{x'}}{x'!} + \lambda \tag{3} \end{align}$

途中式の途中式(クリックで展開)

1: 指数の性質より、 $\lambda^x = \lambda^2 \lambda^{x-2}$ で分割します。
1: 階乗の性質より、 $x! = x (x - 1) (x - 2)!$ で分割します。
2: $x$ と無関係な項を $\sum_{x=2}^{\infty}$ の外に出します。ただし後ほどの操作のため、正規化項 $e^{-\lambda}$ は残しておきます。
2: $x = 2 \Leftrightarrow x-2 = 0$ で置き換えます。
3: $x' = x - 2$ で置き換えます。

　総和の項について、 $x'$ に関するポアソン分布の定義式の式の形をしており、また $x'$ の全事象の和なので1になり消えます。

$\displaystyle \begin{align} \mathbb{E}[x^2] &= \lambda^2 \sum_{x'=0}^{\infty} \mathrm{Poi}(x' \mid \lambda) + \lambda \\ &= \lambda^2 + \lambda \tag{4} \end{align}$

途中式の途中式(クリックで展開)

1-2: 「期待値の計算式」のときと同様にして式を変形します。

　2乗の期待値の式が得られました。

　式(3)は次のようにも解釈できます。
　式(3)の総和の項について、指数関数のマクローリン展開の式の形をしているので、指数関数に変形します。

$\displaystyle \begin{align} \mathbb{E}[x^2] &= \lambda^2 e^{-\lambda} \sum_{x'=0}^{\infty} \frac{\lambda^{x'}}{x'!} + \lambda \tag{3'}\\ &= \lambda^2 e^{-\lambda} e^{\lambda} + \lambda \\ &= \lambda^2 \frac{e^{\lambda}}{e^{\lambda}} + \lambda \\ &= \lambda^2 + \lambda \tag{4} \end{align}$

途中式の途中式(クリックで展開)

1-4: 「期待値の計算式」のときと同様にして式を変形します。

　先ほど式と一致しました。

スポンサードリンク

分散の計算式

　分散は、「 $x$ の2乗の期待値」と「 $x$ の期待値の2乗」の差で求まります。

$\displaystyle \begin{aligned} \mathbb{V}[x] &= \mathbb{E}[x^2] - (\mathbb{E}[x])^2 \\ &= \lambda^2 + \lambda - \lambda^2 \\ &= \lambda \end{aligned}$