はじめに

　機械学習や統計学で登場する各種の確率分布について、「計算式の導出・計算のスクラッチ実装・計算過程や結果の可視化」などの「数式・プログラム・図」を用いた解説により、様々な角度から理解を目指すシリーズです。

　この記事では、ポアソン分布のモーメント母関数について数式を使って確認します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
ポアソン分布のモーメント母関数の導出
- モーメント母関数の導出
参考文献
おわりに

ポアソン分布のモーメント母関数の導出

　ポアソン分布(Poisson distribution)のモーメント母関数(積率母関数・moment-generating function)を導出します。
　ポアソン分布については「ポアソン分布の定義式 - からっぽのしょこ」、モーメン母関数については「モーメント母関数 - からっぽのしょこ」を参照してください。

モーメント母関数の導出

　ポアソン分布の定義式を用いて、モーメント母関数の式を求めます。

　ポアソン分布は、パラメータ $\lambda$ を用いて、次の式で定義されます。

$\displaystyle \mathrm{Poisson}(x \mid \lambda) = e^{-\lambda} \frac{\lambda^x}{x!}$

　ここで、 $x$ は単位時間における事象の発生回数、 $\lambda$ は発生回数の期待値を表します。 $x$ は非負の整数 $x \in \{0, 1, 2, \cdots\}$ をとり、 $\lambda$ は正の値 $\lambda \gt 0$ を満たす必要があります。
　また、 $e$ はネイピア数、 $x!$ は $x$ の階乗です。
　詳しくは「分布の定義式」を参照してください。

　モーメント母関数は、 $e^{tx}$ の期待値で定義されます。 $e$ はネイピア数です。

$\displaystyle \begin{aligned} M(t) &= \mathbb{E}[e^{tx}] \\ &= \sum_{x=0}^{\infty} e^{tx} \mathrm{Poi}(x \mid \lambda) \\ &= \sum_{x=0}^{\infty} e^{tx} e^{-\lambda} \frac{\lambda^x}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: $e^{tx}$ の期待値の式を立てます。
2: 離散型確率分布の期待値の定義式 $\mathbb{E}[x] = \sum_x f(x) p(x)$ より、関数 $e^{tx}$ と確率分布 $\mathrm{Poi}(x \mid \lambda)$ の積和の式に置き換えます。
3: ポアソン分布の定義式より、確率分布を具体的な式に置き換えます。

　 $x$ に関して式を整理します。

$\displaystyle \begin{aligned} M(t) &= e^{-\lambda} \sum_{x=0}^{\infty} \frac{(e^t)^x \lambda^x}{x!} \\ &= e^{-\lambda} \sum_{x=0}^{\infty} \frac{(e^t \lambda)^x}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: 指数の性質 $x^{ab} = (x^a)^b$ より、ネイピア数の項を変形します。
1: $x$ と無関係な項を $\sum_{x=0}^{\infty}$ の外に出します。
2: 指数の性質 $x^a y^a = (x y)^a$ より、 $x$ の項をまとめます。

　総和の項について、指数関数のマクローリン展開の式の形をしているので、指数関数に変形します。

$\displaystyle \begin{aligned} M(t) &= e^{-\lambda} e^{e^t \lambda} \\ &= e^{e^t \lambda - \lambda} \\ &= e^{\lambda (e^t - 1)} \end{aligned}$

途中式の途中式(クリックで展開)

1: 指数関数のマクローリン展開 $e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!}$ より、非負の整数 $x$ を $n$ 、 $e^t \lambda$ を $x$ に対応させて、総和の項を置き換えます。
2: 指数の性質 $x^a y^a = (x y)^a$ より、ネイピア数の項をまとめます。
3: $\lambda$ を括ります。

　モーメント母関数の式が得られました。

　指数部分が分かりやすいように、指数関数を $e^x = \exp(x)$ で表現すると、次の式になります。

$\displaystyle \begin{aligned} M(t) &= \exp(- \lambda) \exp \Bigl( \exp(t) \lambda \Bigr) \\ &= \exp \Bigl( \exp(t) \lambda - \lambda \Bigr) \\ &= \exp \Bigl( \lambda (\exp(t) - 1) \Bigr) \end{aligned}$