はじめに

　機械学習や統計学で登場する各種の確率分布について、「計算式の導出・計算のスクラッチ実装・計算過程や結果の可視化」などの「数式・プログラム・図」を用いた解説により、様々な角度から理解を目指すシリーズです。

　この記事では、ポアソン分布の正規化について数式を使って確認します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
ポアソン分布の正規化項の導出
- 正規化項の導出
参考文献
おわりに

ポアソン分布の正規化項の導出

　ポアソン分布(Poisson distribution)の正規化項(normalization term・正規化係数・normalization factor)を導出します。
　ポアソン分布については「ポアソン分布の定義式 - からっぽのしょこ」を参照してください。

正規化項の導出

　ポアソン分布の定義式を用いて、正規化項の式を求めます。

　ポアソン分布は、パラメータ $\lambda$ を用いて、次の式で定義されます。

$\displaystyle \mathrm{Poisson}(x \mid \lambda) = e^{-\lambda} \frac{\lambda^x}{x!}$

　ここで、 $x$ は単位時間における事象の発生回数、 $\lambda$ は発生回数の期待値を表します。 $x$ は非負の整数 $x \in \{0, 1, 2, \cdots\}$ をとり、 $\lambda$ は正の値 $\lambda \gt 0$ を満たす必要があります。
　また、 $e$ はネイピア数、 $x!$ は $x$ の階乗です。
　詳しくは「分布の定義式」を参照してください。

　ポアソン分布の変数 $x$ に関する項を関数 $f_{\mathrm{Poi}}(x)$ とおきます。

$\displaystyle f_{\mathrm{Poi}}(x) = \frac{\lambda^x}{x!}$

　この式について、 $x$ に関する全ての事象の和で割ることで、総和が1になるように正規化できます。

$\displaystyle \begin{align} \mathrm{Poisson}(x \mid \lambda) &= \frac{ f_{\mathrm{Poi}}(x) }{ \sum_{x=0}^{\infty} f_{\mathrm{Poi}}(x) } \\ \ &= \mathrm{C}_{\mathrm{Poi}} f_{\mathrm{Poi}}(x) \tag{1} \end{align}$

　全事象の和の逆数を正規化項 $\mathrm{C}_{\mathrm{Poi}}$ とおきます。

$\displaystyle \mathrm{C}_{\mathrm{Poi}} = \frac{ 1 }{ \sum_{x=0}^{\infty} f_{\mathrm{Poi}}(x) }$

　 $f_{\mathrm{Poi}}(x)$ に関して、 $x$ の全事象の和(正規化項の逆数)を求めます。

$\displaystyle \sum_{x=0}^{\infty} f_{\mathrm{Poi}}(x) = \sum_{x=0}^{\infty} \frac{\lambda^x}{x!}$

　右辺について、指数関数のマクローリン展開の式の形をしているので、指数関数に変形します。

$\displaystyle \sum_{x=0}^{\infty} f_{\mathrm{Poi}}(x) = e^{\lambda}$

途中式の途中式(クリックで展開)

1: 指数関数のマクローリン展開 $e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!}$ より、非負の整数 $x$ を $n$ 、 $\lambda$ を $x$ に対応させて、総和の項を置き換えます。

　右辺の逆数をとり、正規化項 $\mathrm{C}_{\mathrm{Poi}}$ とおきます。

$\displaystyle \begin{aligned} \mathrm{C}_{\mathrm{Poi}} &= \frac{1}{e^{\lambda}} \\ &= e^{-\lambda} \end{aligned}$

途中式の途中式(クリックで展開)

1: 指数の定義より、 $x^{-1} = \frac{1}{x}$ です。

　正規化項の式が得られました。

　正規化の式(1)に関数 $f_{\mathrm{Poi}}(x)$ と正規化項 $\mathrm{C}_{\mathrm{Poi}}$ を代入(関数 $f_{\mathrm{Poi}}(x)$ を正規化)します。

$\displaystyle \mathrm{Poisson}(x \mid \lambda) = e^{-\lambda} \frac{\lambda^x}{x!}$

　ポアソン分布の定義式と一致しました。

　以上で、ポアソン分布の正規化項の計算式が求まりました。

　この記事では、ポアソン分布の正規化項の式を求めました。次の記事では、モーメント母関数の式を求めます。

参考文献

機械学習スタートアップシリーズ　ベイズ推論による機械学習入門

作者:須山敦志
講談社

Amazon

おわりに

　ポアソン分布に関して、「モーメント母関数の導出」や「特性関数の導出」の記事を加筆修正するために以前より丁寧に書き下していたら、正規化項の導出と同様と思われる式展開が出てきたので、「正規化項の導出」という新記事として更に丁寧に書いておくことにしました。次からの記事と内容が被っているとも言えます。
　他の分布でもいくつか正規化項の導出について個別の記事を書いたことがあったので、元々書いていてもよかった気もしました。ただ(正規化項を持つ)全ての分布で書けるかと言うと、積分計算などが出てきて難しいのでできない方が多かったんだと思い出しました。今回の改修作業でも無理でしょう。いつか書けるでしょうか。

　私立恵比寿中学の元メンバーの柏木ひなたさんの新MVが先ほど公開されましたー。

　なんと！現メンバーの安本彩花さんの作詞作曲ということで、(一緒に活動していた頃のことを私は知らないのですが、)こういうコラボは最高ですね。コーラスまでしていて大満足です。あー好き。

【次の内容】