はじめに

　機械学習や統計学で登場する各種の確率分布について、「計算式の導出・計算のスクラッチ実装・計算過程や結果の可視化」などの「数式・プログラム・図」を用いた解説により、様々な角度から理解を目指すシリーズです。

　この記事では、ポアソン分布のエントロピーについて数式を使って確認します。

【前の内容】

www.anarchive-beta.com

【他の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
ポアソン分布のエントロピーの導出
- エントロピーの導出
参考文献
おわりに

ポアソン分布のエントロピーの導出

　ポアソン分布(Poisson distribution)のエントロピー(平均情報量・entropy)を導出します。
　ポアソン分布については「ポアソン分布の定義式 - からっぽのしょこ」、自己情報量やエントロピーについては「「情報理論」のノート：記事一覧 - からっぽのしょこ」を参照してください。

エントロピーの導出

　ポアソン分布の定義式を用いて、エントロピーの式を求めます。

　ポアソン分布は、パラメータ $\lambda$ を用いて、次の式で定義されます。

$\displaystyle \mathrm{Poisson}(x \mid \lambda) = e^{-\lambda} \frac{\lambda^x}{x!}$

　ここで、 $x$ は単位時間における事象の発生回数、 $\lambda$ は発生回数の期待値を表します。 $x$ は0以上の整数 $x \in {0, 1, 2, \cdots}$ をとり、 $\lambda$ は0より大きい値 $\lambda \gt 0$ を満たす必要があります。
　また、 $e$ はネイピア数、 $x!$ は $x$ の階乗です。
　詳しくは「分布の定義式」を参照してください。

　自己情報量と(離散型確率分布の)エントロピーは、それぞれ次の式で定義されます。

$\displaystyle \begin{aligned} I(x) &= - \log p(x) \\ H(x) &= \sum_x I(x) p(x) \end{aligned}$

　 $x$ の確率を $p(x)$ として、 $x$ の自己情報量 $I(x)$ は負の対数確率、エントロピー $H(x)$ は自己情報量の期待値です。
　自己情報量については「自己情報量の定義 - からっぽのしょこ」、平均情報量(エントロピー)については「平均情報量(エントロピー)の定義 - からっぽのしょこ」を参照してください。

　エントロピーは、自己情報量の期待値で定義されます。

$\displaystyle \begin{aligned} H(x) &= \mathbb{E}[I(x)] \\ &= \mathbb{E} \Bigl[ - \log \mathrm{Poi}(x \mid \lambda) \Bigr] \\ &= \mathbb{E} \left[ - \log \Bigl( e^{-\lambda} \frac{\lambda^x}{x!} \Bigr) \right] \end{aligned}$

途中式の途中式(クリックで展開)

1: 自己情報量の期待値の式を立てます。
2: 自己情報量の定義式より、確率分布 $\mathrm{Poi}(x \mid \lambda)$ の負の対数に置き換えます。
3: ポアソン分布の定義式より、確率分布を具体的な式に置き換えます。

　 $x$ に関して式を整理します。

$\displaystyle \begin{aligned} H(x) &= \mathbb{E} \Bigl[ - ( - \lambda + x \log \lambda - \log x! ) \Bigr] \\ &= \mathbb{E}[\lambda] +\mathbb{E}[- x \log \lambda] + \mathbb{E}[\log x!] \\ &= \lambda - \mathbb{E}[x] \log \lambda + \mathbb{E}[\log x!] \end{aligned}$

途中式の途中式(クリックで展開)

1: 対数の性質 $\log x y = \log x + \log y$ 、 $\log \frac{x}{y} = \log x - \log y$ 、 $\log x^a = a \log x$ より、対数の項を分割します。
2: 期待値の性質 $\mathbb{E}[x + y] = \mathbb{E}[x] + \mathbb{E}[y]$ より、期待値の項を分割します。
3: $x$ と無関係な項を期待値の外に出します。

　 $x$ の期待値の項について、ポアソン分布の期待値

$\displaystyle \mathbb{E}[x] = \lambda$

で置き換えます。　詳しくは「統計量の導出」を参照してください。

$\displaystyle \begin{aligned} H(x) &= \lambda - \lambda \log \lambda + \mathbb{E}[\log x!] \\ &= \lambda (1 - \log \lambda) + \mathbb{E}[\log x!] \end{aligned}$

途中式の途中式(クリックで展開)

1: ポアソン分布の期待値より、期待値の項を具体的な式に置き換えます。
2: $\lambda$ を括ります。

　 $\log x!$ の期待値の項について、具体的な式に置き換えます。

$\displaystyle \begin{aligned} H(x) &= \lambda (1 - \log \lambda) + \sum_{x=0}^{\infty} \log x! e^{-\lambda} \frac{\lambda^x}{x!} \\ &= \lambda (1 - \log \lambda) + e^{-\lambda} \sum_{x=0}^{\infty} \frac{\lambda^x \log x!}{x!} \end{aligned}$

途中式の途中式(クリックで展開)

1: 離散型確率分布の期待値の定義式 $\mathbb{E}[x] = \sum_x f(x) p(x)$ より、関数 $\log x!$ と確率分布 $\mathrm{Poi}(x \mid \lambda)$ の積和の式に置き換えます。
2: $x$ と無関係な項を $\sum_{x=0}^{\infty}$ の外に出します。