からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

二項分布の平均と分散の導出:特性関数を利用

はじめに

 機械学習で登場する確率分布について色々な角度から理解したいシリーズです。

 二項分布の統計量を特性関数から導出します。

【前の内容】

www.anarchive-beta.com

【他の記事一覧】

www.anarchive-beta.com

【この記事の内容】

二項分布の統計量の導出

 特性関数を利用して、二項分布(Binomial Distribution)の平均(期待値)と分散を導出します。二項分布については「二項分布の定義式 - からっぽのしょこ」を参照してください。

特性関数の確認

 二項分布の特性関数は、次の式になります。詳しくは「二項分布の特性関数の導出 - からっぽのしょこ」を参照してください。

$$ \varphi(t) = (\phi e^{it} + 1 - \phi)^M $$

 ここで、$\phi, M$は二項分布のパラメータで成功確率と試行回数、$e$はネイピア数、$i$は虚数単位です。

 二項分布の平均と分散は、次の式で計算できます。

$$ \begin{aligned} \mathbb{E}[x] &= M \phi \\ \mathbb{V}[x] &= M \phi (1 - \phi) \end{aligned} $$

 特性関数の微分を用いて、平均と分散の計算式を導出します。

特性関数の1階微分の計算

 特性関数を$t$に関して微分します。

$$ \frac{d \varphi(t)}{d t} = \frac{d}{d t} \Bigl\{ (\phi e^{it} + 1 - \phi)^M \Bigr\} $$

 式全体を$g(f(x))$、丸括弧を$f(x)$として、合成関数の微分$\frac{d g(f(x))}{d x} = \frac{d g(x)}{d f(x)} \frac{d f(x)}{d x}$を行います。

$$ \begin{aligned} \frac{d \varphi(t)}{d t} &= M (\phi e^{it} + 1 - \phi)^{M-1} \frac{d}{d t} \Bigl\{ \phi e^{it} + 1 - \phi \Bigr\} \\ &= M (\phi e^{it} + 1 - \phi)^{M-1} \phi e^{it} \frac{d it}{d t} \\ &= M (\phi e^{it} + 1 - \phi)^{M-1} \phi e^{it} i \end{aligned} $$

 指数に係数を含む指数関数の微分は$\frac{d e^{ax}}{d x} = e^{ax} \frac{d ax}{d x} = a e^{ax}$です。
 式を整理します。

$$ \frac{d \varphi(t)}{d t} = i M \phi e^{it} (\phi e^{it} + 1 - \phi)^{M-1} $$

 1階微分が求まりました。

特性関数の2階微分の計算

 続いて、特性関数を$t$に関して2階微分します。1階微分$\frac{d \varphi(t)}{d t}$を更に微分します。

$$ \begin{aligned} \frac{d^2 \varphi(t)}{d t^2} &= \frac{d}{d t} \frac{d \varphi(t)}{d t} \\ &= \frac{d}{d t} \Bigl\{ i M \phi e^{it} (\phi e^{it} + 1 - \phi)^{M-1} \Bigr\} \end{aligned} $$

 $t$に関する項を2つ含むので、積の微分$\frac{d f(x) g(x)}{d x} = \frac{d f(x)}{d x} g(x) + f(x) \frac{d g(x)}{d x}$を行います。

$$ \frac{d^2 \varphi(t)}{d t^2} = \frac{d}{d t} \Bigl\{ i M \phi e^{it} \Bigr\} (\phi e^{it} + 1 - \phi)^{M-1} + i M \phi e^{it} \frac{d}{d t} \Bigl\{ (\phi e^{it} + 1 - \phi)^{M-1} \Bigr\} $$

 前の項は指数関数の微分、後の項は合成関数の微分になります。

$$ \begin{aligned} \frac{d^2 \varphi(t)}{d t^2} &= i M \phi e^{it} \frac{d it}{d t} (\phi e^{it} + 1 - \phi)^{M-1} + i M \phi e^{it} (M - 1) (\phi e^{it} + 1 - \phi)^{M-2} \frac{d}{d t} \Bigl\{ \phi e^{it} + 1 - \phi \Bigr\} \\ &= i M \phi e^{it} i (\phi e^{it} + 1 - \phi)^{M-1} + i M \phi e^{it} (M - 1) (\phi e^{it} + 1 - \phi)^{M-2} \phi e^{it} \frac{d it}{d t} \\ &= i^2 M \phi e^{it} (\phi e^{it} + 1 - \phi)^{M-1} + i M \phi e^{it} (M - 1) (\phi e^{it} + 1 - \phi)^{M-2} \phi e^{it} i \end{aligned} $$

 虚数単位の2乗は$i^2 = -1$です。

$$ \frac{d^2 \varphi(t)}{d t^2} = - M \phi e^{it} (\phi e^{it} + 1 - \phi)^{M-1} - M (M - 1) \phi^2 e^{2it} (\phi e^{it} + 1 - \phi)^{M-2} $$

 2階微分が求まりました。

平均の計算

 特性関数の微分に$t = 0$を代入し、$i$の逆数を掛けると、平均が得られます。

$$ \begin{aligned} \mathbb{E}[x] &= \frac{1}{i} \frac{d \varphi(0)}{d t} \\ &= \frac{1}{i} i M (\phi e^{0} + 1 - \phi)^{M-1} \phi e^{0} \\ &= M \phi \end{aligned} $$

 0乗は$x^0 = 1$です。

二乗の平均の計算

 同様に、特性関数の2階微分に$t = 0$を代入し、$i$の2乗の逆数を掛けると、二乗の平均が得られます。

$$ \begin{aligned} \mathbb{E}[x^2] &= \frac{1}{i^2} \frac{d^2 \varphi(0)}{d t^2} \\ &= \frac{1}{-1} \Bigl\{ - M \phi e^{0} (\phi e^{0} + 1 - \phi)^{M-1} - M (M - 1) \phi^2 e^{0} (\phi e^{0} + 1 - \phi)^{M-2} \Bigr\} \\ &= M \phi + M (M - 1) \phi^2 \end{aligned} $$


分散の計算

 分散は「$x$の2乗の平均」と「$x$の平均の2乗」の差で求められます。詳しくは「1.1.1-7:確率の基礎【『トピックモデル』の勉強ノート】 - からっぽのしょこ」を参照してください。

$$ \begin{aligned} \mathbb{V}[x] &= \mathbb{E}[x^2] - (\mathbb{E}[x])^2 \\ &= M (M - 1) \phi^2 + M \phi - (M \phi)^2 \end{aligned} $$

 括弧を展開して、式を整理します。

$$ \begin{aligned} \mathbb{V}[x] &= M^2 \phi^2 - M \phi^2 + M \phi - M^2 \phi^2 \\ &= M \phi (1 - \phi) \end{aligned} $$

 二項分布の分散の計算式が得られました。

参考書籍

  • 星野満博・西崎雅仁『数理統計の探求』晃洋書房,2012年.

おわりに

 他の分布でもやってみたいけど全部でやるのは流石に面倒だな。

 2022年2月19日は、モーニング娘。'22の森戸知沙希さんの22歳のお誕生日です!!

 Enjoy!
 そろそろ新センター曲をぜひよろしくお願いします。

【次の内容】

www.anarchive-beta.com