はじめに
機械学習で登場する確率分布について色々な角度から理解したいシリーズです。
モーメン母関数の定義と性質を確認します。
【前の内容】
www.anarchive-beta.com
【他の記事一覧】
www.anarchive-beta.com
【この記事の内容】
モーメント母関数
モーメント母関数(積率母関数)の定義と性質を確認します。モーメント(積率)については「モーメント - からっぽのしょこ」を参照してください。
定義
モーメント母関数$M(t)$は、$e^{tx}$の期待値として定義されます。$e$はネイピア数です。
$$
M(t)
\equiv
\mathbb{E}[e^{tx}]
$$
$x$が離散値($p(x)$が離散確率分布)の場合は
$$
M(t)
= \sum_{x}
e^{tx}
p(x)
$$
で、$x$が連続値($p(x)$が連続確率分布)の場合は
$$
M(t)
= \int_{-\infty}^{\infty}
e^{tx}
p(x)
dx
$$
です。
コーシー分布など、モーメン母関数が存在しない分布もあります。
性質
モーメント母関数$M(t)$を$k$階微分して、$t = 0$を代入すると、原点の周りでの$k$次モーメント(積率)になります。
$$
\left.
\frac{d^k M(t)}{d t^k}
\right|_{t=0}
= \mathbb{E}[x^k]
$$
性質の確認
モーメン母関数の性質を2通りの方法で導出します。
パターン1
まずは、期待値から確認します。
$$
M(t)
= \mathbb{E}[e^{tx}]
$$
指数関数のマクローリン展開$e^x = \sum_{k=0}^{\infty} \frac{x^k}{k!}$を行います。
$$
\begin{aligned}
M(t)
&= \mathbb{E} \left[
\frac{(t x)^0}{0!}
+ \frac{(t x)^1}{1!}
+ \frac{(t x)^2}{2!}
+ \frac{(t x)^3}{3!}
+ \frac{(t x)^4}{4!}
+ \cdots
\right]
\\
&= \mathbb{E} \left[
1
+ t x
+ \frac{t^2 x^2}{2!}
+ \frac{t^3 x^3}{3!}
+ \frac{t^4 x^4}{4!}
+ \cdots
\right]
\end{aligned}
$$
定義より$x^0 = 1$、$0! = 1$です。
期待値の性質$\mathbb{E}[a] = a$、$\mathbb{E}[a x] = a \mathbb{E}[x]$、$\mathbb{E}[x + y] = \mathbb{E}[x] + \mathbb{E}[y]$より、式を整理します。
$$
M(t)
= 1
+ \mathbb{E}[x] t
+ \frac{\mathbb{E}[x^2]}{2!} t^2
+ \frac{\mathbb{E}[x^3]}{3!} t^3
+ \frac{\mathbb{E}[x^4]}{4!} t^4
+ \cdots
\tag{1}
$$
式(1)を$t$に関して微分します。
$$
\begin{aligned}
\frac{d M(t)}{d t}
&= \frac{d}{d t} \left\{
1
+ \mathbb{E}[x] t
+ \frac{\mathbb{E}[x^2]}{2!} t^2
+ \frac{\mathbb{E}[x^3]}{3!} t^3
+ \frac{\mathbb{E}[x^4]}{4!} t^4
+ \cdots
\right\}
\\
&= 0
+ \mathbb{E}[x]
+ 2 \frac{\mathbb{E}[x^2]}{2!} t
+ 3 \frac{\mathbb{E}[x^3]}{3!} t^2
+ 4 \frac{\mathbb{E}[x^4]}{4!} t^3
+ \cdots
\\
&= \mathbb{E}[x]
+ \mathbb{E}[x^2] t
+ \frac{\mathbb{E}[x^3]}{2!} t^2
+ \frac{\mathbb{E}[x^4]}{3!} t^3
+ \cdots
\end{aligned}
$$
この式に$t = 0$を代入すると、1番目の項のみが残ります。
$$
\left.
\frac{d M(t)}{d t}
\right|_{t=0}
= \mathbb{E}[x]
$$
1次モーメント($x$の期待値)が得られました。
続いて、式(1)を$t$に関して2階微分します。1階微分$\frac{d M(t)}{d t}$を更に微分します。
$$
\begin{aligned}
\frac{d^2 M(t)}{d t^2}
&= \frac{d}{d t} \frac{d M(t)}{d t}
\\
&= \frac{d}{d t} \left\{
\mathbb{E}[x]
+ \mathbb{E}[x^2] t
+ \frac{\mathbb{E}[x^3]}{2!} t^2
+ \frac{\mathbb{E}[x^4]}{3!} t^3
+ \cdots
\right\}
\\
&= 0
+ \mathbb{E}[x^2]
+ 2 \frac{\mathbb{E}[x^3]}{2!} t
+ 3 \frac{\mathbb{E}[x^4]}{3!} t^2
+ \cdots
\\
&= \mathbb{E}[x^2]
+ \mathbb{E}[x^3] t
+ \frac{\mathbb{E}[x^4]}{2!} t^2
+ \cdots
\end{aligned}
$$
この式に$t = 0$を代入します。
$$
\left.
\frac{d^2 M(t)}{d t^2}
\right|_{t=0}
= \mathbb{E}[x^2]
$$
2次モーメント($x^2$の期待値)が得られました。
モーメント母関数$M(t)$を$k$階微分して$t = 0$を代入したとき、$k + 1$番目の項($k$次の項)のみ残るのが分かります。
パターン2
次は、期待値の定義式から確認します。連続値の場合は総和$\sum$を積分$\int$に置き換えれば成り立ちます。
$$
M(t)
= \sum_{x}
e^{tx}
p(x)
\tag{2}
$$
式(2)を$t$に関して微分します。
$$
\begin{aligned}
\frac{d M(t)}{d t}
&= \frac{d}{d t} \left\{
\sum_{x}
e^{tx}
p(x)
\right\}
\\
&= \sum_{x}
\frac{d}{d t} \Bigl\{
e^{tx}
p(x)
\Bigr\}
\\
&= \sum_{x}
\frac{d e^{tx}}{d t}
p(x)
\end{aligned}
$$
モーメン母関数が存在するときルーベルグの収束定理により、総和$\sum$と微分を入れ変えられます。積分$\int$の場合も同様です。
係数を含む指数関数の微分(合成関数の微分)$\frac{d e^{ax}}{d x} = e^{ax} \frac{d ax}{d x} = a e^{ax}$を行います。
$$
\frac{d M(t)}{d t}
= \sum_{x}
x e^{tx}
p(x)
$$
この式に$t = 0$を代入すると、指数関数の項が消えます。
$$
\begin{aligned}
\left.
\frac{d M(t)}{d t}
\right|_{t=0}
&= \sum_{x}
x e^0
p(x)
\\
&= \sum_{x}
x p(x)
\end{aligned}
$$
定義より$x^0 = 1$です。
$x$の期待値の定義式になります。
$$
\left.
\frac{d M(t)}{d t}
\right|_{t=0}
= \mathbb{E}[x]
$$
1次モーメント($x$の期待値)が得られました。
続いて、式(2)を$t$に関して2階微分します。1階微分$\frac{d M(t)}{d t}$を更に微分します。
$$
\begin{aligned}
\frac{d^2 M(t)}{d t^2}
&= \frac{d}{d t} \frac{d M(t)}{d t}
\\
&= \frac{d}{d t} \left\{
\sum_{x}
x e^{tx}
p(x)
\right\}
\\
&= \sum_{x}
\frac{d}{d t} \Bigl\{
x e^{tx}
p(x)
\Bigr\}
\\
&= \sum_{x}
x
\frac{d e^{tx}}{d t}
p(x)
\end{aligned}
$$
指数関数の微分(と合成関数の微分)を行います。
$$
\begin{aligned}
\frac{d^2 M(t)}{d t^2}
&= \sum_{x}
x x e^{tx}
p(x)
\\
&= \sum_{x}
x^2 e^{tx}
p(x)
\end{aligned}
$$
この式に$t = 0$を代入します。
$$
\begin{aligned}
\left.
\frac{d^2 M(t)}{d t^2}
\right|_{t=0}
&= \sum_{x}
x^2 e^0
p(x)
\\
&= \sum_{x}
x^2 p(x)
\\
&= \mathbb{E}[x^2]
\end{aligned}
$$
2次モーメント($x^2$の期待値)が得られました。
モーメント母関数$M(t)$を$k$階微分して$t = 0$を代入したとき、$k$次の項になるのが分かります。
関連する内容
www.anarchive-beta.com
www.anarchive-beta.com
参考文献
- 星野満博・西崎雅仁『数理統計の探求』晃洋書房,2012年.
おわりに
今のところ必要ではない内容なのですが、本に載っていたので一応履修しておきます。
2022年2月22日は、モーニング娘。'22の横山玲奈さんの21歳のお誕生日です。
さらに、つばきファクトリーのメジャーデビュー5周年です。
みんなめでたいにゃん。
【次の内容】
特性関数に続きたかったけど難しかったのでいつか。
