はじめに

　機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。

　この記事では、対数の性質を扱います。

【前の内容】

www.anarchive-beta.com

【今回の内容】

はじめに
対数の性質の導出
参考文献
おわりに

対数の性質の導出

　対数の性質(properties of logarithms)を導出します。
　対数については「対数の定義 - からっぽのしょこ」を参照してください。

定義式

　対数は、次の式で定義されます。

$\displaystyle \log_a b = c \Leftrightarrow a^c = b$

　 $a$ を底、 $b$ を真数、 $c$ を指数と呼びます。底は0より大きい1ではない値 $a \gt 0, a \neq 1$ 、真数は0より大きい値 $b \gt 0$ である必要があります。

性質

　対数には、次の性質があります。

$\displaystyle \begin{align} \log_a a &= 1 \tag{1}\\ \log_a 1 &= 0 \tag{2}\\ \log_a (x y) &= \log_a x + \log_a y \tag{3}\\ \log_a x^y &= y \log_a x \tag{4}\\ \log_a \frac{1}{x} &= - \log_a x \tag{5}\\ \log_a \frac{x}{y} &= \log_a x - \log_a y \tag{6}\\ \log_a \frac{x}{y} &= - \log_a \frac{y}{x} \tag{7}\\ \log_a b &= \frac{\log_c b}{\log_c a} \tag{8} \end{align}$

　対数をとると、積が和、商が差になります。
　式(8)の計算により底を変換できます。

性質の導出

　上で上げた8つの性質についてそれぞれ導出します。

底と真数が同じ対数の導出

　真数の値に関わらず1乗しても値は変わらないので、対数の定義式より、整数(1)の関係が成り立ちます。

$\displaystyle a^1 = a \Leftrightarrow \log_a a = 1 \tag{1}$

　底と同じ値の対数をとると1になります。

0の対数の導出

　底の値に関わらず0乗は1なので、対数の定義式より、性質(2)の関係が成り立ちます。

$\displaystyle a^0 = 1 \Leftrightarrow \log_a 1 = 0 \tag{2}$

　1の対数をとると0になります。

積の対数の導出

　 $x, y$ それぞれの対数について、対数の定義式を用いて、次のようにおきます。

$\displaystyle \begin{aligned} \log_a x = t &\Leftrightarrow a^t = x \\ \log_a y = u &\Leftrightarrow a^u = y \end{aligned}$

　2つの指数の式(右側の式)に関して、両辺それぞれの積をとります。指数の性質より $a^t a^u = a^{t+u}$ です。

$\displaystyle a^{t+u} = x y$

　対数の定義式より、この式から次の式が成り立ちます。

$\displaystyle \log_a (xy) = t + u$

　 $t, u$ を元の式に戻すと、性質(2)の関係が得られます。

$\displaystyle \log_a (xy) = \log_a x + \log_a y \tag{3}$

　積の対数は、対数の和になります。

累乗の対数の導出

　 $y$ が整数の場合、 $x^y$ は $y$ 個の $x$ の積なので、性質(4)は、性質(3)を用いて導けます。

$\displaystyle \begin{align} \log_a x^y &= \log_a (\underbrace{x \cdots x}_y) \\ &= \underbrace{\log_a x + \cdots + \log_a x}_y \\ &= y \log_a x \tag{4} \end{align}$

　 $y$ 乗の対数は、対数の $y$ 倍になります。

　 $y$ が実数の場合、対数の定義式を用いて、次のようにおきます。

$\displaystyle \log_a x = t \Leftrightarrow a^t = x$

　指数の式(右側の式)に関して、両辺を $y$ 乗します。指数の性質より $(a^t)^y = a^{y t}$ です。

$\displaystyle a^{y t} = x^y$

　対数の定義式より、この式から次の式が成り立ちます。

$\displaystyle \log_a x^y = y t$

　 $t$ を元の式に戻すと、性質(4)の関係が得られます。

$\displaystyle \log_a x^y = y \log_a x \tag{4}$

　実数の場合も $y$ 乗の対数は、対数の $y$ 倍になります。

逆数の対数の導出

　逆数は-1乗 $\frac{1}{x} = x^{-1}$ なので、性質(5)は、性質(4)を用いて導けます。

$\displaystyle \begin{align} \log_a \frac{1}{x} &= \log_a x^{-1} \\ &= - \log_a x \tag{5} \end{align}$

　逆数の対数は、負の対数になります。

商の対数の導出

　性質(6)は、性質(3)と性質(5)を用いて導けます。

$\displaystyle \begin{align} \log_a \frac{x}{y} &= \log_a \Bigl( x \frac{1}{y} \Bigr) \\ &= \log_a x + \log_a \frac{1}{y} \\ &= \log_a x - \log_a y \tag{6} \end{align}$

　分数の対数は、分子と分母それぞれの対数の差になります。

分母分子の入替の導出

　性質(7)は、性質(6)を用いて導けます。

$\displaystyle \begin{align} - \log_a \frac{y}{x} &= - ( \log_a y - \log_a x ) \\ &= \log_a x - \log_a y \\ &= \log_a \frac{x}{y} \tag{7} \end{align}$