はじめに
各種エントロピーをR言語を使って実装し、可視化することで理解を目指します。
この記事はまとめページです。
【目次】
情報理論に用いる数学
情報量とエントロピー
別のシリーズで書いた解説なので、重複する内容もあります。
参考文献
- 『わかりやすい ディジタル情報理論』（改訂2版）塩野 充・蜷川 繁,オーム社,2021年.
おわりに
情報量とKL情報量の間にいくつか別の情報量があると知り、数式を見ていくつもりでしたが、分かるようで分かりにくいので何とか可視化してみました。それなりに満足できる図になったのですが、力尽きてKL情報量まで辿り着きませんでした。
次の機会には別の本も読んで考えてみるつもりですが、いつになるかは分かりません。
