はじめに 各種エントロピーをR言語を使って実装し、可視化することで理解を目指します。 この記事はまとめページです。 【目次】 はじめに 情報理論に用いる数学 情報量とエントロピー 参考文献 おわりに 情報理論に用いる数学 www.anarchive-beta.com www.a…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、相互情報量を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 相互情報量の定義 定義 相互情報量の定義式 他のエン…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、条件付きエントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 条件付きエントロピーの定義 定義 条件付…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、結合エントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 結合エントロピーの定義 定義 結合確率の定義…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、平均情報量の最大値を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量の最大値(最大エントロピー)の導…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、エントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量(エントロピー)の定義 定義 可視化 2次…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、自己情報量を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 自己情報量の定義 定義 加法性 参考文献 おわりに 自…

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に自分の理解の助けになったことや勉強会資料のまとめです。トピックモデルの各種アルゴリズムを「数式」と「プログラム」から理解することを目指します。 この記事は、1.1.8項「カ…